SikuliX automatizuje všetko, čo vidíte na obrazovke stolného počítača so systémom Windows, Mac alebo Linux / Unix. Používa rozpoznávanie obrazu založené na OpenCV na identifikáciu komponentov grafického používateľského rozhrania a môže na ne pôsobiť pomocou akcií myši a klávesnice.