Автоматизация рабочего стола Windows, которая связывает API Selenium с ИИ-агентами
winjavadriver, от Glaciousm, является фреймворком автоматизации рабочего стола Windows, который соединяет традиционные тестовые API и рабочие процессы агентов. Он предоставляет программный контроль над настольными приложениями с использованием интерфейса в стиле Selenium наряду с интерфейсом для агентов, позволяя скриптовые взаимодействия и автоматизированное наблюдение. Дизайн акцентирует внимание на инспекции на экране, пассивной записи и компактных описаниях пользовательского интерфейса, чтобы сократить текст, отправляемый языковым моделям. Инструмент нацелен на инженеров по автоматизации QA, разработчиков, поддерживающих устаревшие системы Windows, и исследователей, создающих автономные настольные агенты.
Связывает автоматизацию в стиле Selenium и тестирование настольных приложений
Драйвер реализует нативную поверхность WebDriver для приложений Windows, предоставляя совместимый с Selenium Java-клиент, чтобы команды могли мигрировать веб-тесты на настольные кодовые пути. Он поддерживает типы приложений UWP, Win32 и VB6 и включает встроенный инспектор с плавающей панелью записи, которая захватывает клики, ввод текста и сочетания клавиш для генерации пассивных шагов автоматизации. Эти возможности позволяют инженерам по тестированию повторно использовать существующие инструменты на базе Java, нацеливаясь на настольные графические интерфейсы.
Создает эффективные по токенам описания пользовательского интерфейса для агентов на основе LLM
Проект запускает сервер MCP, который предоставляет ИИ-агентам компактные данные элементов с помощью специально разработанных Умных Инструментов, таких как win_observe и win_explore, которые обобщают состояние пользовательского интерфейса в текст, эффективный по токенам. Визуальное позиционирование сетки предлагает визуальные локаторы на основе относительных экранных координат, когда идентификаторы элементов нестабильны. Конечная точка MCP реализована как компонент Node.js, поэтому агенты получают сжатый контекст пользовательского интерфейса вместо сырых, многословных дампов элементов.
Подходит для рабочих процессов, ориентированных на Windows, но требует специфических сред выполнения
Драйвер только для Windows и требует среды Java для клиентского API, а также Node.js для компонента сервера MCP, поэтому необходима интеграционная работа перед запуском тестов или агентов. Он работает в двух режимах: как традиционный драйвер в стиле Selenium и как готовый к ИИ сервер MCP, и включает автоматическую обработку устаревших контролов Win32 и VB6, которые часто невидимы для стандартных фреймворков автоматизации пользовательского интерфейса.
Подходит для команд, которые принимают на себя настройку и ценят активное обслуживание
Glaciousm публикует проект как открытый источник автоматизации, и проект описывается как хорошо зарекомендовавший себя в своей нише и активно поддерживаемый. Эта реакция поддерживает выбор драйвера для проектов, которым нужна более тесная интеграция агента с рабочим столом и которые готовы проверять результаты работы агента в рамках контроля качества. Ожидайте предварительных усилий по интеграции для настройки сред выполнения Java и Node.js перед рутинным использованием.
