Постер Gemini 2.5 Computer Use. Джерело: Google
Підрозділ Google DeepMind розробив інноваційну ІІ-систему Gemini 2.5 Computer Use, призначену для створення інтелектуальних агентів, здатних взаємодіяти з графічними оболонками максимально близько до людської поведінки.
Можливості Gemini 2.5 Computer Use
- Керування інтерфейсами: Технологія дозволяє виконувати кліки, вводити текстові дані, прокручувати сторінки, заповнювати формуляри, працювати з меню, що випадають, і навіть здійснювати дії після авторизації.
- Циклічний алгоритм інтерфейсної взаємодії: Процес відбувається за схемою «запит → дія → скріншот → аналіз → наступний крок» до завершення завдання.
- Мультиплатформна підтримка: Модель оптимізована для веб-браузерів та мобільних програм з частковою підтримкою десктопних операційних систем.
Механізм функціонування
Система обробляє запит користувача, робить моментальний знімок поточного екрану і аналізує попередні маніпуляції. На основі отриманих даних виконуються конкретні дії – натискання кнопок або введення текстової інформації. Деякі операції потребують додаткового узгодження, особливо при фінансових транзакціях чи критичних процесах.
Принцип роботи Gemini 2.5 Computer Use
Ключові переваги Gemini 2.5 Computer Use:
- висока точність на спеціалізованих тестових платформах,
- мінімальна тимчасова затримка щодо конкурентів,
- продуктивність на 50% вища за існуючі аналоги.
Для забезпечення максимальної безпеки персональних даних корпорація впровадила комплексний захист від потенційно небезпечних дій, непередбаченої поведінки та веб-атак.
Розробникам надано спеціалізований інструментарій із попередньою оцінкою кожної дії та системними механізмами блокування ризикованих операцій.
На даний момент технологія застосовується в тестуванні інтерфейсів користувача, автоматизації робочих процесів і створенні персональних асистентів.
Модель доступна в публічній прев'ю-версії через API Gemini у Google AI Studio та Vertex AI.
Джерело : Google Blog