Команда исследователей из Токийского университета смогла построить связь между большой языковой моделью GPT-4 и роботом Alter3, что позволило им выполнять более человеческие движения и программировать робота на естественном языке, отказавшись от традиционного аппаратного обеспечения. -зависимые системы управления. Авторы проекта назвали этот прогресс «сменой парадигмы» в робототехнике.
Alter3 — новейшая версия робота-гуманоида, впервые представленная в 2016 году. Он способен выполнять сложные движения верхней части тела, включая детализированную мимику, и имеет 43 оси, имитирующие движения опорно-двигательного аппарата человека. Он опирается на базу, но ходить не может (хотя имитировать ходьбу может). Используя GPT-4, исследователи научили робота выполнять различные симуляции, такие как делать селфи, бросать мяч, есть попкорн и играть на воздушной гитаре. Раньше такие действия требовали кодирования конкретных инструкций для каждого действия, но использование GPT-4 позволяет роботам изучать общие голосовые инструкции.
-Сыграйте нам «Дым над водой»
Исследователи утверждают, что «теперь возможно прямое управление путем передачи лингвистических выражений человеческих действий в тело робота с помощью программного кода». Это открывает большие возможности для сотрудничества между людьми и роботами. Благодаря этому прорыву в робототехнике мы можем ожидать появления более интеллектуальных, адаптивных и персональных роботизированных устройств. Робот Alter3 имеет встроенную камеру, которая позволяет ему «видеть» людей и улучшать свое поведение, наблюдая за их реакциями.
Используя языковые модели в исследованиях в области робототехники, исследователи значительно упрощают процесс координации многих суставов робота, давая устные инструкции, описывая модели движений и генерируя программный код, который приводит в движение двигатель робота. Это избавляет от утомительной работы по программированию каждого движения по 43 осям, позволяя исследователям более быстро, плавно и точно реконфигурировать и улучшать движения робота с течением времени.
Alter3 показывает зомби
Исследователи также добавили немного юмора в деятельность робота Alter3. В одном сценарии робот демонстрирует, что ест пакет попкорна, но затем оказывается, что попкорн принадлежит человеку, сидящему рядом с ним. Выражение лица и движения рук робота выражают удивление и стыд.
Источник: techxplore.com