Команда исследователей из Колумбийского университета разработала робота, способного синхронизировать движения губ с речью и пением, что представляет собой значительный шаг вперёд в области робототехники. Традиционно гуманоидные роботы имели ограничения в естественной артикуляции, проявляясь лишь в примитивном открывании и закрывании рта. Однако у нового робота имеются способности, позволяющие ему артикулировать слова на разных языках и исполнять песни из альбома, созданного искусственным интеллектом.
Ключевым аспектом создания робота стало использование метода обучения. Он осваивал управление 26 приводами лица, наблюдая за собственным отражением в зеркале, а затем анализировал видео с говорящими и поющими людьми. Такой подход позволил роботу постепенно перенимать особенности человеческой артикуляции и улучшать точность движений. Исследователи отметили, что чем больше робот взаимодействует с людьми и наблюдает за ними, тем больше точность его движений.
Создание реалистичной артикуляции является комплексной инженерной задачей, которая требует сочетания гибкой конструкции лица и точного управления движениями губ в зависимости от звуков. В отличие от человека, лицо робота имеет жесткую конструкцию, что часто делает его движения неестественными. Для решения этой проблемы команда разработала гибкую лицевую конструкцию, позволяющую роботу самостоятельно изучать управление ею. Он экспериментировал с тысячами случайных выражений и изучал, как активность приводов влияет на визуальный результат.
Тестирование показало, что робот способен синхронизировать свои движения с речью и музыкой, даже не понимая смысл материалов. Разработчики признали, что пока существуют некоторые ограничения, особенно с согласными звуками и теми, которые требуют вытягивания губ, но они планируют преодолеть эти трудности в будущем.
При этом учёные подчеркивают, что синхронизация губ является лишь частью более широкой задачи. В сочетании с разговорными ИИ-системами это создает новый уровень взаимодействия между роботами и людьми. Эмоции и мимика играют ключевую роль в общении. Прогнозируется, что с ростом использования гуманоидных роботов в различных сферах, таких как образование и медицинская помощь, значение выразительной мимики будет только увеличиваться.
Однако исследователи также отмечают риски, связанные с развитием коммуникативных способностей машин. Они подчеркивают необходимость осторожного подхода, чтобы избежать социальных и этических проблем. Несмотря на эти вызовы, текущие результаты свидетельствуют о том, что робототехника приближается к преодолению «зловещей долины», создавая возможности для более естественного взаимодействия между человеком и машиной.
