Дослідники NVIDIA створили SONIC — систему керування гуманоїдними роботами, яка перетворює текст, відео, музику та людські рухи на команди для всього тіла робота.
Про це пише видання Interesting Engineering.
SONIC побудована як універсальна система, тому їй не потрібен окремий контролер для кожної дії. Вона може керувати ходьбою, бігом, стрибками, захопленням предметів та переходами між різними рухами.
Для навчання дослідники використали понад 100 млн кадрів руху, отриманих приблизно з 700 годин записів рухів людей. Найбільша версія моделі містить 42 млн параметрів. Навчання проводили із залученням до 128 графічних процесорів і близько 21 тис. годин обчислень на GPU.
Основою SONIC є спільна система представлення рухів. Вона дає змогу перетворювати різні типи команд на єдиний формат, який потім використовує робот для виконання дій. Завдяки цьому одна система може працювати з дистанційним керуванням, відео, текстовими командами та музикою.
Наприклад, робот може отримати з відео інформацію про рухи людини та відтворити їх. Текстова команда може задати конкретну дію,
як-от ходьбу або удар ногою. Музика використовується для генерації танцювальних рухів.
SONIC також має планувальник рухів, який працює в реальному часі. Він створює короткі послідовності між заданими положеннями тіла та може перебудовувати їх після надходження нової команди. Це дає змогу змінювати напрямок, швидкість або характер руху без повторного навчання системи.
Дослідники випробували SONIC на гуманоїдному роботі Unitree G1. У реальних умовах система успішно виконала 99,2% зі 123 перевірених послідовностей рухів. У симуляції результат становив 100%.
SONIC також підключили до моделі, яка поєднує обробку зображень, мови та дій. У п’яти завданнях із використанням усього тіла робота середній показник успішності становив 75%. Серед них були підбирання предмета, відкривання смітника за допомогою педалі та координація рухів рук і ніг для переміщення банки газованого напою в контейнер.
Дослідники вважають, що спільна система команд може спростити керування гуманоїдами на рівні складніших ШІ-моделей. Замість окремого контролю ходьби та маніпуляцій із предметами робот отримує єдиний механізм для керування всім тілом.
Читайте також:
