Дослідники Массачусетського технологічного інституту (MIT) створили систему ШІ UQ-DAAAM, яка допомагає роботам виявляти та виправляти неправильні описи об'єктів у власній пам’яті. Технологія аналізує зображення тих самих предметів з різних ракурсів.
Про це пише видання Interesting Engineering.
Нова система розвиває попередню розробку MIT під назвою DAAAM. Вона використовує модель, яка поєднує комп’ютерний зір і обробку мови, щоб описувати предмети, зафіксовані камерами робота. Отримані описи зберігаються у вигляді тривимірної карти навколишнього середовища. Завдяки цьому робот може знаходити потрібну інформацію під час виконання завдань або відповідей на запитання.
Однак попередня технологія могла помилятися, якщо об'єкт був частково закритий, перебував далеко або потрапляв у кадр за поганого освітлення чи розмитого зображення. Наприклад, система могла сплутати сіру димову трубу із білкою на даху. Без механізму виправлення така помилка залишалася б у пам’яті робота та могла впливати на його подальші рішення.
UQ-DAAAM має розв’язати цю проблему за допомогою оцінювання невизначеності.
Спочатку система перевіряє, наскільки впевнена модель у словах, використаних для опису об'єкта. Потім вона порівнює цей опис з іншими варіантами, створеними на основі зображень того самого предмета з різних ракурсів.
Результати перевірок об'єднуються в єдиний показник невизначеності. Якщо він перевищує встановлений поріг, система визначає опис як потенційно неправильний і запускає процес його уточнення.
Замість аналізу всіх доступних зображень UQ-DAAAM самостійно обирає додаткові ракурси, які можуть допомогти усунути сумніви. Наприклад, щоб правильно розпізнати димову трубу, робот може використати зображення, на якому видно дим, що виходить із неї.
Такий підхід дає змогу скоротити обчислювальні витрати, оскільки системі не потрібно щоразу повторно запускати модель комп’ютерного зору. Це важливо для роботи на мобільних роботах з обмеженими обчислювальними ресурсами.
Після вибору додаткових зображень велика мовна модель об'єднує отримані описи в оновлений варіант. Більшу вагу вона надає новішим описам і тим, що містять менше неоднозначностей. Виправлена інформація зберігається в пам’яті робота та може використовуватися надалі.
Під час випробувань система усунула неоднозначності приблизно для 92% об'єктів у навколишньому середовищі робота. Для цього їй знадобилося в середньому лише два додаткові описи на кожен об'єкт. Точність розпізнавання та опису предметів також зросла на 5% порівняно з наявними передовими методами.
Дослідники також встановили, що UQ-DAAAM допомагає точніше відповідати на запитання про об'єкти, їхнє розташування та час останньої зустрічі з ними.
Надалі команда планує адаптувати технологію для різних типів роботів, зокрема мобільних роботизованих маніпуляторів. Також дослідники вивчають можливість навчити систему самостійно визначати ділянки з високою невизначеністю та спрямовувати туди роботів для збору додаткових даних.
Читайте також:
- За допомогою штучної крові. Вчені створили робота-метелика, який вирощує власні сенсори
- Чутки не справдились. Tesla поки не відкрила передзамовлення на гуманоїдного робота Optimus
- Безперервна робота. Xiaomi випробувала гуманоїдів на автомобільному заводі — роботи сортували деталі 8 годин
