Студенти Університету Британської Колумбії створили стіл для аерохокею з роботом під керуванням штучного інтелекту, який навчився грати виключно у віртуальному середовищі. Після завершення навчання систему перенесли на реальний стіл, де вона змогла скласти серйозну конкуренцію людським суперникам без попередньої практики в реальному світі.
Про це пише видання Interesting Engineering.
Зазвичай роботів із ШІ навчають методом спроб і помилок у реальних умовах. Для цього потрібні тисячі тренувальних запусків, що займає багато часу та може призвести до зношування обладнання.
Команда з Університету Британської Колумбії вирішила спочатку навчити систему у цифровому середовищі. Для цього студенти створили дуже точну цифрову копію стола для аерохокею, де штучний інтелект міг тренуватися та помилятися без ризику для реального обладнання.
Після завершення навчання алгоритм перенесли на робота та перевірили його в матчі проти людини. Попри відсутність будь-якого реального досвіду, робот одразу показав конкурентну гру.
За словами розробників, аерохокей є складним завданням для систем штучного інтелекту.
Шайба рухається дуже швидко, часто змінює траєкторію після ударів об борти та ключки, а навіть незначні помилки можуть коштувати перемоги.
Додаткові труднощі створюють затримки в роботі камер і моторів, коливання напруги, механічні вібрації та неточності під час відстеження шайби. Тому команда спеціально зробила тренувальне середовище недосконалим.
У симуляції враховувалися нерівності бортів, деформації поверхні стола, непередбачувані відскоки шайби, просідання живлення та затримки камери. Такий підхід, відомий як рандомізація середовища, навчив систему очікувати різні варіанти розвитку подій і швидко реагувати на них.
Замість того щоб прогнозувати один точний результат відскоку шайби, штучний інтелект навчився оцінювати кілька можливих сценаріїв і діяти відповідно до ситуації.
Для прискорення навчання команда відмовилася від традиційних фізичних рушіїв, таких як Unity та Unreal. Натомість використовувався метод навчання soft actor critic, у якому система отримує винагороду або покарання залежно від результатів своїх дій.
Після мільйонів змодельованих матчів робот значно покращив свою гру та навчився адаптуватися до різних непередбачуваних ситуацій.
Під час гри в реальному світі систему також підтримувала спеціальна камера над столом і шайба з ретрорефлективним покриттям. Це дозволяло роботу чіткіше відстежувати її рух зі швидкістю 120 кадрів за секунду.
Розробники вважають, що ця технологія може бути корисною не лише для аерохокею. Подібний підхід може допомогти швидше та ефективніше навчати дрони, автономні транспортні засоби та інші роботизовані системи перед їх використанням у реальних умовах.
Читайте також:
