Технології

Xiaomi представила свою першу open-source модель Xiaomi-Robotics-0 для робототехніки

12 лют•ProstoMob

12 лютого 2026 року компанія Xiaomi офіційно випустила свою першу модель роботизованого бачення-мови-дії (VLA) з відкритим вихідним кодом під назвою «Xiaomi-Robotics-0». Маючи 4,7 мільярда параметрів, ця розробка поєднує розуміння візуальної мови з високою продуктивністю виконання завдань у реальному часі, встановлюючи нові стандарти в індустрії. Про це повідомляє XiaomiTime.

Архітектура та технічні можливостіДля досягнення балансу між загальним розумінням команд та точним контролем рухів, у Xiaomi-Robotics-0 використовується архітектура «Mixture-of-Transformers» (MoT). Система складається з двох основних компонентів:

Візуально-мовний мозок (VLM): Побудований на мультимодальній базі, він відповідає за розуміння нечітких людських команд (наприклад, «будь ласка, склади рушник») та сприйняття просторових відносин через візуальні входи високої чіткості.
Мозочок виконання дій (Action Expert): Для генерації високочастотних та плавних рухів інтегровано багатошаровий дифузійний трансформер (DiT). Замість виведення однієї дії, він генерує «фрагмент дії» (Action Chunk) і забезпечує точність за допомогою технології flow-matching.

Методи навчання та оптимізації

Щоб уникнути втрати загальних здібностей розуміння під час навчання діям, розробники застосували гібридний метод тренування. Він поєднує синергічне навчання VLM, де механізм пропозиції дій узгоджує простір ознак із простором дій, та спеціалізоване навчання DiT, яке відновлює точні послідовності дій із шуму.

Для вирішення проблеми затримок та забезпечення плавності рухів у реальних роботах було впроваджено низку інновацій:

Асинхронний вивід: Відокремлює процес міркування моделі від виконання дій роботом, дозволяючи їм працювати асинхронно.
Чистий префікс дії: Використовує попередньо передбачену дію як вхідні дані для забезпечення безперервності траєкторії.
Маска уваги $Lambda$-форми: Змушує модель фокусуватися на поточному візуальному зворотному зв’язку, а не на історичній інерції, що робить робота чутливим до раптових змін середовища.

Результати тестів та доступністьМодель продемонструвала високі результати, посівши перше місце серед 30 моделей у симуляційних тестах, таких як LIBERO, CALVIN та SimplerEnv. У випробуваннях з дворукими роботами система показала відмінну зорово-моторну координацію у тривалих завданнях, таких як розбирання блоків та складання м’яких тканин.

Важливою особливістю Xiaomi-Robotics-0 є апаратна сумісність: система підтримує вивід у реальному часі на споживчих графічних картах. Проектна сторінка, вихідний код та ваги моделі вже доступні для громадськості.