Технологии

Саморобний робот BMO з «Пригод Фіна та Джейка»: всередині локальний ШІ на Raspberry Pi

5 мар•ProstoMob

Ентузіаст і автор каналу brenpoly втілив у реальність одного з найулюбленіших персонажів мультсеріалу «Пригоди Фіна та Джейка» — маленького робота BMO. Але це не просто декоративна іграшка: всередині корпусу живе повноцінний локальний ШІ-агент, який думає, говорить і навіть бачить навколишній світ.

Залізо: мозок розміром з долонюОсновою пристрою став Raspberry Pi 5 з 16 ГБ оперативної пам’яті — найпотужніша версія мікрокомп’ютера на момент зйомки відео. До нього підключені: 5-дюймовий IPS-сенсорний екран із роздільною здатністю 800×480, камера Raspberry Pi Camera Module V2, USB-мікрофон, USB-динаміки та NVMe SSD-накопичувач для прискорення завантаження. Кастомна плата з мікроконтролером перетворює натискання кнопок у клавіатурні команди — тобто BMO можна використовувати як справжній ігровий контролер з будь-якою програмою на системі.

Корпус: 3D-друк, фарба та трохи магіїАвтор розробив корпус у Blender, заздалегідь спроектувавши власну PCB для кнопок у програмі KiCad. Після друку на 3D-принтері деталі шліфувались, ґрунтувались і фарбувались. Тьмяна фарба несподівано лягла із фактурою «шагреню» — через те,

що балон зберігався на морозі в гаражі. Автору текстура нагадала поверхню старого Super Nintendo, тож він вирішив залишити її як є.

Програмна начинка: Whisper, Ollama і власний wake wordПрограмна архітектура побудована цілком на відкритих інструментах. Схема роботи виглядає так:

Модель open wake word розпізнає голосову команду «Hey BMO» і виводить пристрій зі стану очікування.
Whisper від OpenAI транскрибує мовлення у текст.
Ollama запускає локальну мовну модель Gemma 3 для генерації відповіді.
Для аналізу зображень з камери підключено окрему модель — Moondream
Текст у мовлення перетворює локальна TTS-система Piper

Усі моделі завантажуються в пам’ять під час старту й залишаються активними — це суттєво скорочує час відповіді.

Агент, а не чат-ботКлючова відмінність BMO від звичайного голосового асистента — агентна архітектура. Замість простої генерації тексту модель самостійно вирішує, які інструменти використати: зробити фото, виконати пошук через DuckDuckGo чи просто відповісти текстом. Наприклад, на запит «що ти бачиш?» BMO самостійно ініціює знімок камерою, передає його до Moondream і озвучує опис побаченого.

Думки наприкінціАвтор відверто зізнається, що не є професійним розробником, і розглядав цей виріб передусім як спосіб глибше розібратися в технологіях ШІ. Він також порушує ширше питання: чи справді переваги штучного інтелекту доступні лише через хмарні дата-центри та сумнівні з точки зору авторського права підходи? Локальні моделі не вирішують усіх проблем, проте демонструють: навчитися і збудувати щось власне — цілком реально.