Реальний трекінг рук. Погляд і щипок пальцями. Повноцінне пересування кімнатою в шести ступенях свободи. І якісна картинка з камери. Звучить як реклама Vision Pro за три з половиною тисячі доларів. Тільки це звичайний трирічний телефон у саморобному корпусі. І сьогодні я розповім, як його власник за допомогою локального ШІ та 3D-друку повернув мобільний VR з могили.
Він не обіцяє, що це замінить дорогі шоломи. Він просто хотів перевірити: наскільки близько можна підібратися до сучасних гарнітур, поки телефон не здасться.
Коротко про те, як мобільний VR померПам’ятаєте Google Cardboard і Samsung Gear VR? Колись саме смартфони зробили VR доступним. Перший iPhone приніс маленькі гіроскопи і екрани, а оригінальний Oculus Rift взагалі використовував матриці від планшета Nexus 7. Тоді світ розділився: дорогі ПК-шоломи з зовнішніми сенсорами давали повноцінне 6DoF, а телефонний VR застряг на 3DoF. Нахилив голову — світ рухається. Зробив крок уперед — і картинка лишається приклеєною до обличчя. Нудота гарантована.
Google намагався врятувати ситуацію з Daydream. Потім у 2019-му все зникло майже за рік.
Oculus випустив одразу три шоломи, і Quest з камерами для 6DoF і трекінгом рук просто зметев усе. Gear VR і Daydream пішли в історію. Іронія в тому, що саме тоді телефони нарешті отримали все потрібне: LiDAR, 120-герцові OLED-екрани і нейрочипи, здатні в реальному часі відстежувати кімнату й руки. Просто ніхто цим особливо не користувався.
Новий корпус під сучасні телефониАвтор взяв те, що було під рукою — iPhone 15 Pro і Pixel 9 Pro. Не найновіші, але вже з усім необхідним «залізом». Спочатку хотів міряти штангенциркулем, а потім згадав, що Apple виклала офіційні креслення. Закинув їх у агента з MCP-протоколом для Fusion 360 — і за кілька хвилин отримав точну 3D-модель. Перевірив по документації. Все зійшлося.
Далі — корпус. Друкував на Bambu Lab X1C одним шматком. Перша спроба сідала на iPhone ідеально, але для кожного телефону довелося б робити окремий шолом. Тому зробив універсальний корпус і змінні передні дверцята під різні моделі. З вирізом під камеру і внутрішніми бамперами, які фіксують телефон рівно навпроти лінз.
Для дверцят використав подвійний друк:
жорсткий PLA і м’який TPU для бамперів. На принтері з одним екструдером звичайний PLA теж працює, просто з TPU тримається приємніше. Додав паз під MagSafe-кільце — щоб телефон не бовтався і можна було чіпляти аксесуари.
Лінзи взяв ті самі 45-міліметрові, що колись ставили в Cardboard. Коштують копійки. Вони просто вставляються і фіксуються поворотом. А зверху — саморобне діоптрійне колесо на рейці. Одне M3-гвинт і гайка. Крутиш — і лінзи рухаються вперед-назад. Люди в окулярах нарешті можуть налаштувати фокус під себе, не купуючи дорогі вставки.
Дверцята тримаються на філаменті або металевому штифті. Закриваються звичайною гумкою для волосся. Максимально просто і доступно. З боків — отвори під ремінці. Є навіть адаптери, щоб чіпляти ремінь від Quest 3 або Solo Knit Band від Vision Pro (той самий, що Apple продає за 99 доларів).
Мозок на Unity і локальному ШІКорпус є. Тепер потрібне ПЗ. Автор зібрав усе в Unity. Крос-платформенно — і iOS, і Android одним махом. Для 6DoF узяв AR Foundation. Це той самий візуально-інерційний SLAM, яким користуються звичайні AR-додатки.
Камера шукає контрастні точки, гіроскоп і акселерометр допомагають, і телефон розуміє, де він у просторі. Не перший, хто так робить, але різниця з сучасними шоломами лише в кількості камер.
Трекінг рук — через локальну модель MediaPipe Blaze. Спочатку легкий детектор долоні, потім друга модель малює 21 суглоб у 3D. На iPhone ще й LiDAR допомагає зрозуміти реальний розмір і відстань. Оскільки камера одна і поле зору вузьке, зробили інтерфейс через погляд і щипок. Дивишся на кнопку — і захипуєш пальці.
Далі — визначення площин, passthrough з камери, взаємодія віртуальних об’єктів з реальною кімнатою. Усе це вже вміють звичайні AR-програми. Але щоб зібрати в повноцінний стерео-VR, довелося взяти відкритий Cardboard SDK (той самий, що Google виклав, коли мобільний VR помирав) і зробити власну камеру-риг з компенсацією спотворень лінз.
У підсумку на трирічному телефоні крутяться одночасно 6DoF, passthrough, 120 Гц і повноцінний трекінг рук. І все це в надрукованому корпусі.
Головний ворог — теплоЄ одне «але». Коли телефон одночасно ганяє SLAM, LiDAR, нейромережу для рук і стерео-рендер на 120 кадрах,
він починає смажитися. Операційна система панікує і ріже частоту. У VR це миттєво перетворюється на нудоту.
Тому в додатку з’явився тепловий губернатор. Він постійно дивиться на температуру і сам знижує частоту трекінгу рук чи обмежує FPS, перш ніж телефон почне задихатися. Кожна демо-сцена вмикає тільки те, що їй реально потрібно. У 360-відео, наприклад, повний 6DoF і скелет рук не потрібні — система відпочиває. Повернувся в кімнату — знову все прокидається.
Але пасивне охолодження все одно програє фізиці. Тому з’явилася «про-версія» — MagSafe-охолоджувач, який чіпляється прямо на телефон ззаду. Так, тепер це стильна цеглина, як у найдорожчих шоломів. Зате працює довше.
«Чи замінить телефон на обличчі Quest 3 або Vision Pro? Навряд чи. Але я зрозумів, скільки можливостей просто спить у наших кишенях»
Чому це важливоСьогодні майже всі нормальні шоломи стартують від тисячі доларів. Quest 3S — один з небагатьох варіантів дешевше. Технології стають крутішими і водночас все дорожчими. А VR цікавий не лише іграми. Освіта, медицина, терапія — там він реально може змінити багато.
Тільки школа ніколи не зможе купити комплект Vision Pro на весь клас.
Тому автор виклав і файли для друку, і весь код у відкритий доступ. Будь-хто з доступом до 3D-принтера і лінз за п’ять доларів може знову отримати VR. Не ідеальний. Але свій. І дешевий.
- Повноцінний 6DoF без зовнішніх сенсорів
- Трекінг рук через локальний ШІ
- Passthrough і взаємодія з реальною кімнатою
- Регульований фокус під очі
- Повна відкритість файлів і коду
Запис Ентузіаст за $5 створив аналог Apple Vision Pro за $3500 спершу з'явиться на ProstoMob.
