Сьогодні нікого не здивуєш здатністю деяких мобільних додатків обробляти фотознімки, накладати на них красиві колірні і художні фільтри, різні ефекти. Але що, якщо смартфон навчиться вичавлювати максимум краси з фотографії ще до того, як вона зроблена? Саме таке завдання спробували вирішити інженери Массачусетського технологічного інституту і компанії Google. Отримана в результаті система здатна видати HDR-зображення в 100 разів швидше, ніж всі існуючі до цього моменту алгоритми. Це дозволяє демонструвати на екрані смартфона HDR-картинку з його фотокамери в реальному часі.
Ще в 2015 році випускник MIT Майкл Гарбі розробив хитромудрий спосіб обробки зображень, що дозволяє значно спростити цей процес. Завдяки залученню хмарних серверів різко зменшувалася ширина шини для передачі даних, а також відпадала необхідність високих залізних потужностей, необхідних для обробки. По суті, будь-який смартфон, обладнаний такою системою, буде здатний досить швидко видавати якісне зображення з камери, при цьому практично не витрачаючи заряду акумулятора. Але для цього йому все ж доведеться відправляти дані в хмару і отримувати від сервера готові знімки.
А на це, як ви розумієте, потрібно хоч і невеликий, але час.
«Хлопці з Google почули про мій винахід і зацікавилися ним. Вони ініціювали нашу зустріч і запропонували мені об'єднати зусилля в подальшій роботі над проектом. Ми вирішили об'єднати два підходи для створення абсолютно нової системи обробки даних. Замість того щоб задіяти хмарні сервери, було вирішено навчити систему всьому необхідному і зробити її тим самим повністю самостійною», - ділиться своїми думками Майкл Гарбі.
Інженери використовували машинне навчання і тренували систему на основі 5000 знімків, кожен з яких супроводжувався п'ятьма ретушованими варіантами. Система виробила певну формулу, що дозволяє редагувати кольори пікселів зображення. Згодом алгоритм був відточений до такої міри, що він навчився видавати досить якісні зображення практично миттєво. Можна сказати, в реальному часі. При цьому система здатна працювати на мобільних пристроях і не вимагає високої обчислювальної потужності. Та й акумулятор вона, так само як і система Майкла Гарбі, практично не витрачає. Результати досліджень були продемонстровані в рамках виставки SIGGRAPH.
