У дослідницькій статті Google, присвяченій новій моделі штучного інтелекту для медицини Med-Gemini, виявили помилку: в описі комп’ютерної томографії голови зазначалося про «інфаркт лівої базилярної ганглії» — частини мозку, яка насправді не існує.
Модель переплутала дві різні структури: «basal ganglia» (основну ганглію) — реальну ділянку мозку, і «basilar artery» (базилярну артерію) — іншу, теж важливу структуру. У результаті виник термін «basilar ganglia» — медична вигадка, яку не помітили ні автори дослідження, ні команда Google, яка опублікувала звіт у блозі у 2024 році.
Лише згодом на помилку звернув увагу невролог і дослідник ШІ Брайан Мур, який повідомив про неї компанії через LinkedIn. Google після цього без офіційного оголошення виправила текст блогу, замінивши «basilar» на «basal», але саму наукову статтю залишила без змін. У коментарі The Verge компанія назвала цю помилку «звичайною одруківкою».
Втім, деякі медики не погоджуються з таким трактуванням.
«Ви кажете, що це просто дві літери, але насправді це може бути дуже небезпечно», — заявив Маулін Шах,
головний директор з медичної інформації системи охорони здоров’я Providence, яка охоплює понад 50 лікарень у США.
Читайте також:
Недосконала технологія. ШІ від Google набрехав про смертельну авіакатастрофу в Індії Med-Gemini — це серія моделей штучного інтелекту, які Google позиціює як інструменти для створення медичних звітів, аналізу історій хвороб, прогнозування ризиків захворювань та іншого. У 2024 році компанія представила її як прорив у медичному ШІ. Однак помилка з «basilar ganglia» стала тривожним прикладом того, що такі системи можуть «галюцинувати» — вигадувати правдоподібні, але хибні дані.
«Ми не можемо довіряти, що люди завжди перевірятимуть ці звіти,» — каже Шах. Він додає, що одна помилка може поширитися через інші документи, якщо система базується на попередніх даних.
Подібні ситуації вже були й з іншою моделлю — MedGemma, яку Google презентувала нещодавно. Дослідники з’ясували, що зміна формулювання запиту може повністю змінити відповідь ШІ. В одному прикладі система правильно виявила проблему на рентгені ребер, коли запит був детальний. Але коли питання сформулювали простіше — модель відповіла,
що все в нормі.
«Проблема в тому, що ШІ часто звучить дуже переконливо — навіть коли помиляється,» — пояснює професор Джонатан Чен зі Стенфордської медичної школи. Він каже, що медики можуть звикнути довіряти системі, якщо вона часто права, і не помітити серйозної помилки.
Докторка Джуді Гічоя з Еморі також підтверджує: Med-Gemini у тестовому середовищі видавав неправдиві медичні висновки. На її думку, багато з цих моделей не вміють говорити «я не знаю», що критично в медицині.
Читайте також:
Елегантні та непомітні. Згенеровані ШІ від Google відео отримали водяні знаки Google публічно визнала помилку лише у коментарі на LinkedIn:
«Дякуємо, що звернули увагу! Ми оновили зображення в блозі, щоб показати справжній результат моделі,» — йдеться у відповіді компанії.
Але як наголошують експерти, йдеться не лише про одну помилку.
«Мене більше турбує не те, що ШІ часом помиляється, а те, наскільки переконливо він це робить,» — підсумовує Чен.
Читайте також:
Змусити фарму рухатися швидше. Штучний інтелект покаже свою здатність прискорювати розроблення ліків — The Economist
