Штучний інтелект уже навчився аналізувати медичні знімки, знаходити ознаки захворювань і допомагати лікарям із діагностикою. Але чи можна побудувати роботу цілої клініки навколо ШІ?Саме це вирішили перевірити дослідники в Китаї, повідомляє Science Alert. Команда Beijing Visual Science and Translational Eye Research Institute створила AI-TEC — очну клініку, спроєктовану з урахуванням штучного інтелекту з самого початку.Лікарі залишалися в процесі та контролювали роботу системи, але AI використовували на різних етапах — від попередньої консультації до аналізу знімків і подальшого спостереження за пацієнтами.Результати експерименту показали цікаву річ: самої точності ШІ недостатньо, щоб він став корисним інструментом у медицині.Одним із головних завдань системи був аналіз зображень очей для виявлення захворювань, зокрема глаукоми та вікової дегенерації жовтої плями.Спочатку результати були відносно слабкими.Але потім дослідники зробили те, що виявилося критично важливим — додали до навчання 1426 високоякісних знімків очей, які офтальмологи ретельно перевірили та правильно класифікували.
Результат виявився кращим, ніж після використання значно більшого масиву початкових даних.До цього AI навчали майже на 27 тисячах зображень, але вони були менш якісними та не настільки повно промаркованими. Тобто виявилося, що для медичного ШІ більше даних не завжди означає кращий результат.Важливішою може бути якість цих даних.Після оновлення навчальних даних система досягла показника AUROC понад 0,93.AUROC — стандартизована метрика, яку використовують для оцінки здатності діагностичної системи розрізняти різні стани.За цим показником система була приблизно на рівні інших сучасних технологій аналізу медичних зображень. На цьому моменті могло здатися, що головна проблема вирішена. Але саме тут експеримент показав найцікавіше.Попри хороші результати алгоритму, його використання в клінічній роботі почало падати.Через п'ять місяців дослідники перевірили роботу системи за один місяць.Із 1113 обстежень лише 41, або 3,8%, проходили із використанням доступних AI-інструментів.Тобто система могла бути достатньо точною, але медичний персонал фактично не хотів нею користуватися.
Причина виявилася значно прозаїчнішою за якість алгоритму.AI-система була недостатньо зручною.Дослідники спростили роботу з AI-інструментами, зробили систему швидшою, скоротили кількість кліків та обсяг ручного введення даних.Після цього ситуація змінилася.Наступного місяця ШІ використовували вже у 259 із 1126 обстежень — приблизно 23%.Це все ще не більшість випадків, але зростання було суттєвим.Експеримент показав просту проблему: навіть дуже точна технологія не стане частиною медицини, якщо лікарю складніше нею користуватися, ніж працювати без неї.Дослідники виділили кілька ключових факторів, від яких залежить успіх AI-системи в клініці.Навіть десятки тисяч зображень не гарантують хорошого результату, якщо вони недостатньо якісні або неправильно класифіковані.У цьому експерименті набагато менший набір із 1426 експертно перевірених знімків суттєво покращив роботу системи.AI не повинен створювати лікарю додаткову бюрократію.Якщо для отримання результату потрібно зробити десятки зайвих дій, медики просто перестають використовувати систему.Дослідники також дійшли висновку,
що AI має отримувати від лікарів регулярний і швидкий фідбек.Якщо помилки або проблеми стають зрозумілими лише через кілька тижнів, удосконалювати систему значно складніше.Є ще одна фундаментальна проблема.AI переважно працює від результату.Наприклад, його завдання може звучати як: чи є на цьому знімку ознаки захворювання?Лікар починає з іншого боку.Пацієнт приходить і каже, що в нього погіршився зір або з'явилося затуманення. Лікар враховує симптоми, історію хвороби, вік та інші обставини, а вже потім переходить до обстежень.Тому навіть дуже точний AI для аналізу знімків не обов'язково автоматично покращує лікування.І це, мабуть, один із головних висновків експерименту.Дослідники не стверджують, що експеримент довів готовність повністю передати медицину штучному інтелекту.Навпаки.Результати показують, наскільки складним є перехід від «AI добре працює в тесті» до «AI реально допомагає лікарям лікувати пацієнтів».Для цього недостатньо високого показника точності.Потрібні якісні дані, зручна інтеграція в роботу медиків, постійний контроль і зрозуміла користь для пацієнта.
