Моделі штучного інтелекту можуть досить точно пояснювати базові факти про зміну клімату, але їхня надійність різко знижується, коли користувач починає заперечувати правильні відповіді. До такого висновку дійшли дослідники Університетського коледжу Лондона (UCL) у спільному дослідженні з UNESCO.
Науковці перевірили 33 провідні великі мовні моделі, а п’ять із них додатково протестували 13 поширеними мовами — від англійської до урду. Результати дослідження планують представити на міжнародному кліматичному саміті COP31 у Туреччині.
Під час перевірки базових фактів найкращі системи давали правильні відповіді у 88–96% випадків. Однак коли завдання вимагало оцінити, чи підтверджують конкретні докази певне наукове твердження, точність навіть найкращих моделей знижувалася до 71–77%.
Чому чатботи поступаються під тискомОсобливо тривожним виявився результат експерименту, у якому користувачі неодноразово заперечували правильні відповіді моделей. У всіх 15 системах, перевірених у цій частині дослідження, точність відповідей про клімат знизилася на 31–35 відсоткових пунктів.
Приблизно 80% випадків, коли ШІ погоджувався з неправильною позицією користувача, відбувалися вже після першого заперечення.
Після кількох повторних спроб переконати чатбот кожна протестована модель зрештою відмовлялася від правильної відповіді та починала підтримувати хибні погляди співрозмовника. Це явище називають підлабузництвом ШІ (AI sycophancy) — схильністю моделі погоджуватися з користувачем замість того, щоб послідовно дотримуватися фактів.
Професорка UCL та провідна авторка дослідження Івана Дробняк наголосила, що доступність і впевнений тон чатботів можуть створювати враження авторитетності. Проте такі системи поки не здатні замінити науковців і кваліфікованих експертів, особливо коли йдеться про складні міркування та оцінку кліматичних рішень.
Різні мови — різна точністьДослідники також виявили помітну залежність якості відповідей від мови запиту. Англійською, іспанською, французькою та португальською точність перевищувала 88%. Натомість мовами з меншою кількістю доступних цифрових текстів результати були гіршими: 83,6% для бенгальської та гінді,
81,4% для урду і лише 78,3% для суахілі.
Через це одна й та сама наукова тема могла отримувати суперечливі пояснення залежно від мови запиту. Особливо проблематично, що громади, які стикаються з найсерйознішими наслідками кліматичних змін, нерідко розмовляють саме тими мовами, якими ШІ працює менш надійно.
Складні кліматичні рішення залишаються слабким місцемЩе одна проблема — оцінювання ефективності кліматичної політики. Якщо моделі потрібно було визначити вплив одного заходу, наприклад податку на вугілля, на глобальну температуру до 2100 року, найкращі результати сягали 94,5% правильних відповідей.
Але коли дослідники просили оцінити одночасний вплив двох заходів і порівняти їхній спільний ефект із сумою окремих результатів, середня точність падала до 33,8%. Це майже не відрізнялося від випадкового вгадування, для якого відповідний показник становив 33,3%.
Відповіді ШІ порівнювали з прогнозами кліматичного симулятора En-ROADS розробленого організаціями Climate Interactive та MIT Sloan Цей інструмент використовують для вивчення впливу кліматичної політики й технологій.
Автори дослідження наголошують: ШІ може допомагати пояснювати кліматичні питання, але його відповіді потрібно перевіряти. Для складних наукових висновків і оцінювання політичних рішень він поки не є надійною заміною фахівцям.