Група науковців зі США з’ясувала, що якщо навчати великі мовні моделі (LLM) на поверхневих або низькоякісних даних, це може призвести до погіршення їхньої здатності мислити, запам’ятовувати та логічно відповідати — подібно до того, як у людей виникають когнітивні проблеми від надмірного споживання легкого контенту в інтернеті.
Дослідженняпровели науковці з Техаського A&M, Техаського університету та Університету Пердью. У своїй науковій роботі вони назвали це явище «гіпотезою гниття мозку LLM», яку описали так: «постійне перенавчання на неякісному інтернет-тексті викликає стале когнітивне погіршення в мовних моделях».
Визначити, які дані є якісними, а які ні, дослідникам було непросто. Вони використали базу зі 100 мільйонів публікацій у Twitter (тепер X) і створили два окремі набори: «сміттєві» та контрольні.
Перший тип «сміттєвих» твітів складався з коротких повідомлень із високою кількістю вподобань, репостів і коментарів. Науковці припустили, що популярні, але короткі й поверхневі твіти найчастіше приваблюють увагу, але не несуть глибокого змісту.
Читайте також:
Менше свайпів — більше побачень? Як штучний інтелект змінює онлайн-знайомства Другий підхід базувався на оцінці «смислової якості» контенту. За допомогою GPT-4o дослідники відібрали твіти на теми змов, перебільшених тверджень, порожніх порад про «успішність» і клікабельних заголовків — тобто дописів, які створені лише для привернення уваги. Точність цієї класифікації перевірили вручну — результати збіглися у 76% випадків.
На основі цих даних вчені створили чотири мовні моделі, які навчали з різним співвідношенням «сміттєвих» і якісних текстів. Потім перевірили їх за кількома показниками:
- логічне мислення (ARC AI2),
- здатність пам’ятати контекст (RULER),
- етичні норми поведінки (HH-RLHF, AdvBench),
- риси «особистості» моделі (TRAIT).
Читайте також:
Штучний касир. Як працює функція миттєвих покупок у ChatGPT Результати показали, що чим більше «сміттєвих даних» потрапляло у навчальний набір, тим гірше моделі справлялися із завданнями на логіку та пам’ять. Інші тести дали змішані результати: наприклад, модель Llama 8B, навчена наполовину на якісних і наполовину на «сміттєвих» даних,
іноді показувала навіть кращі результати за тими, що навчалися лише на «чистих» або лише на «поганих» даних.
Автори роботи застерігають: «надмірна залежність від інтернет-даних може втягнути мовні моделі в пастку контентного забруднення». Вони закликають переглянути сучасні підходи до збору даних і підкреслюють, що ретельна перевірка й контроль якості навчальних матеріалів стають критично важливими, щоб уникнути «накопичення шкоди» в майбутніх моделях.
Науковці також попереджають, що ситуація може погіршитися, коли все більше контенту в мережі створюють самі ШІ-моделі. Це може призвести до так званого «колапсу моделей» — коли штучний інтелект навчається на власному штучному контенті й поступово втрачає здатність продукувати щось нове або змістовне.
Читайте також:
Тотальне стеження. Як штучний інтелект змінює міську безпеку (і чи на краще)
