Група розробників під керівництвом колишнього працівника OpenAI Алека Редфорда представили експериментальну мовну модель Talkie-1930-13B, яка навчена виключно на текстах, написаних до 1931 року.
Модель натренували на приблизно 260 млрд токенів текстів англійською мовою — це книги, газети, наукові журнали, патенти та юридичні документи.
Гіпотеза розробників полягала у тому, що якщо сучасні моделі знають усе (або майже все), то «вінтажні» дозволяють подивитися, як ШІ поводиться без доступу до сучасних знань — і чи здатен він самостійно «додуматися» до речей, які людство відкриє пізніше.
Що вміє модельTalkie-1930 загалом поступається сучасним ШІ за рівнем знань. Вона не знає про Другу світову війну, ООН чи розвиток цифрових технологій (хоча іноді трапляються витоки сучасніших даних через помилки в датасеті).
Водночас модель показує хороші результати у базових речах:
- розуміння мови;
- логіка;
- базова математика.
Навіщо це потрібноРозробники кажуть, що такі моделі — це інструмент для досліджень. Вони допомагають зрозуміти, як ШІ узагальнює знання, дозволяють тестувати здатність прогнозувати майбутнє та зменшують проблему «забруднення» даних (коли модель просто запам’ятала відповідь).
Окремий інтерес — перевірити, чи зможе модель із «минулого» самостійно дійти до великих відкриттів. Наприклад, чи могла б вона «винайти» теорію відносності, як це зробив Альберт Ейнштейн.
Головний виклик — якість даних. Оскільки всі тексти оцифровані зі старих джерел, у них багато помилок, що суттєво знижує ефективність навчання.
Інша проблема — «витоки часу», коли в датасет випадково потрапляють сучасніші знання. Це спотворює експеримент.
Розробники планують масштабувати модель — аж до рівня, співставного з ранніми версіями ChatGPT. Також хочуть розширити корпус текстів і додати інші мови.
Нагадаємо, у квітні 2026 року OpenAI презентувала ШІ-агентів, які можуть виконувати складні робочі задачі та довгі процеси всередині компаній.
Читайте також: OpenAI представила Images 2.0: нова модель генерує зображення чітким текстом
