Нещодавно видання Techzine розповіло про новий прорив у світі штучного інтелекту: китайський стартап DeepSeek у партнерстві з Університетом Цінхуа представив новий підхід до навчання ШІ-моделей, що дозволяє знизити витрати та водночас підвищити якість результатів. Компанія прагне зробити штучний інтелект не просто ефективнішим, а й розумнішим, зокрема — здатним до самокритики та вдосконалення без постійного втручання людини.Ми підготували для вас виклад найцікавішого: як DeepSeek реалізує ідею самонавчального ШІ, що таке self-principled critique tuning, чому архітектура MOE стає стандартом для великих мовних моделей і куди рухається індустрія загалом.DeepSeek — це відносно новий гравець у світі ШІ, однак його темпи розвитку вражають. У грудні 2023 року компанія випустила відкриті мовні моделі DeepSeek-V2, які стали конкурентами аналогічних рішень від OpenAI, Google і Meta. Зараз DeepSeek фокусується на створенні не просто моделей, які добре “генерують текст”, а таких, що здатні розуміти, міркувати та самостійно вдосконалюватись під час взаємодії з користувачем.
У цьому їм допомагає партнерство з Університетом Цінхуа — одним із провідних дослідницьких центрів Китаю у сфері комп’ютерних наук. Спільна розробка стала наступним кроком до створення ШІ нового покоління.Традиційно для того, щоб навчити велику мовну модель (LLM), потрібні тисячі годин обчислень, величезні дата-центри та армія людей, які перевіряють і позначають відповіді ШІ. Це дорого, довго й не завжди ефективно.DeepSeek вирішили змінити підхід. Вони запропонували метод self-principled critique tuning — нову форму навчання з підкріпленням, де сама модель аналізує свої відповіді, виявляє помилки й оцінює, наскільки вони відповідають людським уподобанням. Тобто модель ніби “ставить собі оцінку” за логіку, точність та адекватність кожної відповіді.Це дозволяє значно зменшити обсяг ручної модерації, знизити витрати на навчання і водночас покращити результат. У тестах цей підхід показав вищу продуктивність, ніж традиційне навчання з людською перевіркою (RLHF), а також скорочення кількості помилок та “галюцинацій” моделі.Щоб зробити нову систему доступнішою для широкого кола розробників,
DeepSeek створила DeepSeek-GRM (Generalist Reward Modeling) — відкриту модель, яка може використовуватись для автоматичної оцінки якості відповідей інших мовних моделей. Це важливий крок для всієї галузі, адже відкриті інструменти дозволяють меншим командам експериментувати, адаптувати технології до своїх потреб і вдосконалювати власні ШІ-рішення.DeepSeek-GRM дозволяє не лише тренувати нові моделі, а й перевіряти надійність уже існуючих — наприклад, у чат-ботах, системах підтримки клієнтів або внутрішніх аналітичних інструментах.Ще один тренд, який активно просуває DeepSeek, — це мікс експертів або MOE (Mixture of Experts). Це архітектура, де кожне завдання обробляє не вся модель цілком, а лише її частина — “експерти”, що спеціалізуються на різних типах запитів. Такий підхід дає змогу досягати кращих результатів при меншому навантаженні на обчислювальні ресурси.Подібну архітектуру вже використовують Meta (LLaMA 3 та 4), Google (Gemini), OpenAI (GPT-4) та інші провідні гравці. DeepSeek не лише наслідує цей тренд, а й розвиває його, додаючи шар самонавчання та динамічної адаптації до запитів користувача.
На фоні загального переходу від просто потужних моделей до ефективних і адаптивних, DeepSeek вирізняється своєю відкритістю. Більшість її розробок викладаються у відкритий доступ, що створює ефект мультиплікації для індустрії: незалежні команди, дослідники та стартапи можуть вільно тестувати, адаптувати і вдосконалювати технології.Це контрастує з політикою OpenAI, яка з кожним новим релізом робить свої моделі менш відкритими, або Google, який зберігає більшість інструментів у внутрішньому користуванні. У цьому сенсі DeepSeek можна порівняти з Meta, яка активно підтримує open-source підхід.Поки що DeepSeek не анонсували точну дату випуску наступної флагманської моделі. Але враховуючи темпи їхньої розробки, можна очікувати новини вже найближчим часом. Якщо нова версія буде поєднувати self-principled tuning і MOE на повну силу, вона може стати однією з найбільш ефективних і доступних LLM на ринку.Паралельно компанія розширює своє бачення у сфері генеративного ШІ: працює над вдосконаленням здатності моделей до логічного міркування, довготривалого контексту та “ланцюгового мислення” (chain-of-thought reasoning). Це дає змогу створювати ШІ, які краще розуміють запит, вміють пояснювати свої відповіді та навчаються з досвіду.Те, що робить DeepSeek, — це спроба зробити ШІ не просто потужнішим, а розумнішим, гнучкішим і більш доступним. Їхня ставка на самонавчання, відкриті моделі та ефективну архітектуру свідчить про нову еру у розвитку штучного інтелекту — еру, де машини не лише виконують запити, а й самі стають кращими з кожною взаємодією.
