OpenAI, Google та Anthropic зіткнулися з проблемами при розробці нових, потужніших моделей штучного інтелекту, які могли б покращити нинішні ChatGPT, Gemini й Claude. Про це пише Bloomberg з посиланням на власні джерела в компаніях.
Наприклад, нова модель OpenAI під назвою Orion не досягла бажаного рівня продуктивності й не буде таким великим кроком вперед порівняно з теперішніми моделями, яким була модель GPT-4 порівняно з оригінальною GPT-3.5.
Майбутня ітерація Gemini від Google теж не виправдовує внутрішніх очікувань. Компанія зосереджується більше на покращенні існуючих можливостей Gemini, ніж на створенні революційно нової моделі.
Anthropic відстає від графіка випуску своєї довгоочікуваної моделі Claude під назвою 3.5 Opus. Вона показує кращі результати, ніж попередня версія, але не настільки, як очікувалося, враховуючи розмір моделі та витрати на її розробку.
Усі три компанії мають однакові проблеми, основна з яких – виснаження джерел даних, особливо для спеціалізованих сфер, на кшталт кодування.
Компанії, що розробляють штучний інтелект, все частіше звертаються до використання штучно створених (синтетичних) даних, але такий підхід має свої обмеження. "Кількість [контенту] можна генерувати синтетично, але важко отримати унікальні високоякісні набори даних без допомоги людини, особливо коли йдеться про мову", – пояснила Ліла Третіков з венчурної компанії New Enterprise Associates.
В таких умовах зростання витрат на розробку більших моделей ШІ не завжди приносить очікуваний результат, що ставить під сумнів "закони масштабування", згідно з якими більше обчислювальних потужностей, даних та більші моделі неминуче приведуть до значного прогресу в ШІ.
Деякі експерти вважають, що для подальшого прогресу можуть знадобитись інші підходи.
- В кінці жовтня Google повідомила, що використовує штучний інтелект для написання 25% нового коду.
