Технології

До 97,9%. OpenAI підвищила точність перенесення старого програмного коду

20 жов•NV

OpenAI повідомила про покращення ШІ-моделей для модернізації застарілого програмного забезпечення. У тесті на перенесення коду зі старих мов програмування до сучасніших модель GPT-6.1 Sol досягла точності 97,9%.

Про це пише видання Interesting Engineering.

Такі результати можуть полегшити оновлення програм, які десятиліттями використовують банки, фінансові установи та наукові організації. Перенесення старого коду на новіші технології залишається складним завданням, оскільки навіть незначні зміни можуть порушити роботу систем або вплинути на результати розрахунків.

Наприклад, у COBOL — мові програмування, яку досі використовують у фінансовій інфраструктурі, — зайві десяткові цифри можуть відкидатися без явного округлення. Якщо під час переписування програми змінити цю поведінку, це може призвести до помилок у фінансових обчисленнях.

OpenAI зазначає, що розробники стикалися з труднощами під час використання ШІ для роботи зі старими мовами. Документація до таких програм може бути неповною, а важливі правила роботи часто зберігаються лише в початковому коді.

У тесті на перенесення програм із COBOL до C++,

Java, Kotlin, Python або Rust модель GPT-6.1 Sol показала точність 86,6% за низького рівня обчислювальних зусиль. Для попередньої моделі GPT-5.6 Sol цей показник становив 5,4%. За високого рівня обчислювальних зусиль результат GPT-6.1 Sol зріс до 97,9%.

Оцінювання передбачало проходження всіх прихованих тестів, зокрема перевірок, які порівнюють результати роботи перенесеної програми з оригіналом. Водночас цей показник відображає результати конкретного тестування, а не гарантує безпомилкового перенесення будь-якого програмного забезпечення. Перед використанням оновлених систем у реальних умовах розробникам потрібно додатково перевіряти їхню роботу.

OpenAI також випробувала модель GPT-6 Astra у MultiLangBench — тесті, який оцінює здатність створювати сумісний із SQLite рушій бази даних 20 мовами програмування. Середній відсоток пройдених тестів зріс із 26,8% у GPT-5.6 Sol до 87,4% у GPT-6 Astra.

Покращення зафіксували в усіх перевірених мовах. Зокрема, результат Fortran зріс із 21,4% до 83,5%, а Visual Basic — із 27,5% до 89,4%. Найскладнішою залишилася COBOL,

хоча й у ній показник підвищився з 10,9% до 72,1%.

Інша модель, GPT-6 Luna, продемонструвала середній результат 40,3% у MultiLangBench. Водночас її використання коштувало приблизно на 78% дешевше за GPT-5.6 Sol: за оцінкою OpenAI, середні витрати на один зразок становили 0,77 долара (близько 33 грн) проти 3,48 долара (близько 150 грн).

Результати свідчать про прогрес у використанні ШІ для підтримки та оновлення застарілого програмного забезпечення. Проте ефективність моделей відрізняється залежно від мови програмування, а перенесення критично важливих систем і надалі потребує ретельної перевірки.

Читайте також:

apple, банк

Читайте ще