На протяжении многих лет инструменты редактирования кода, такие как Cursor, Windsurf и Copilot от GitHub, были стандартом для разработки программного обеспечения на базе искусственного интеллекта. Но поскольку агентский ИИ становится все более мощным, произошел небольшой сдвиг во взаимодействии систем ИИ с программным обеспечением.
Вместо работы над кодом, они все чаще взаимодействуют напрямую с оболочкой любой системы, в которой они установлены. Это существенное изменение в том, как происходит разработка программного обеспечения на основе искусственного интеллекта, это может иметь значительные последствия для дальнейшего развития этой отрасли.
Терминал наиболее известен как черно-белый экран, который вы помните из хакерских фильмов 90-х годов — очень старомодный способ запуска программ и манипулирования данными. Он не так визуально впечатляет, как современные редакторы кода, но это чрезвычайно мощный интерфейс, если вы знаете, как им пользоваться. И хотя агенты на основе кода могут писать и отлаживать код, инструменты терминала часто нужны, чтобы превратить программное обеспечение из письменного кода в нечто реально используемое.
Image Credits: Pixabay
Наиболее ярким признаком перехода на терминал стал запуск в феврале Anthropic, DeepMind и OpenAI новых инструментов командной строки (Claude Code, Gemini CLI и CLI Codex соответственно), и они уже являются одними из самых популярных продуктов компаний.
Этот сдвиг было легко не заметить, поскольку они в основном работают под тем же брендом, что и предыдущие инструменты кодирования. Но под капотом произошли реальные изменения во взаимодействии агентов с другими компьютерами, как онлайн, так и офлайн.
«Мы надеемся, что в будущем 95% взаимодействия между LLM и компьютером будет происходить через терминальный интерфейс», — говорит Майк Меррилл, соучредитель ведущего терминально-ориентированного бенчмарка Terminal-Bench .Чтобы понять, чем отличается новый подход, может быть полезно взглянуть на бенчмарки, используемые для их измерения. Поколение инструментов на основе кода было сосредоточено на решении проблем GitHub, что является основой теста SWE-Bench. Каждая проблема в SWE-Bench является, по сути, фрагментом кода, который не работает.
Модели начинают с сломанного кода и превращают его в рабочий код.
Терминальные инструменты имеют более широкий взгляд, рассматривая не только код, но и всю среду, в которой работает программа. Это включает кодирование, а также задачи, более ориентированные на DevOps, такие как настройка Git-сервера или устранение неисправностей, почему скрипт не запускается.
«TerminalBench усложняется не только вопросами, которые мы задаем агентам», — говорит соучредитель Terminal-Bench Алекс Шоу. «Это среда, в которую мы их помещаем».Самое главное, что этот новый подход означает пошаговое решение проблемы — тот самый навык, который делает агентский ИИ таким мощным. Но даже самые современные агентские модели не могут справиться со всеми этими средами. Warp получил свой высокий балл в Terminal-Bench, решив чуть больше половины проблем — это признак того, насколько сложен бенчмарк и сколько работы еще нужно проделать, чтобы раскрыть весь потенциал терминала.
