На хакатоні Mistral AI у Сан-Франциско розробники Стен Жірар та Квір Брейн представили тест LLM Colosseum з відкритим вихідним кодом, який базується на класичній аркадній грі Street Fighter III.Про це повідомляє Tom's Hardware. Цей тест призначений для визначення найефективнішої мовної моделі ШІ в специфічній манері.За результатами тестів, проведених Жіраром, найкращою мовною моделлю у турнірі Street Fighter III виявилася GPT 3.5 Turbo від OpenAI, яка досягла найвищого рейтингу ELO серед восьми учасників.Окремі тести, організовані Банджо Обайомі з AWS компанії Amazon, також показали цікаві результати, де перемогла мовна модель claude_3_haiku від Anthropic з рейтингом ELO 1613.Такі заходи дозволяють оцінити ефективність мовних моделей в контексті віртуальних боїв, використовуючи класичні ігрові сценарії.
Читайте ще
