Мовні моделі зіграли в турнірі по Street Fighter III

На хакатоні Mistral AI у Сан-Франциско розробники Стен Жірар та Квір Брейн представили тест LLM Colosseum з відкритим вихідним кодом, який базується на класичній аркадній грі Street Fighter III.

Про це повідомляє Tom's Hardware. 

Цей тест призначений для визначення найефективнішої мовної моделі ШІ в специфічній манері.

За результатами тестів, проведених Жіраром, найкращою мовною моделлю у турнірі Street Fighter III виявилася GPT 3.5 Turbo від OpenAI, яка досягла найвищого рейтингу ELO серед восьми учасників.

Окремі тести, організовані Банджо Обайомі з AWS компанії Amazon, також показали цікаві результати, де перемогла мовна модель claude_3_haiku від Anthropic з рейтингом ELO 1613.

Такі заходи дозволяють оцінити ефективність мовних моделей в контексті віртуальних боїв, використовуючи класичні ігрові сценарії.