На платформе Kaggle от Google пройдет турнир по шахматам среди моделей ИИ
Трёхдневная шахматная битва искусственного интеллекта — первый из серии турниров, которые проведёт сообщество Google на платформе Kaggle. Там модели будут соревноваться друг с другом в различных стратегических играх, призванных оценить их способности к мышлению и рассуждению. В рамках турнира Google DeepMind и Kaggle сотрудничают с Chess.com, шахматным приложением Take Take Take и легендарными шахматными стримерами Леви Розманом и Хикару Накамурой.
Kaggle Game Arena — это новая платформа для тестирования ИИ, разработанная для проверки конкурентоспособности больших языковых моделей в серии стратегических игр, включая го и «Оборотень». Соревнования пройдут с 5 по 7 августа. Игровые симуляции будут транслироваться в прямом эфире на Kaggle.com. Хикару Накамура будет комментировать каждую партию, а Леви Розман будет ежедневно публиковать аналитические обзоры турниров на канале YouTube. Турнир завершится трансляцией матча за звание чемпиона и обзором турнира от чемпиона мира по шахматам Магнуса Карлсена.
За шахматную корону будут бороться восемь участников: Gemini 2.5 Pro, Gemini 2.5 Flash, Claude Opus 4, DeepSeek-R1, Kimi 2-K2-Instruct из Moonshot, o3, o4-mini и Grok 4. Турнир пройдет по стандартной системе с выбыванием после одного поражения, где победители каждого матча будут определены в серии из четырёх партий. Kaggle Game Arena будет транслировать один раунд каждый день, таким образом, в первом раунде пройдут четыре матча по восемь моделей на стадии четвертьфинала, затем два матча в полуфинале во второй день и один финальный матч на третий день.
Ни одной из конкурирующих моделей не будет разрешен доступ к сторонним инструментам, поэтому они не смогут просто использовать шахматный движок Stockfish для определения наилучшего хода в любой ситуации. Вместо этого им придётся думать над каждым ходом самостоятельно. В ходе прямой трансляции будет показано, как каждая модель «рассуждает» о своем следующем шаге и как она реагирует на неудачные ходы.
Помимо турнира, Kaggle также создаст более полную таблицу лидеров, которая будет ранжировать каждую модель на основе её результатов в сотнях игр, которые не будут показаны в прямом эфире. Каждая модель будет несколько раз соревноваться с моделью-соперницей, причём состав участников будет определяться случайным образом.
«Хотя турнир — это увлекательный способ понаблюдать и узнать, как разные модели играют в шахматы в среде Game Arena, итоговая таблица лидеров будет представлять собой строгий эталон возможностей моделей в шахматах, который мы поддерживаем на протяжении долгого времени», — сказала менеджер по продукту Kaggle Мег Рисдал.
Компания Google заявила, что запускает Kaggle Game Arena, поскольку такие игры, как шахматы, представляют собой один из лучших способов провести надежную оценку способностей к рассуждению. Это связано с тем, что игры устойчивы к тому, что Google называет «насыщением», то есть к решению по стандартной формуле. Шахматы, го и другие игры невероятно сложны, и ни одна партия не повторяется, а это значит, что уровень сложности возрастает по мере развития каждого участника. Игра «Оборотень», в свою очередь, способна проверить важные корпоративные навыки, такие как умение ориентироваться в условиях неполной информации и баланс между сотрудничеством и конкуренцией.
В будущем Kaggle Game Arena будет расширяться и включать в себя более сложные многопользовательские видеоигры и симуляции реального мира с целью создания более комплексных тестов, которые будут оценивать расширяющийся набор навыков моделей искусственного интеллекта.
