Как компьютерный интеллект играет в игры: от шахмат до современных нейросетей

Компьютерный интеллект победил чемпионов мира в шахматах, Го, покере и Dota 2 — принцип работы один: оценить позиции, просчитать варианты, выбрать лучший ход.

Почему игры стали полигоном для ИИ

Игры дают идеальную среду: чёткие правила, измеримый результат, возможность сыгранных миллионов партий за часы. В отличие от реального мира, здесь нет шума, неопределённости сенсоров и этических ограничений. Алгоритм получает чистое состояние доски или экрана и должен вернуть действие.

Первые программы просто перебирали ходы. Современные нейросети учатся сами, играя против себя миллионы раз. Результат — сверхчеловеческое мастерство в задачах, где казалось, что интуиция и творчество недостижимы для машины.

Полная информация

Шахматы, Го, шашки — все фигуры видны. Оптимальный ход существует, нужно его найти.

Неполная информация

Покер, бридж, «Дурак» — скрытые карты. Нужен блеф, вероятностная оценка, теория игр.

В реальном времени

StarCraft, Dota 2, CS — тысячи действий в минуту, невидимая карта, координация команды.

Эволюция подходов: от перебора к обучению

1. Классический поиск с эвристикой

До 2010-х годов основой был алгоритм минимакс с альфа-бета отсечением. Программа строит дерево вариантов на глубину 10–20 ходов, оценивает листьевые позиции эвристической функцией (материал, позиция короля, контроль центра) и выбирает ход, минимизирующий ущерб при лучшем ответе соперника.

Ключевое ограничение

Число позиций растёт экспоненциально. В Го ветвление ~250, в шахматах ~35. Полный перебор невозможен — нужна отсечка и хорошая эвристика.

2. Монте-Карло деревья поиска (MCTS)

Вместо эвристики — случайные разыгрывания до конца партии. У узлов накапладывается статистика побед. Выбор хода балансирует между исследованием новых веток и эксплуатацией лучших. MCTS сделал прорыв в Го, где эвристика не работала.

3. Глубокое обучение с подкреплением (Deep RL)

Нейросеть получает на входе состояние (доска, экран, вектор признаков) и выдаёт два выхода: политику (распределение вероятностей по ходам) и ценность (оценка шансов на победу). Обучение происходит самопроигрыванием: сеть играет против своих старых версий, обновляет веса, становится сильнее. Никаких данных людей не нужно.

Знаний людей в AlphaZero — только правила игры

Миллионов партий самопроигрываний за 9 часов обучения шахматам

200

Миллионов партий для достижения сверхчеловеческого уровня в Го

Ключевые вехи: когда машина стала сильнее человека

Год	Система	Игра	Достижение	Подход
1997	Deep Blue	Шахматы	Победил Гарри Каспарова	Перебор + эвристика, спец. железо
2016	AlphaGo	Го	4:1 ضد Ли Седоля	CNN + MCTS + обучение на партиях людей
2017	AlphaZero	Шахматы, Го, Сёги	Сверхчеловеческий уровень за часы	Самообучение с нуля, ResNet + MCTS
2019	Pluribus	Покер (6-max Texas Hold’em)	Победил профи в многоигровом покере	CFR + поиск по поддеревьям, без нейросетей
2019	OpenAI Five	Dota 2	Победил чемпионам мира (OG)	LSTM + PPO, 45 000 лет опыта в день
2023+	MuZero, EfficientZero	Atari, шахматы, Го, реальные среды	Обучение без знания модели среды	Планирование в латентном пространстве

Как работает современный игровой агент: архитектура AlphaZero

Схема универсальна для игр с полной информацией. Три компонента работают в цикле:

Представление состояния

Доска кодируется в тензор: 112 плоскостей 8×8 для шахматов (фигуры, чей ход, истории повторов, правила рокировки). В Го — 17 плоскостей 19×19.

Остаточная сеть (ResNet)

20–40 остаточных блоков. На входе — тензор состояния. На выходе две головы: политика (вероятности 4672 возможных ходов в шахматах) и ценность (скаляр [-1, 1]).

MCTS с политикой и ценностью

Поиск использует сеть как оракул: политика направляет расширение дерева, ценность заменяет случайные разыгрывания. 800–1600 симуляций на ход дают силу уровня чемпиона мира.

Что не работает без доработки

Игры с неполной информацией (покер) и в реальном времени (StarCraft) требуют других архитектур: контрфактический регрет (CFR), рекуррентные сети, иерархическое управление, модели оппонентов.

Покер и теория игр: научиться блефовать

В покере нет оптимального детерминированного хода — противник адаптируется. Решение — равновесие Нэша: стратегия, от одностороннего отклонения от которой нельзя выиграть. Алгоритм CFR (Counterfactual Regret Minimization) итеративно сходится к равновесию, играя против себя и минимизируя сожаление о невыбранных действиях.

Pluribus (Facebook AI, 2019) объединил CFR с поиском по поддеревьям и абстракцией действий. В 6-max безлимитном холдеме он превзошёл профи, делая нестандартные донон-беты, чек-рейзы и блефы с частотой, близкой к теоретически оптимальной.

Что CFR даёт в покере

Адаптация к стеку и позиции без ручной настройки

Ограничения подхода

Вычислительная сложность растёт экспоненциально с числом игроков

Игры в реальном времени: StarCraft II и Dota 2

Здесь нет ходов — есть непрерывный поток действий. Агент видит часть карты (туман войны), управляет десятками юнитов, строит базу, собирает ресурсы, координирует атаки. Действий в секунду — сотни, горизонт планирования — тысячи шагов.

AlphaStar (DeepMind, 2019)

Обучение в три этапа: 1) супервизорное на реплеях людей (поведенческое клонирование), 2) лига самопроигрываний с мутацией гиперпараметров, 3) отбор лучших агентов. Архитектура: трансформер для истории наблюдений, LSTM для скрытого состояния, авторегрессивная политика действий. Результат — уровень Грандмастера у всех трёх рас.

OpenAI Five (2018–2019)

PPO на LSTM с вниманием к энтитам (юниты, здания, предметы). 256 GPU + 128 000 CPU ядер, 180 лет опыта в сутки. Команда из 5 агентов обучалась совместно, без коммуникации — только через общие наблюдения. Победила OG на The International 2019 в демонстрационном матче.

Сравнение подходов RTS

Компонент	AlphaStar	OpenAI Five
Архитектура	Transformer + LSTM	LSTM + Attention
Обучение	Супервизорное + лига RL	PPO с нуля (self-play)
APM (действий в мин)	Ограничен до человеческого	Не ограничен (но с шумом)
Координация	Одиночные агенты в лиге	Команда 5 агентов joint training

Сложности RTS для ИИ

Иерархия: стратегия → тактика → микроконтроль
Нестационарность: оппоненты меняются, мета эволюционирует

MuZero: планирование без знания правил

AlphaZero требует генератор легальных ходов и симулятор среды (шаг вперёд). MuZero (2020) устранил это: учит представление состояния, динамику (переход по действию) и предсказание награды/политики/ценности одновременно. Три сети: representation, dynamics, prediction. Обучение — по траекториям самопроигрываний с MCTS в латентном пространстве.

Результат: один и тот же алгоритм достигает уровня AlphaZero в Го/шахматах/сёги и человеческого уровня на 57 играх Atari, не зная правил ни одной из них. Это шаг к общему агенту, способному планировать в любой детерминированной среде.

Практический вывод

MuZero показывает: для планирования не нужны явные правила. Достаточно научиться предсказывать «что будет, если я так сделаю» и «насколько это хорошо». Это открывает путь к ИИ в реальном мире, где правил нет, есть только опыт.

Что это значит для игр и не только

Для игроков и анализа

Движки типа Stockfish 16+ (NNUE) и Leela Chess Zero стали стандартом анализа. Они открыли новые идеи: пешечные штурмы на фланге, жертвы качества за долгосрочную инициативу, нестандартные манёвры в эндшпилях. Уровень игры людей вырос — юниоры усваивают паттерны, которые гроссмейстерами открывались десятилетиями.

Для геймдева

ИИ-агенты тестируют баланс, находят эксплойты в картах, экономке, боях. Обучение с подкреплением генерирует контент: уровни, квесты, поведение NPC. Перспектива — NPC с открытой речью, целями, памятью о действиях игрока, а не скриптованные деревья диалогов.

За пределами игр

Методы игрового ИИ переносятся в:

Химию и открытие материалов (AlphaFold — предсказание структуры белков, аналогично оценке позиции)
Робототехнику (обучение манипуляции через симуляцию и перенос в реальность)

Чек-лист: как выбрать подход для задачи

Неполная инфо, пошагово → CFR + поиск (Pluribus)
Нет симулятора, есть только логи → Offline RL, Decision Transformer
Типичные ошибки при применении
- Игнорировать вычислительный бюджет: 800 симуляций на ход — много для мобильного приложения
- Забывать про нестационарность: модель оппонента должна обновляться онлайн

Перспективы: к общему игровому интеллекту

Направления исследований следующих лет:

Обучение за немногое число взаимодействий — EfficientZero, DreamerV3 достигают человеческого уровня на Atari за 2 часа реального времени (эффективность по выборке).
Творчество и генерация контента — ИИ, который не только играет, но проектирует правила, баланс, уровни, нарративы под конкретного игрока.

Главный итог

Игровой ИИ прошёл путь от рукотворных эвристик к системам, которые учатся сами, не зная правил, и превосходят людей в задачах любой сложности. Те же принципы — представление, предсказание, планирование, поиск — работают за пределами досок и экранов.

Краткие ответы на частые вопросы

Для обучения — нет, нужны тысячи TPU/GPU. Для инференса (игры) — да, легкие версии (Leela Chess Zero, KataGo) работают на современном CPU/GPU и сильнее любого человека.

Stockfish — классический поиск с NNUE-эвристикой (нейросеть оценивает позицию, но не задаёт политику). Leela — чистая реализация AlphaZero: сеть даёт и политику, и ценность, поиск MCTS. Leela играет более «по-человечески», находит плановые идеи.

AlphaZero требует полную информацию и детерминизм. В покере скрытые карты и случайность раздачи. CFR работает с информационными множествами и сходится к равновесию Нэша в стохастических играх.

Технически — да, боты для Dota 2, CS, покера существуют. Этически и юридически — нарушает правила сервисов, приводит к банам, убивает смысл соревновательной игры. Античит-системы успешно детектят надчеловеческую точность и паттерны.