AI打游戏的思维链：从决策树到强化学习的实战解析

1次阅读

共计 2521 个字符，预计需要花费 7 分钟才能阅读完成。

早期游戏 AI 大多采用固定逻辑实现，比如决策树和有限状态机（FSM）。这些方法虽然简单直接，但随着游戏复杂度提升，暴露出明显缺陷：

决策树复杂度爆炸 ：当游戏状态和决策分支增多时，手动维护的决策树会变得极其庞大且难以调试。一个典型的格斗游戏中，角色可能有上百种动作组合，导致决策树深度指数级增长。
行为模式单一 ：有限状态机的状态转换完全由预定义规则控制，NPC 行为容易被玩家预测。比如《吃豆人》中的幽灵虽然有不同的状态（追击 / 逃跑），但路线模式固定，熟练玩家可以轻松躲避。
动态适应能力差 ：传统方法无法根据玩家行为实时调整策略。例如在 MOBA 游戏中，如果 AI 只会按固定路线打野，遇到玩家反野时就会显得非常愚蠢。

决策树
优点：实现简单，可解释性强
缺点：硬编码规则难以维护，分支超过 20 层后调试困难
行为树（Behavior Tree）
优点：模块化设计支持复用，比纯决策树更灵活
缺点：仍然需要人工设计所有行为节点
有限状态机
优点：状态转换直观，适合简单场景
缺点：状态数量随复杂度平方增长
强化学习
优点：自主探索最优策略，适应动态环境
缺点：需要设计合理的奖励函数，训练成本高

以下是一个控制游戏角色躲避障碍物的 Q -learning 实现（Python）：

import numpy as np

# 状态定义：角色位置 (x,y) + 最近障碍物方向 (8 个方位)
STATE_DIM = 10
ACTION_SPACE = ['up', 'down', 'left', 'right', 'stay']

class GameAI:
    def __init__(self):
        self.q_table = np.zeros((STATE_DIM, len(ACTION_SPACE)))
        self.alpha = 0.1  # 学习率
        self.gamma = 0.9  # 折扣因子

    def get_state(self, game_env):
        """将游戏环境编码为离散状态"""
        # 实现具体状态编码逻辑（简化示例）return hash(game_env) % STATE_DIM

    def choose_action(self, state, epsilon=0.1):
        """ε-greedy 策略选择动作"""
        if np.random.random() < epsilon:
            return np.random.choice(ACTION_SPACE)
        return ACTION_SPACE[np.argmax(self.q_table[state])]

    def learn(self, state, action, reward, next_state):
        """Q-learning 更新规则"""
        action_idx = ACTION_SPACE.index(action)
        current_q = self.q_table[state, action_idx]
        max_next_q = np.max(self.q_table[next_state])
        self.q_table[state, action_idx] = current_q + self.alpha * (reward + self.gamma * max_next_q - current_q)

# 训练循环示例
ai = GameAI()
for episode in range(1000):
    state = env.reset()
    while not env.done:
        action = ai.choose_action(ai.get_state(state))
        next_state, reward, done = env.step(action)
        ai.learn(ai.get_state(state), action, reward, ai.get_state(next_state))
        state = next_state

关键设计说明：

奖励函数设计 ：
成功躲避障碍物：+10
撞到障碍物：-20
每存活 1 帧：+0.1（鼓励延长生存时间）
状态抽象技巧 ：
将连续的位置坐标离散化为网格，避免状态空间过大

当游戏状态过于复杂时（如 RTS 游戏），需要特殊处理：

状态抽象
只关注关键信息（如《星际争霸》中只考虑兵力对比而非单个单位）
使用分层抽象（高层策略 + 微观操作）
函数逼近
用神经网络替代 Q -table（DQN）
示例代码改用 PyTorch 实现：

import torch
import torch.nn as nn

class QNetwork(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(STATE_DIM, 64)
        self.fc2 = nn.Linear(64, len(ACTION_SPACE))

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        return self.fc2(x)