Agent学习入门指南：从零构建你的第一个智能体系统

1次阅读

共计 2301 个字符，预计需要花费 6 分钟才能阅读完成。

传统程序（Traditional Program）和智能体（Agent）最本质的区别在于决策方式。传统程序是确定性的——给定输入必然产生固定输出，而智能体需要通过与环境（Environment）的交互来学习策略（Policy）。很多新手容易陷入两个误区：

过度关注模型复杂度：一上来就研究深度强化学习（Deep Reinforcement Learning），实际上 90% 的简单任务用 Q -learning 就能解决
忽视环境设计：把环境当作黑盒，导致智能体难以学到有效特征。比如在迷宫导航中，如果只提供绝对坐标而不给相对目标方向，学习效率会大幅降低

根据业务需求选择合适的技术路径：

规则驱动 Agent：适用于确定性场景（如客服 FAQ 系统），推荐 Rasa 框架。优点是开发速度快，缺点是难以处理未定义的边缘情况
学习型 Agent：适用于动态环境（如游戏 AI），推荐 Gym 环境 +PyTorch 组合。Gym 提供标准化的环境接口，PyTorch 的自动微分让策略梯度实现更简单

对于完全的新手，建议从 Gym 的 CartPole（平衡杆）环境开始，其状态空间（State Space）只有 4 个维度，动作空间（Action Space）是离散的 2 个方向，非常适合练手。

Gym 环境已经实现了标准接口，我们只需要做简单封装：

import gym

class CartPoleAgent:
    def __init__(self):
        self.env = gym.make('CartPole-v1')
        self.q_table = np.zeros((4, 2))  # 状态离散化为 4 箱，动作 2 种

    def step(self, action):
        return self.env.step(action)  # 返回(next_state, reward, done, info)

由于 Q -learning 需要离散状态，我们对连续观测值做分箱处理：

def discretize(self, state):
    # 将 4 个连续变量分别划分为 10 个区间
    cart_pos_bins = np.linspace(-2.4, 2.4, 10)
    pole_angle_bins = np.linspace(-0.2, 0.2, 10) 
    return tuple(np.digitize(s, [pos_bins, angle_bins]) for s in state)

核心是贝尔曼方程（Bellman Equation）的迭代更新：

def learn(self, episodes=1000, alpha=0.1, gamma=0.95):
    for e in range(episodes):
        state = self.discretize(self.env.reset())
        done = False

        while not done:
            action = np.argmax(self.q_table[state])  # 贪婪策略
            next_state, reward, _, done = self.step(action)
            next_state = self.discretize(next_state)

            # Q 值更新公式
            old_value = self.q_table[state][action]
            next_max = np.max(self.q_table[next_state])
            new_value = old_value + alpha * (reward + gamma * next_max - old_value)

            self.q_table[state][action] = new_value
            state = next_state

观测归一化（Observation Normalization）：不同维度的数值范围差异会导致学习不稳定。比如 CartPole 中位置范围是 [-2.4,2.4]，角度范围是[-0.2,0.2]，应该统一缩放到[-1,1] 区间
奖励函数设计（Reward Shaping）：稀疏奖励（Sparse Reward）是新手常见坑点。在 CartPole 中，除了 episode 结束时的 + 1 奖励，可以增加杆子垂直时的中间奖励
探索策略（Exploration Strategy）：纯贪婪策略容易陷入局部最优。建议加入 ε -greedy 策略，在前 1000 步用 ε =0.9 的探索率，之后线性衰减