Agent知识点入门指南：从基础概念到实战避坑

1次阅读

共计 1666 个字符，预计需要花费 5 分钟才能阅读完成。

新手开发者初次接触 Agent 技术时，常存在几个认知误区：

混淆智能体类型 ：将基于规则的 Agent 与学习型 Agent 混为一谈，不理解 马尔可夫决策过程（MDP）在后者中的核心作用。
过度依赖工具链：直接调用现成框架（如 RLlib）却忽略底层逻辑，导致无法定制特殊场景的奖励函数。
忽视环境交互成本：在仿真环境中能运行的 Agent，移植到真实世界时因延迟或噪声频繁崩溃。

Agent 类型	决策依据	优点	缺点	典型场景
基于规则	预定义条件 - 动作映射	确定性高，调试简单	难以应对复杂动态环境	工业流水线分拣
效用函数	最大化预设效用值	可量化目标优先级	函数设计依赖领域知识	电商推荐系统
学习型（如 Q -learning）	从交互中学习价值函数	自适应环境变化	需要大量训练数据	游戏 AI、机器人导航

以下是一个 5 ×5 网格世界的 Python 实现，包含关键机制注释：

import numpy as np

# 环境定义
GRID_SIZE = 5
ACTIONS = ['up', 'down', 'left', 'right']
GOAL = (4, 4)  # 终点坐标
OBSTACLES = [(1, 1), (2, 3)]  # 障碍物坐标

class GridWorld:
    def __init__(self):
        self.q_table = np.zeros((GRID_SIZE, GRID_SIZE, len(ACTIONS)))

    def get_reward(self, state):
        """定义奖励函数：到达终点 +10，碰到障碍 -5，其他 -1"""
        if state == GOAL:
            return 10
        elif state in OBSTACLES:
            return -5
        return -1

    def choose_action(self, state, epsilon=0.1):
        """ε-greedy 策略：以 ε 概率随机探索"""
        if np.random.random() < epsilon:
            return np.random.choice(ACTIONS)
        else:
            x, y = state
            return ACTIONS[np.argmax(self.q_table[x, y])]

    def update_q(self, state, action, next_state, alpha=0.1, gamma=0.9):
        """Q 值更新公式：Q(s,a) += α * [r + γ*maxQ(s') - Q(s,a)]"""
        x, y = state
        action_idx = ACTIONS.index(action)
        reward = self.get_reward(next_state)

        # 计算 TD 误差
        current_q = self.q_table[x, y, action_idx]
        max_next_q = np.max(self.q_table[next_state])
        td_target = reward + gamma * max_next_q

        self.q_table[x, y, action_idx] += alpha * (td_target - current_q)