Agent AI入门指南：从零开始掌握核心学习路径

1次阅读

没有评论

共计 1760 个字符，预计需要花费 5 分钟才能阅读完成。

Agent AI 是指能够感知环境、做出决策并执行动作的智能体。它在游戏 AI、机器人控制、自动驾驶等领域有广泛应用。与传统程序不同，Agent AI 能够通过与环境交互自主学习优化策略，这是其核心价值所在。

监督学习 ：用于从标记数据中学习模式，如分类和回归问题
无监督学习 ：用于发现数据中的隐藏结构，如聚类和降维

Q-learning：基于价值函数的经典算法，适用于离散动作空间
Policy Gradient：直接优化策略的方法，适用于连续动作空间

状态应该包含足够的信息量来做出决策
状态维度不宜过高以避免维度灾难

奖励应该与最终目标高度相关
稀疏奖励问题可以通过 reward shaping 缓解

import numpy as np

class GridWorld:
    def __init__(self, size=5):
        self.size = size
        self.state = 0  # 初始位置
        self.goal = size*size - 1  # 目标位置

    def reset(self):
        self.state = 0
        return self.state

    def step(self, action):
        # 0: 上, 1: 右, 2: 下, 3: 左
        x, y = self.state // self.size, self.state % self.size

        if action == 0 and x > 0: x -= 1
        elif action == 1 and y < self.size-1: y += 1
        elif action == 2 and x < self.size-1: x += 1
        elif action == 3 and y > 0: y -= 1

        self.state = x * self.size + y

        done = (self.state == self.goal)
        reward = 1 if done else -0.1

        return self.state, reward, done

# Q-learning 算法
class QAgent:
    def __init__(self, state_size, action_size):
        self.q_table = np.zeros((state_size, action_size))

    def get_action(self, state, epsilon=0.1):
        if np.random.rand() < epsilon:
            return np.random.randint(0, len(self.q_table[state]))
        return np.argmax(self.q_table[state])

    def learn(self, state, action, reward, next_state, gamma=0.9, lr=0.1):
        current_q = self.q_table[state][action]
        next_max_q = np.max(self.q_table[next_state])
        new_q = current_q + lr * (reward + gamma * next_max_q - current_q)
        self.q_table[state][action] = new_q