AirSim强化学习无人机入门实战：从环境搭建到训练避坑指南

1次阅读

共计 2932 个字符，预计需要花费 8 分钟才能阅读完成。

AirSim 作为微软开源的无人机仿真平台，提供了高度逼真的物理引擎和丰富的传感器模拟能力。但对新手而言，环境搭建往往成为第一道门槛。以下是关键步骤：

安装 AirSim 二进制版本（推荐 Windows/Linux 预编译包）
配置 Unreal Engine 4.27+ 运行环境
Python 端安装 airsim 客户端库：pip install airsim

建议使用 conda 创建独立环境避免依赖冲突：

conda create -n drone_rl python=3.8
conda activate drone_rl

标准化的环境接口能方便接入主流 RL 库。我们需要实现 reset() 和step()方法：

import gym
from typing import Tuple, Dict
import airsim

class AirSimDroneEnv(gym.Env):
    def __init__(self):
        self.client = airsim.MultirotorClient()
        self.client.confirmConnection()

        # 定义观测空间和动作空间
        self.observation_space = gym.spaces.Box(low=0, high=255, shape=(84,84,3))
        self.action_space = gym.spaces.Box(low=-1, high=1, shape=(4,))

    def reset(self) -> np.ndarray:
        self.client.reset()
        self.client.enableApiControl(True)
        self.client.armDisarm(True)
        return self._get_obs()

    def step(self, action) -> Tuple[np.ndarray, float, bool, Dict]:
        # 执行动作（归一化到实际控制量）self.client.moveByVelocityAsync(action[0]*5,  # 前向速度
            action[1]*5,  # 横向速度
            action[2]*2,  # 垂直速度
            action[3]*3   # 偏航角速度
        )

        # 获取新状态
        obs = self._get_obs()
        done = self._check_collision()
        reward = self._calculate_reward()

        return obs, reward, done, {}

无人机原始传感器数据往往维度极高，需要合理降维：

图像数据处理：
将 224×224 的 RGB 图像降采样到 84×84
使用 OpenCV 进行直方图均衡化增强对比度

点云转 BEV：

def pointcloud_to_bev(points, grid_size=0.5):
    # 过滤无效点
    valid = points[:,2] > -2  # 剔除地面点
    points = points[valid]

    # 创建 2D 直方图
    x_bins = np.arange(-20, 20, grid_size)
    y_bins = np.arange(-20, 20, grid_size)
    bev = np.histogram2d(points[:,0], points[:,1], 
        bins=[x_bins, y_bins]
    )[0]

    # 归一化并转为三通道
    bev = (bev / bev.max() * 255).astype(np.uint8)
    return np.stack([bev]*3, axis=-1)

通过实际测试对比三种典型算法表现：

算法	采样效率	收敛速度	超参敏感性	适用场景
PPO	中	快	低	连续控制
SAC	高	中	中	精细控制
DQN	低	慢	高	离散动作

推荐 PPO 作为入门首选，其 PyTorch 实现示例如下：

from stable_baselines3 import PPO

model = PPO(
    "CnnPolicy",
    env,
    verbose=1,
    n_steps=2048,
    batch_size=64,
    learning_rate=3e-4,
    ent_coef=0.01,
    device="cuda"
)
model.learn(total_timesteps=1e6)

针对稀疏奖励问题，采用分层奖励设计：

基础存活奖励：每步 +0.1
目标接近奖励：(上次距离 - 当前距离)*10
碰撞惩罚：-10
平稳飞行奖励：角速度方差 <0.1 时 +0.5

def _calculate_reward(self):
    collision = self.client.simGetCollisionInfo().has_collided
    if collision:
        return -10.0

    # 计算与目标点距离
    pos = self.client.getMultirotorState().kinematics_estimated.position
    target_dist = np.linalg.norm([pos.x_val, pos.y_val, pos.z_val])

    # 组合奖励
    reward = 0.1  # 存活奖励
    reward += (self.last_dist - target_dist) * 10  # 接近奖励
    self.last_dist = target_dist

    # 平稳飞行检测
    angular_vel = self.client.getMultirotorState().kinematics_estimated.angular_velocity
    if np.std([angular_vel.x_val, angular_vel.y_val, angular_vel.z_val]) < 0.1:
        reward += 0.5

    return float(reward)

版本冲突：
AirSim 与 TensorFlow 2.10+ 存在 protobuf 冲突
解决方案：pip install "tensorflow<2.10"
Domain Randomization：

在 reset 时随机化环境参数：

def _randomize_env(self):
    # 随机风力
    self.client.simSetWind(
        airsim.Vector3r(np.random.uniform(-5,5),
            np.random.uniform(-5,5),
            0
        )
    )
    # 随机传感器噪声
    self.client.simSetCameraNoise(
        0,  # 相机索引
        np.random.uniform(0.1,0.5),  # 噪声强度
        np.random.uniform(0.5,2.0)   # 噪声大小
    )

经过 100 万步训练后典型性能指标：