基于CarSim和Simulink的深度强化学习MPC联合仿真实战指南

1次阅读

共计 2573 个字符，预计需要花费 7 分钟才能阅读完成。

在自动驾驶控制算法开发中，传统模型预测控制（Model Predictive Control, MPC）虽然具有良好的理论基础和广泛的应用，但在实际应用中仍面临诸多挑战。特别是在 CarSim 仿真环境中，MPC 的参数调优往往需要大量的人工经验和反复试错，效率低下且难以保证最优性能。此外，非线性场景（如低附着路面、紧急避障等）下的控制适应性不足，导致跟踪误差增大甚至系统失稳。

为了解决上述问题，我们提出了一种深度强化学习（Deep Reinforcement Learning, DRL）与 MPC 的融合架构。具体来说，采用深度 Q 网络（Deep Q-Network, DQN）或近端策略优化（Proximal Policy Optimization, PPO）来动态优化 MPC 的关键参数，如预测时域、控制时域和权重矩阵等。

状态空间设计 ：状态空间包括车辆的状态（如横向偏差、航向角偏差、速度等）和环境信息（如曲率半径、路面附着系数等）。
奖励函数构建 ：奖励函数综合考虑跟踪误差、控制输入的平滑性以及舒适性指标，通过 DRL 算法自动调整 MPC 参数以最大化累积奖励。

CarSim 模型导出 ：在 CarSim 中配置车辆模型和场景，并导出为动态链接库（DLL）文件。
S-Function 编写 ：在 Simulink 中创建 S -Function，调用 CarSim 的 DLL 接口实现数据交互。

function [sys,x0,str,ts] = carsim_sfunc(t,x,u,flag)
    switch flag
        case 0
            sys = [0 0 0 1 0 0];
            x0 = [];
            str = [];
            ts = [0.01 0];
        case 3
            sys = call_carsim_dll(u);
        otherwise
            sys = [];
    end
end

MATLAB 端 ：创建 TCP/IP 服务器，监听来自 Python 客户端的连接请求。
Python 端 ：使用 socket 库建立与 MATLAB 的连接，发送状态信息和接收 MPC 参数更新指令。

import socket

# 创建 socket 连接
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(('localhost', 12345))

# 发送状态信息
state = [0.1, 0.2, 0.3]  # 示例状态
s.send(','.join(map(str, state)).encode())

# 接收 MPC 参数更新
params = s.recv(1024).decode().split(',')

import numpy as np
import tensorflow as tf

# 初始化 DQN 网络
model = tf.keras.Sequential([tf.keras.layers.Dense(64, activation='relu', input_shape=(state_dim,)),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(action_dim)
])

# 训练循环
for episode in range(episodes):
    state = env.reset()
    done = False
    while not done:
        # 选择动作
        action = model.predict(state.reshape(1, -1))[0]
        # 执行动作并获取反馈
        next_state, reward, done, _ = env.step(action)
        # 存储经验
        replay_buffer.add(state, action, reward, next_state, done)
        # 更新网络
        if len(replay_buffer) > batch_size:
            batch = replay_buffer.sample(batch_size)
            with tf.GradientTape() as tape:
                q_values = model(batch['states'])
                loss = tf.reduce_mean((q_values - batch['targets']) ** 2)
            grads = tape.gradient(loss, model.trainable_variables)
            optimizer.apply_gradients(zip(grads, model.trainable_variables))
        state = next_state

function [mpc_params] = update_mpc_params(state, dqn_model)
    % 调用 Python DQN 模型获取最优动作
    action = py.dqn_model.predict(state);
    % 更新 MPC 参数
    mpc_params.prediction_horizon = action(1);
    mpc_params.control_horizon = action(2);
    mpc_params.Q = diag([action(3), action(4), action(5)]);
    mpc_params.R = diag([action(6), action(7)]);
end

通过对比纯 MPC 与 DRL-MPC 在双移线和低附着路面等场景下的表现，我们观察到 DRL-MPC 在跟踪误差和计算耗时方面均有显著提升。具体数据如下：