本课验收 ↓

EMBODIED AI FOUNDATIONS · CONCEPT FOUNDATION · AVAILABLE

强化学习在机器人中的位置

机器人为什么需要 Policy,强化学习又在整个机器人 AI 系统中负责什么?先建立全局系统图,再进入后续算法与实验。

LESSONEA00BASED ON CPU-VALIDATED EXPERIMENTS

01 / SYSTEM POSITION

RL 是机器人 AI 的一种工具,不是全部

机器人系统需要感知环境、理解目标、做出决策,并把动作安全地交给控制系统。强化学习关心的是:Agent 如何通过与 Environment 交互,根据 Reward 改善长期行为。它可以帮助形成 Policy,但不会自动替代感知、规划、传统控制、安全约束或系统集成。

本课核心问题机器人为什么需要 Policy,强化学习又在整个机器人 AI 系统中负责什么?

02 / ROBOT POLICY

Policy:看到当前情况以后,下一步做什么

在 Beginner 阶段,可以先把 Policy 理解为一个从 Observation 到 Action 的决策关系。不同 Robot Policy 的输入与输出粒度可能完全不同:有的直接输出关节力矩,有的只选择一个高层技能。

INPUTObservation机器人当前看到或测到的状态
→
DECISIONPolicy决定下一步做什么
→
OUTPUTAction发送给系统的动作或目标

Observation 可能包括

  • Joint position / velocity
  • IMU
  • Camera / LiDAR
  • Target position
  • Object state
  • Language instruction

Action 可能包括

  • Velocity command
  • Joint target
  • Torque
  • Gripper command
  • High-level skill

03 / TWO LOOPS

运行 Policy,不等于一直在线学习

Inference Loop 使用已经得到的 Policy 做决策;Training Loop 才包含 Reward、Learning Algorithm 与 Policy Update。真实机器人运行时可以只做 inference,不必一边走一边更新 Policy。

INFERENCE LOOP

机器人运行时的决策闭环

Robot / Environment→Observation→Policy→Action↺

重点是用固定或已部署的 Policy 持续接收 observation、输出 action。

TRAINING LOOP

形成或更新 Policy 的学习闭环

Interaction→Reward→Learning Algorithm→Policy Update↺

重点是用交互结果和 reward 改善长期行为,并通过独立 evaluation 检查结果。

04 / ENGINEERING BOUNDARY

规则、控制与学习型 Policy 各有位置

RULE / STATE MACHINE

逻辑明确、边界清楚

适合流程、模式切换、安全门控和可以清楚枚举的行为。

CLASSICAL CONTROL

模型明确、目标清楚

适合需要稳定闭环、可分析响应和可靠执行的控制问题。

LEARNED POLICY

规则难写、状态复杂

适合行为需要从数据或交互中获得、手写规则难以覆盖的部分。

Planning / High-level decision→Policy / Skill target→Controller→Robot

真实机器人系统经常组合 Planning + Classical Control + Learned Policy。RL 不会因为存在 Policy 就自动替代 PID 或底层控制器;复杂行为也通常不适合只写成不断膨胀的 if / else。

05 / RL INTUITION

强化学习通过交互与 Reward 改善长期行为

Agent 在 Environment 中取得 Observation、选择 Action、收到 Reward,并在一个 Episode 中不断交互。Learning Algorithm 使用这些结果改善 Policy,希望未来获得更高的长期收益。EA00 只建立关系;正式定义、Return、Value 与更新方法从 EA01 开始逐步展开。

  • Agent
  • Environment
  • Observation
  • Action
  • Reward
  • Episode
  • Policy

06 / RL & IMITATION LEARNING

Reward 与 Expert Demonstrations 是不同学习信号

REINFORCEMENT LEARNING

主要信号:Reward

典型问题:“什么行为带来更好的结果?”

通过交互、回报和评价改善 Policy
IMITATION LEARNING

主要信号:Expert Demonstrations

典型问题:“专家在这种情况下会怎么做?”

从示范中的 observation-action 关系学习

两者不是“谁更先进”的关系。Robot Policy 可以先通过 IL 学会基本行为,再通过 RL 优化,也可以根据数据、安全与任务条件采用其他组合。

07 / MODERN ROBOT POLICY

VLA / WLA 不是 PPO 的下一版本

现代 Robot Policy 可能组合 robot demonstrations、imitation learning、supervised learning、offline data、reinforcement learning、vision-language representations、foundation models 与 world models。RL 是重要工具之一,但不是全部。

不是这条线:Q-learning → PPO → VLA

VLA、WLA 与 World Model 等概念仍在快速演化。EA00 只建立路线图和边界,不把尚未稳定的术语写成定论。

08 / ROBOT BASIC LAB CPU BASELINE VALIDATION

从最小决策到连续控制的真实验证路线

以下结果来自当前仓库在 Mac CPU 上实际完成的 3-seed baseline,不是理论估计。EA00 先观察证据,不要求学习者现在重跑全部训练。

01 / 最小决策

Bandit

3 个 seed 的 trained optimal action rate 为 88%~90%

先只观察 action、reward 与行为偏好的改变。

02 / 状态与路径

GridWorld

3 个 seed 的 trained success 均为 100%

加入 state、路径、长期结果和表格策略。

03 / 神经网络 Policy

CartPole

20k PPO 后 independent evaluation 明显优于 random

进入函数逼近与离散动作,但仍不是机器人系统。

04 / 连续控制

Pendulum

200k PPO 后 3 个 seed 均优于 random,但 seed 差异明显

连续 observation / action 更接近控制问题,也更能暴露稳定性问题。

training ≠ evaluation。Pendulum 的 return 仍为负数不等于训练失败;判断必须与 random baseline、任务定义、多个 seed 和行为证据一起进行。

09 / WHY SIMPLE FIRST

简单环境用来隔离学习机制,不是课程终点

Bandit、GridWorld、CartPole 会暂时移除传感器噪声、复杂动力学、通信和硬件安全等因素,让学习者先看清 Observation、Action、Reward、Policy 与 Learning 之间的关系。之后再把这些概念放回 continuous control → robot control → Robot Policy。

Decision→State & path→Neural policy→Continuous control→Robot Policy

CartPole 学会平衡只证明某个受控环境中的策略改善;它不代表 Policy 已经能处理真实机器人的感知、动力学、安全、时延、接触或 sim-to-real 差异。

10 / SELF CHECK

离开 EA00 前,确认你能回答这些问题

  1. 01

    什么是 Policy?

  2. 02

    Robot Policy 的输入和输出可以是什么?

  3. 03

    RL 的主要学习信号是什么?

  4. 04

    Imitation Learning 的主要学习信号是什么?

  5. 05

    RL 与传统控制是不是替代关系?

  6. 06

    VLA 是不是 PPO 的下一版本?

  7. 07

    为什么课程从简单环境开始?

  8. 08

    Bandit → GridWorld → CartPole → Pendulum 分别增加了什么复杂度?

  9. 09

    Training Loop 和 Inference Loop 有什么不同?

  10. 10

    未来 Robot Policy 为什么可能同时使用多种学习方法?

NEXT / CPU VALIDATEDEA01 · Agent 与 Environment:跑通第一个学习闭环

运行 Random Policy 与 epsilon-greedy Learning Agent,用行为证据判断 Agent 是否真的学会。

进入 EA01 →