EMBODIED AI FOUNDATIONS · CONCEPT FOUNDATION · AVAILABLE
强化学习在机器人中的位置
机器人为什么需要 Policy,强化学习又在整个机器人 AI 系统中负责什么?先建立全局系统图,再进入后续算法与实验。
01 / SYSTEM POSITION
RL 是机器人 AI 的一种工具,不是全部
机器人系统需要感知环境、理解目标、做出决策,并把动作安全地交给控制系统。强化学习关心的是:Agent 如何通过与 Environment 交互,根据 Reward 改善长期行为。它可以帮助形成 Policy,但不会自动替代感知、规划、传统控制、安全约束或系统集成。
02 / ROBOT POLICY
Policy:看到当前情况以后,下一步做什么
在 Beginner 阶段,可以先把 Policy 理解为一个从 Observation 到 Action 的决策关系。不同 Robot Policy 的输入与输出粒度可能完全不同:有的直接输出关节力矩,有的只选择一个高层技能。
Observation 可能包括
- Joint position / velocity
- IMU
- Camera / LiDAR
- Target position
- Object state
- Language instruction
Action 可能包括
- Velocity command
- Joint target
- Torque
- Gripper command
- High-level skill
03 / TWO LOOPS
运行 Policy,不等于一直在线学习
Inference Loop 使用已经得到的 Policy 做决策;Training Loop 才包含 Reward、Learning Algorithm 与 Policy Update。真实机器人运行时可以只做 inference,不必一边走一边更新 Policy。
机器人运行时的决策闭环
重点是用固定或已部署的 Policy 持续接收 observation、输出 action。
形成或更新 Policy 的学习闭环
重点是用交互结果和 reward 改善长期行为,并通过独立 evaluation 检查结果。
04 / ENGINEERING BOUNDARY
规则、控制与学习型 Policy 各有位置
逻辑明确、边界清楚
适合流程、模式切换、安全门控和可以清楚枚举的行为。
模型明确、目标清楚
适合需要稳定闭环、可分析响应和可靠执行的控制问题。
规则难写、状态复杂
适合行为需要从数据或交互中获得、手写规则难以覆盖的部分。
真实机器人系统经常组合 Planning + Classical Control + Learned Policy。RL 不会因为存在 Policy 就自动替代 PID 或底层控制器;复杂行为也通常不适合只写成不断膨胀的 if / else。
05 / RL INTUITION
强化学习通过交互与 Reward 改善长期行为
Agent 在 Environment 中取得 Observation、选择 Action、收到 Reward,并在一个 Episode 中不断交互。Learning Algorithm 使用这些结果改善 Policy,希望未来获得更高的长期收益。EA00 只建立关系;正式定义、Return、Value 与更新方法从 EA01 开始逐步展开。
- Agent
- Environment
- Observation
- Action
- Reward
- Episode
- Policy
06 / RL & IMITATION LEARNING
Reward 与 Expert Demonstrations 是不同学习信号
主要信号:Reward
典型问题:“什么行为带来更好的结果?”
通过交互、回报和评价改善 Policy主要信号:Expert Demonstrations
典型问题:“专家在这种情况下会怎么做?”
从示范中的 observation-action 关系学习两者不是“谁更先进”的关系。Robot Policy 可以先通过 IL 学会基本行为,再通过 RL 优化,也可以根据数据、安全与任务条件采用其他组合。
07 / MODERN ROBOT POLICY
VLA / WLA 不是 PPO 的下一版本
现代 Robot Policy 可能组合 robot demonstrations、imitation learning、supervised learning、offline data、reinforcement learning、vision-language representations、foundation models 与 world models。RL 是重要工具之一,但不是全部。
VLA、WLA 与 World Model 等概念仍在快速演化。EA00 只建立路线图和边界,不把尚未稳定的术语写成定论。
08 / ROBOT BASIC LAB CPU BASELINE VALIDATION
从最小决策到连续控制的真实验证路线
以下结果来自当前仓库在 Mac CPU 上实际完成的 3-seed baseline,不是理论估计。EA00 先观察证据,不要求学习者现在重跑全部训练。
Bandit
3 个 seed 的 trained optimal action rate 为 88%~90%先只观察 action、reward 与行为偏好的改变。
GridWorld
3 个 seed 的 trained success 均为 100%加入 state、路径、长期结果和表格策略。
CartPole
20k PPO 后 independent evaluation 明显优于 random进入函数逼近与离散动作,但仍不是机器人系统。
Pendulum
200k PPO 后 3 个 seed 均优于 random,但 seed 差异明显连续 observation / action 更接近控制问题,也更能暴露稳定性问题。
training ≠ evaluation。Pendulum 的 return 仍为负数不等于训练失败;判断必须与 random baseline、任务定义、多个 seed 和行为证据一起进行。
09 / WHY SIMPLE FIRST
简单环境用来隔离学习机制,不是课程终点
Bandit、GridWorld、CartPole 会暂时移除传感器噪声、复杂动力学、通信和硬件安全等因素,让学习者先看清 Observation、Action、Reward、Policy 与 Learning 之间的关系。之后再把这些概念放回 continuous control → robot control → Robot Policy。
CartPole 学会平衡只证明某个受控环境中的策略改善;它不代表 Policy 已经能处理真实机器人的感知、动力学、安全、时延、接触或 sim-to-real 差异。
10 / SELF CHECK
离开 EA00 前,确认你能回答这些问题
- 01
什么是 Policy?
- 02
Robot Policy 的输入和输出可以是什么?
- 03
RL 的主要学习信号是什么?
- 04
Imitation Learning 的主要学习信号是什么?
- 05
RL 与传统控制是不是替代关系?
- 06
VLA 是不是 PPO 的下一版本?
- 07
为什么课程从简单环境开始?
- 08
Bandit → GridWorld → CartPole → Pendulum 分别增加了什么复杂度?
- 09
Training Loop 和 Inference Loop 有什么不同?
- 10
未来 Robot Policy 为什么可能同时使用多种学习方法?
运行 Random Policy 与 epsilon-greedy Learning Agent,用行为证据判断 Agent 是否真的学会。
进入 EA01 →