Embodied AI Foundations / Reinforcement Learning

从最小学习系统,
走到 Robot Policy。

机器人强化学习基础:从 Policy 到 Robot Policy。课程不从公式堆叠开始,而从可观察的决策、交互和训练证据出发,逐步建立对机器人学习策略的工程判断。

理解、实验、工程判断

课程目标不是训练通用机器人模型,也不把一次 reward curve 上升当作成功。每个阶段都要把行为、评价与失败证据分开看。

CPU-first

核心路线优先在普通 CPU 上建立可复现实验,不把 3090 作为 Beginner 的门槛。

Evidence before claims

区分 training 与 independent evaluation,并使用多个 seed 判断结果是否稳定。

Robot direction

Bandit、GridWorld 和 CartPole 不是终点,而是把学习机制从复杂机器人系统中先剥离出来。

从 Policy 直觉到机器人接口

EA00~EA10 Beginner Core 与 EA11~EA13 Robot Policy Bridge 均已开放并完成相应 CPU validation。RL Foundations 共 14 课,现已完成;这里的 Sim-to-Real stress test 不代表真实机器人部署验证。

Beginner Core

建立交互、回报、价值、策略、评估、连续控制,以及 Reward objective 与 Safety constraint 的边界。

  • EA00强化学习在机器人中的位置AVAILABLE
  • EA01Agent 与 Environment:跑通第一个学习闭环CPU VALIDATED
  • EA02从一步 Reward 到整段 ReturnCPU VALIDATED
  • EA03State Value 与 Q Value:评价现在和下一步选择CPU VALIDATED
  • EA04Tabular Q-learning:从经验中学出 Action ValueCPU VALIDATED
  • EA05Function Approximation:让函数预测 Q ValueCPU VALIDATED
  • EA06Policy Gradient:直接学习一个 PolicyCPU VALIDATED
  • EA07Actor-Critic 与 PPO:让 Policy 更新更稳定CPU VALIDATED
  • EA08Training Evidence:怎样证明一个 Policy 真的学会了CPU VALIDATED · ANALYSIS
  • EA09Continuous Control:从离散选择到连续动作CPU VALIDATED
  • EA10Reward Design / SafetyCPU VALIDATED

Robot Policy Bridge

把通用学习系统映射到机器人接口、项目证据和 sim-to-real 边界。

  • EA11Robot Policy InterfaceCPU VALIDATED
  • EA12Final ProjectCPU VALIDATED
  • EA13Sim-to-Real 与现代 Robot PolicyCPU VALIDATED

完成 Beginner Core 不等于已经具备真实 humanoid policy 能力。课程建立的是可继续实践的理解、实验方法和工程判断。