核心路线优先在普通 CPU 上建立可复现实验,不把 3090 作为 Beginner 的门槛。
Embodied AI Foundations / Reinforcement Learning
从最小学习系统,
走到 Robot Policy。
机器人强化学习基础:从 Policy 到 Robot Policy。课程不从公式堆叠开始,而从可观察的决策、交互和训练证据出发,逐步建立对机器人学习策略的工程判断。
/ COURSE PRINCIPLES
理解、实验、工程判断
课程目标不是训练通用机器人模型,也不把一次 reward curve 上升当作成功。每个阶段都要把行为、评价与失败证据分开看。
区分 training 与 independent evaluation,并使用多个 seed 判断结果是否稳定。
Bandit、GridWorld 和 CartPole 不是终点,而是把学习机制从复杂机器人系统中先剥离出来。
/ EA00—EA13
从 Policy 直觉到机器人接口
EA00~EA10 Beginner Core 与 EA11~EA13 Robot Policy Bridge 均已开放并完成相应 CPU validation。RL Foundations 共 14 课,现已完成;这里的 Sim-to-Real stress test 不代表真实机器人部署验证。
Beginner Core
建立交互、回报、价值、策略、评估、连续控制,以及 Reward objective 与 Safety constraint 的边界。
- EA00强化学习在机器人中的位置AVAILABLE
- EA01Agent 与 Environment:跑通第一个学习闭环CPU VALIDATED
- EA02从一步 Reward 到整段 ReturnCPU VALIDATED
- EA03State Value 与 Q Value:评价现在和下一步选择CPU VALIDATED
- EA04Tabular Q-learning:从经验中学出 Action ValueCPU VALIDATED
- EA05Function Approximation:让函数预测 Q ValueCPU VALIDATED
- EA06Policy Gradient:直接学习一个 PolicyCPU VALIDATED
- EA07Actor-Critic 与 PPO:让 Policy 更新更稳定CPU VALIDATED
- EA08Training Evidence:怎样证明一个 Policy 真的学会了CPU VALIDATED · ANALYSIS
- EA09Continuous Control:从离散选择到连续动作CPU VALIDATED
- EA10Reward Design / SafetyCPU VALIDATED
Robot Policy Bridge
把通用学习系统映射到机器人接口、项目证据和 sim-to-real 边界。
- EA11Robot Policy InterfaceCPU VALIDATED
- EA12Final ProjectCPU VALIDATED
- EA13Sim-to-Real 与现代 Robot PolicyCPU VALIDATED
完成 Beginner Core 不等于已经具备真实 humanoid policy 能力。课程建立的是可继续实践的理解、实验方法和工程判断。