近日，苹果研究团队在arXiv上公开了人形机器人控制系统HALO的最新成果，并将这一“大脑”部署在宇树科技G1机器人上。这套系统最核心的看点，是让机器人不再只是复读机式的执行预定动作，而是拥有了在陌生环境中“现场发挥”的能力。
过去，为了让人形机器人在真实世界站稳脚跟，主流做法是“环境特供”——先把场地扫描成模型，再在数字孪生里练好动作，最后拿到现实中复刻。但苹果这次的目标很明确：拔掉这根“虚拟脐带”。HALO系统试图让机器人仅凭摄像头和语音指令，在从未见过的房间里自主完成推箱子、坐椅子、甚至侧身挤过门缝这类高难度动作。
按它的研究数据，这个“盲操”的成功率做到了平均91%。这是一个相当惊人的数字。
一个“三明治”式的架构
HALO这个名字听起来科幻，但它的底层逻辑并没有堆砌魔法。整个系统被清晰地拆成了三个层级，像一家决策高效的公司:
- 顶层“战略部”（任务编排模组）: 这里跑着一个视觉语言模型（VLM），默认是阿里巴巴的Qwen3.6-35B-A3B模型。它被部署在机器人身上的Mac mini里，不需要联网就能实时处理。它的工作就是“听懂人话，看懂世界”。当你说“坐下”，它不会傻乎乎地原地执行，而是先扫描周围哪里有椅子；当你说“坐到椅子上”，但路被桌子挡住了，它会自动把任务拆解成“弯腰穿过桌子下面 -> 接近椅子 -> 转身坐下”。整个过程它还会通过摄像头持续“回头看”，确认动作做完了才进行下一步。
- 中层“执行部”（动作生成模组）: 接到顶层下达的单个子任务（比如“走到椅子前”）后，这个模块开始规划怎么动。它用Qwen3.5-2B模型配合一个DiT解码器，每秒钟规划3次，每次规划未来5秒的全身动作。这种高频重规划的好处是，当环境突然变化（比如路上多了个障碍物），机器人能实时调整，而不是死板地撞上去。
- 底层“基层员工”（动作追踪器）: 这是最累的岗位。它以每秒50次的超高频率运行，结合深度摄像头和机器人自身的状态传感器，将中层规划的“理想动作”转化为真实的关节电机指令。这一层通过强化学习和策略蒸馏训练，确保了指令能让机器人平稳地动起来，而不至于摔倒。
这种分工明确的架构，让机器人的行动有了“逻辑”，而不是“本能”。
700块GPU和300小时的“集训”
要让这个三明治系统在现实中有效运转，背后是极其夸张的算力投入。
研究团队没有让机器人在真实世界里笨拙地摸索，而是搭建了一套大规模合成数据生成流水线。他们把机器人的各种“生活场景”搬进了计算机里——在1000个程序自动生成的虚拟家庭环境中，生成了约300小时的训练数据。具体操作是:先根据指令生成动作序列，再把这个动作“人”放进虚拟房间里，最后模拟渲染出机器人视角的画面。
为了这个训练过程，团队动用了250张英伟达H100 GPU，耗时48小时来合成主数据；动作生成器用了64张B200 GPU进行模仿学习；动作追踪器则用了4张H100 GPU跑强化学习。可以说，HALO的成功是用海量算力“堆”出来的。
灯下也有黑影:连续任务和触觉短板
不过，实验室的荣耀往往在更复杂的现实面前打折扣。
当任务从单步操作变成连续动作时，HALO的瓶颈开始显现。论文数据显示，在针对“弯腰穿过障碍、走向目标、推动箱子”这类复合任务的测试中，系统的平均成功率从91%骤降至70%。其中那个包含弯腰、行走、推箱子的三步连续任务，成功率更是只有50%。这意味着一半的尝试都以失败告终——比如走到箱子前却推不动，或者穿过桌底时姿态出了问题。
另一个明显短板是“触觉缺失”。目前的HALO系统主要依赖视觉感知，一旦物体脱离摄像头视野或受到遮挡，机器人的表现就会大幅下降。比如当它需要坐下时，视线被自己的手臂挡住，它就无法精确感知椅子的角度和距离。团队已经将触觉感知列为下一步的改进方向。
苹果的“机器人梦”，依然在路上
需要强调的是，HALO目前还不是一个完全自主的系统。论文提到，在新增物理任务时，研究人员依然需要手动编写提示词和设计动作关键帧，部分动作甚至需要借助人类视频或动捕素材。这距离“开箱即用”的消费级机器人还有一段距离。
但值得关注的是，苹果没有选择像特斯拉或波士顿动力那样，从一开始就打造昂贵的专属硬件，而是将自己的“大脑”接上了现成的通用人形机器人平台。这更像是一种AI能力的降维打击——一旦这个“大脑”真正成熟，它可能会成为人形机器人行业通用的操作系统之一。
就像当年的iPhone一样，苹果或许并没有发明机器人，但它正在试图重新定义机器人的“思考方式”。只是这次，要让机器人从会看路，进化到真正会干活，还需要更多的“HALO”。
