机器人博士前两年总结——任尔东西南北风

UP主: WhynotTV · 时长: 21:13 · 🔗 B站原视频

标签: CMU · 机器人 · 博士生活 · 科研经验 · 学术成长

开启机器人博士旅程

大家好，好久不见。在2023年8月，我到达了匹兹堡CMU，开启了我的机器人博士旅程。那时候的我对未来的研究生活满怀期待。现在是2025年6月，快两年的时间过去了。在这期视频，我想和大家一起回顾我过去两年博士研究生活背后的故事。我的体验如何？和我的预期一致吗？我有什么学到的经验教训？以及我未来的打算如何？让我们把时针拨回两年前。

第一个项目：机器狗高速避障 (ABS)

我博士期间的第一个项目叫 ABS (Agile But Safe)，敏捷但是安全。这个项目开始于2023年9月，当时的目标是达成机器狗的高速避障。在我 PhD 之前，我对机器人硬件的经验几乎为零，所以当时对于这种能够把机器人能力推到极限的事儿，我特别热情。最开始折腾了很久，都没有办法让机器狗正常跑起来。

“今天周六我又来实验室调这只狗，希望今天能够让它稳定地跑起来。不行啊，这个右脚完全不摆的。哇牛逼！哎呀，太爽了太爽了太爽了，我已经彻底上瘾了。”

在成功让机器狗跑起来之后，我就开始测试避障的效果。现在是我头戴一个头盔，这个狗就可以在这个场地里面避开我去跑，我们来看一下它跑得怎么样。那段时间我在实验场地度过了很长的时间，从算法设计到每一次的硬件验证。

硬件调试的艰难与崩溃

“今天是2023年11月3号，我准备后天先把那个相机直接插在狗上，不要连到我电脑上，这样狗就一根网线直接到我电脑上。这个搞定之后，整个 pipeline 就通了，未来就只用去想算法层面上面是怎么做更多的创新。现在这个 project 开始一个月了，我觉得进展还是挺满意的。我预计我是想投 RSS，那就还有三个月，加油加油。”

在开发的过程中，这个夜晚我到现在都还记得。当时那晚的目标是给机器狗装上一个机载的深度相机。我折腾了一晚上的相机连接，最后把机器狗都拆了，才发现机载的接口不支持 USB 3.0。我坐在垫子上一点一点重新装配刚刚拆下来的机器狗螺丝，拧螺丝的时候，在心里估算怎么设计新的运算平台、固定件、供电以及机载 WIFI。那一晚对我来说真的很艰难。

当然后来还远不止如此，我们还经历了无数次的测试维修。在迭代，现在远一点就没事了，行，搞明白了。是的，我们最后终于让机器狗完全自主地在户外奔跑了起来。照理说机器狗的测试应该已经完成了，后面应该很顺利。可事实是，要达成一开始我们设下的高速避障的目标，还有很多细节需要打磨。

“2023年12月5号，凌晨04:36分睡觉了。今天忙完了，实现了很多东西，把很多 bug 都弄好了。这就是我的凌晨04:30，匹兹堡的凌晨04:30，你见过吗？在12月8号晚上00:24分，今天晚上吃完晚饭之后，结果发现狗站都站不起来了。弄了两三个小时，不知道什么原因，换电池、换遥控器、换了狗前脚的两个气囊都站不起来。后来发现右前脚大腿内侧电机的电机线断了，左前脚也基本等于断了，那就得重新焊。今天一个问题也没解决，又多出来一个新的问题，还是电机线断，我真的崩溃了。现在的痛点是什么？痛点是线断了呀，痛点是线很痛。没了。”

“现在是2023年12月13号，凌晨4:04分，我刚把今天 MOCAP 的实验弄完，在整理实验视频。做真机的时间真的好累，一会儿硬件过热，一会儿 motion capture 掉线了，一会儿没电了，一会儿地毯掉了。太累了，这玩意儿。”

我记得当时跨年夜那天晚上我都在写论文。总之我们在2024年1月，把这篇文章投稿到了 RSS。后来我们学院也专门为这个工作拍了一支宣传短片。

学院宣传片采访

"I'm tired. I'm a first-year PhD student at the Robotics Institute at CMU, and I'm working on reinforcement learning, and also how to combine reinforcement learning with traditional control theory to make robots behave and also go beyond human intelligence. What I'm thinking about the future robotics: real intelligent robots will have the ability to safely navigate through confined spaces. Our robot can safely navigate through super confined spaces like offices, narrow corridors. When it breaks itself, I have to fix it up. I do have a lot of passions for hardware experiments, and that's also one of the biggest reasons that I chose CMU to do my PhD. I really enjoyed the process of pushing the limits to make the hardware perform better in the real world."

转向人形机器人与全身遥操作 (H2O)

在 ABS 结束之后，我立即就把我所有时间投入到了我们实验室刚到的那一台人形机器人上。

“今天争取能用 C++ 和 Python，通过 ROS 之间的通讯，把一个 neural network 跑上去控制这个机器人，看下今天能不能把这套 infrastructure 打通。操操操操操操，呵呵。”

当时是我第一次接触人形机器人，对于如何让机器人学会平衡行走的难度完全没有概念。这期间不只是强化学习的训练流程要迭代，还有具体部署代码的通讯优化，以及还要给机器人脚掌贴泡沫去保护硬件。

“OK，凌晨两点准备回家了。这两天一直在调那个人形机器人，昨天弄到四五点钟、五六点钟，把刚刚部署的 training deploy 的整个 infrastructure 搭好，并且总算有一点眉目了。怎么让这个机器人走得比较好、走得比较稳，前进后退、左走右走、自转逆时针转、顺时针转，踹它它也不倒，今天总算有一点点眉目了。”

不断的调试之后，基本达到了让机器人走起来的目标。我就把我的重心放在了 Humanoid whole-body teleoperation 上，也就是机器人的全身遥操作。简而言之，不只是让机器人学会机械地走路，而是能够学会跟着我动，我抬手他就抬手，我抬脚他也就抬脚，梦想是达到电影《铁甲钢拳》那个水平。

硬件崩溃与意志力的考验

我本来以为我已经学会让机器人用下半身走路了，那么遥操作应该迎刃而解。可后来发现，人形机器人的全身控制比我想象中要困难很多。接下来就是看在一个简单的 policy 上让他站住，站住，这个很重要。在这个过程中频繁的测试导致机器人硬件的损坏，维修也是很大的挑战。

“机器人又烂了，脚踝这个电机里面有齿轮卡顿的声音，准备把这个右脚踝换了。因为这个右脚踝现在电机卡住了，完全动不了了。可以把右脚踝换了，这样这样这样摆，对不对啊？你坐地上吧。”

当时不单单是机器人的硬件濒临崩溃，我觉得对我个人的意志品质也是极大的考验。

“凌晨三点在学校里面，我刚刚本来准备回家了，结果路上想到好像今晚挂的实验代码有个 bug，所以我就颠回来又改了一个小时，把那个问题解决了。今晚挂了七个实验，主要还是现在 simulation 里面那个人形机器人还是有一种很莫名其妙的颤抖的问题。3、2、1，越是这个时候越是要有坚强的神经。现在 lower body 还是没有那种鲁棒性。这几天基本晚上都睡不着，今天来停好车走过来的路上，我正在听贺伟的解说语录：‘真正的强者，他们有着坚强的神经，在最困难、面临着命运的折磨的时候，他们能够走出来。’我现在也要有坚强的神经。关关难过关关过，就是最后一关了。我从最开始走不了路，最开始上半身 track 不准，到下半身 stable 不了，就差这最后一项，坚持吧，坚持。”

迎来曙光：里程碑式的一天

经过反复的优化测试迭代，这样的循环一次不行就两次，两次不行就三次，终于我们还是等到了曙光。

“我现在大概能猜到他站不稳的原因了，今天测试一下。3、2、1，放手了放手了放手了。我让他上肢动起来，我让他上肢动起来。2、1！哎呀哎呀哎呀哈哈哈！这总算 work 了，这个事不容易，里程碑式的一天，帅！”

在 H2O 项目收尾之后，我意识到人形机器人的遥操作还有太多可以提升的空间了。

硬件升级：Harmony H2O 与 Vision Pro

所以在2024年3月，我们马不停蹄就开启了 Harmony H2O 项目。我做的第一个改变，就是把 H2O 里面用的高延迟的摄像头，换成了苹果当时刚刚发布的 Vision Pro。

“怎么样？这手还是长还是差吗？我感觉我的头很矮。” “我觉得你头也很矮，你手得低一点。”

在上一个项目里面的人形机器人还没有手指，所以我们需要给机器人手末端装上额外的手腕电机和灵巧手。这其中有很多系统整合的工程要做。

“因为这两个电机现在这一个 CAN 口线没有办法正常控制，因为他俩 ID 是一样的。虽然说就算 ID 一样，照理说也应该一起动。不确定改 ID 能不能解决这个问题，但现在必须得连个串口线，分别把这两个电机调整一下，我们才能够确定是这个问题。”

当时我们用的人形机器人是宇树的，手腕电机是达妙的，灵巧手是因时的。三个不同公司的产品的通讯协议和供电都需要去解决。

“下不下来，1、2、3、4，还有颗螺丝。OK，这下散架了。”

当时把机器人的手臂反反复复拆了几遍之后，终于可以正确控制手腕和手指了。

对标特斯拉 Optimus 与 CoRL 论文发表

当然，当我们只用像 Vision Pro 这样的 VR 设备去遥操作一台人形机器人后，对控制系统提出了更高的要求。这其中又是无数次的迭代，反复迭代再反复。

在这个项目过程中，当时特斯拉 Optimus 在推特上发布了一个人形机器人抓电池的 demo，我们第一时间也尝试了一下我们能不能做到。正当我们以为可以的时候，其实还差得远。以特斯拉为标杆，我们又经历了一段很艰难的调试，总算达成了理想的效果。

“拿下了！这个是以前从来没有一个方式做这个可以。到现在为止最牛逼的打拳，这种感觉跟你说，对，最牛逼的 policy，这个拿来打拳完完全全够了。给我们两排，希望我们就能对打。”

我们得以稳定地遥操作一台人形机器人收集数据，训练它自主操作的能力。正当我们以为一切都会顺利地进行下去的时候，我们开始谋划 demo 的拍摄。当时机器人摔下去之后，我的第一反应就是完蛋了。我赶紧过去看机器人硬件有没有哪里损伤，后来发现机器人背后的两个小电脑以及供电模组都摔坏了，但所幸这些不是致命伤。

最后 Harmony H2O 这个项目，我们除了达成稳定的人形机器人遥操作之外，我们还达成了让人形机器人自主完成任务、与人交互的能力。最后这篇工作也是发表在了 CoRL 2024 上。

英伟达暑期实习与 HOVER 项目

在 Harmony H2O 之后，我的博士一年级也告一段落。在那个暑假，我飞到了加州英伟达，开启了我的暑期实习。

在 H2O 和 Harmony H2O 之后，我感到人形机器人的控制器还是不够通用，这也就有了做 HOVER 的动机——构建一个更通用的人形机器人全身控制器。这个暑假我没有太多的记录，不过修机器人肯定是少不了的。

“哦天哪，刚把实验做完，这手直接断了。当时我就听到了有个声音不太对，突然这个手就掉下来了。诶，他这是怎么固定上去的感觉？断了断了断了，真的是断了，你摸这里你能摸到那个。”

最后 HOVER 这篇工作也发布在了 ICRA 2025 上。

赋予机器人运动天赋 (ASAP 项目)

在结束暑期实习后，我回到了 CMU，开启了 PhD 第二年的研究。当时我的感受是，虽然人形机器人的控制我已经忙活了一年了，可是最后的结果好像还是不够敏捷，机器人好像也只能学会走走停停。

我从小就是一个体育迷，所以当时我就在想，我们能不能让人形机器人做一个C罗的庆祝动作，或者做一个科比的后仰跳投动作？说干就干，我录制自己的视频，从最简单的动作开始，慢慢开始走路、跳跃。这期间修机器人、推倒之前的方法论，对我来说已经是家常便饭。在经过了几个月的算法迭代和工程实践之后，我们终于做出了能够做出C罗、詹姆斯、科比标志性动作的机器人控制策略。

迷茫与反思：学术界与工业界的边界

在 ASAP 项目结束之后，正值当时宇树机器人也上了春晚，整个社交平台上都是各种炫酷的机器人视频和新闻。我当时也暂停了我博士前两年每一个 deadline 都赶 paper 的节奏，花了三个月的时间去休息，思考我接下来应该去做些什么，什么是我作为一个机器人博士生应该去关注、去解决的问题。

坦率地说，机器人是一个非常特殊的学科。很多时候，一个机器人系统是否 work 的关键因素，并不取决于具体论文里的算法创新或者理论推导，更多由具体的工程实现、硬件设计，甚至调试当天的运气决定。特别是在这个时代，大公司或者拿到巨额融资的机器人创业公司，完全可以拿时间和人力去降维打击在学校里的 PhD 一直在做的课题。你很难找到一个课题，是一个机器人博士生可以做，而十个在公司里的机器人工程师做不了的事。

在这几个月的迷茫期里，我完全看不清机器人 engineering 和 science 的区别了，甚至我开始质疑机器人到底存不存在 science，也许大家做的都是 engineering。后来我想通了，我觉得去纠结什么是 robotics science、什么是 robotics engineering 的意义不大。对我来说，作为一个 PhD，我不应该再去做那种我觉得大概率能 work 的工作，而更应该去做一些挑战学术界、工业界普遍认知的课题。

如果一个项目一开始的技术路线很清晰，并且我知道大概率一定能 work，只是需要具体优化工程实现细节以及训练参数，那么我觉得这样的项目就应该交给工业界的工程师去做。学术界的职责应该是承担风险，并且做出创新。这也是我认为我 PhD 前两年做的最缺乏的地方，我在课题的选择上没有承担足够的风险，往往是定下了一个我知道大概率能够得着、能达到的目标，我用我的专注度和工程实践能力把它解决得比较漂亮。

最后我想说，在2025年这个时间节点上，这也许是 AI 和机器人最好的时代，资金、热情、关注日渐高涨，为学生、研究人员和创业者开启了前所未有的窗口。但这同时可能也是机器人和 AI 最坏的时代，因为在这条日渐拥挤的赛道上，焦虑、泡沫、迷茫如影随形。但我更愿意相信，这是一个重塑的时代，一个技术梦想与耐心交汇的时代。无论潮起还是潮落，真正推动时代前行的是那些在深夜还在调 bug 的人，是那些无论失败多少次，仍然相信机器人应该 work、应该解锁更多可能性的人。我愿意成为这样的人。