新出生的机器人狗，学会滚动1小时后自己走路，吴恩达开山大弟子的最新成果-量子位，
现在，机器狗自己滚一个小时，就可以走路了！
这样看来，训练机器狗和训练普通狗没什么区别。
这是UC伯克利大学带来的最新成果，机器人在实际环境中直接训练学习，不再依赖于模拟器。
应用这种方法，研究人员在短时间内训练了四个机器人。
例如，最初看到的一个小时就能走路的机器狗
又有两个臂，在8-10小时的实战中抓住后，接近人类水平。
一个有电脑视觉的小机器人，自己摸索两个小时后，可以平滑滚动到指定位置。
该研究由Pieter Abbeel等人提出，Pieter Abbeel是吴恩达的第一个博士生，日前刚刚获得2021ACM计算奖（ACM Prize in Computing）
目前，该方法的所有软件基础架构都已打开。
被称为“空想家”的算法正文的方法的pipeline，大致分为4步。
第一步是首先将机器人置于实际环境中，然后收集数据。
在第2步中，将这些数据转发给Replay Buffer。此步骤包括利用历史数据进行培训、“总结经验”和有效利用收集到的样本。
步骤3，World Model学习现有的经验，“幻想”战略。
在步骤4中，使用演员评论家（Actor Critic）算法提高策略梯度法的性能。
然后转来转去，把提取的方法用在机器人上，最后达到了“自己摸索学习”的感觉。
具体来看，这里的核心是World Model。
World Models在2018年以DAVID HA等人提出的高速无监督学习方式，获得NIPS2018的Oral Presentation。
其核心理念认为，基于人类已经经历的事情，形成一种心理世界模式，我们所做的决定和行动都是基于这种内部模式。
比如说当人类打棒球时，如果视觉信息比到达大脑反应的速度快得多，那么在这种情况下也能准确地回球，是因为大脑做出了本能的预测。
迄今为止，基于World Model的“幻想”的学习方法，提出了谷歌Dreamer这种可扩展的强化学习方法。
这次提出的方法在此基础上称为DayDreamer。
（也叫空想家吧？）
具体来说，World Model是智能体模型。
它包含一个视觉识别组件，您可以将看到的图像压缩为低维特征向量并输入模型。
另外，还有一个存储组件，它根据历史信息预测未来的特征向量。
最后，它还包括根据视觉感知组件、决策组件的特征向量来确定其行为的决策组件。
那么，回到这次“UC”“伯克利”学者提出的方法。
其中很容易发现Learning部分的逻辑是经验积累的过程，Behavior Learning部分是动作输出的过程。
本文方法的提出主要解决了机器人训练中的两个问题：
效率和精度。
一般来说，训练机器人的通常方法是加强学习，重复实验来调整机器人的动作。
但是这种方法需要非常多的测试才能取得很好的效果。
不仅效率低，培训成本也不低。
后来，不少人提出用模拟器训练机器人可以有效降低成本。
但本文作者认为，模拟器训练方法在准确性方面的表现还不够充分，只有实际环境才能使机器人达到最好的效果。
结果，在训练机器人狗的过程中，仅仅10分钟，机器人狗就习惯了自己的行为。
与SAC法相比，效果明显提高。
在机械臂训练过程中，这种新方法克服了视觉定位和稀疏奖励的挑战，几小时内的训练成果明显优于其他方法。
研究团队值得一提的是，这次带来新成果的研究团队成员，也非常引人注目。
其中，Pieter Abbeel是吴恩达的开山大弟子。
他现任UC伯克利电工与计算机科学教授，伯克利机器人学习实验室主任，伯克利AI研究院联合主任，曾加入OpenAI。
日前，他获得了2021ACM计算奖（ACM Prize in Computing），表彰了他对机器人学习的贡献。
同时也是AI机器人公司Covariant的联合创始人。
另一位Ken Goldberg也是AI领域的顶级专家。
他现在是UC伯克利工学教授，研究方向是强化学习、人机交互等。
2005年，他被选为IEEE学院会员。
同时，Goldberg是一位艺术家，也是UC伯克利艺术、科技文化研讨会的创始人。
此外，由Philipp Wu、Alejandro Escontrela和Danijar Hafner三人共同制作。
其中Philipp Wu还只是UC伯克利的大四学生。
One More Thing观看机器狗训练视频，发现研究人员使用的是Unitree机器狗。
这个品牌来自中国企业宇树科技，以前春晚爬过的机器小牛，也来自其家。
同时，最近宇树机器人狗集体进行Go1测试的动画被公开，海外也燃烧着。
论文地址：https：//danijar.com/project/daydreamer/
参考链接：https：//worldmodels.github.io/