LSTM之父Jürgen Schmidhuber丨“认知智能 改变世界_嘉宾巡礼
L先生总是忘了东西，所以每当他出去的时候，他都会随身带着一个笔记本，把它放在那里。不幸的是，他只带了一本笔记本，很快就满了。因此，每当有新的事情发生时，他都会从原书中抹去（忘记）不重要的部分，并写下新收到的东西（输入）多亏了这本小书，L先生才能回忆起六个月前的事情。因为L先生在业余时间翻阅他的笔记本，他的脑海里开始或多或少地留下了很久以前发生的事情的印象。这是一个关于“记忆胜过糟糕的笔”的故事，这也与今天的主角于尔根·施密德胡伯和他的LSTM理论有关。
Jucrgen Schmid huber教授是现代循环神经网络技术开发的重要人物之一，为开发被称为“Long-Short Term Memory”的循环神经网络技术做出了贡献，影响了Google、Microsoft、IBM等AI研究。Jürgen Schmidhuber是瑞士人工智能研究所IDSIA的科学主任，在卢加诺大学和瑞士南部应用科学与艺术学院任教。他分别于1987年和1991年在慕尼黑工业大学获得计算机科学学士和博士学位。自1887年以来，主导了自我改善（self-improving）通用问题解决程序（problem-solver）的研究。自1991年以来，他一直是深度学习神经网络领域的先驱。可预测性最小化模型起源于1992年的一篇论文“学习因子代码by Predictability Minimization”，他是该论文的唯一作者。
1997年，Schmidhuber博士和Sepp Hochreiter博士发表了一篇技术论文，证明了他们在视觉和语音领域的快速发展中发挥了关键作用。此方法称为长短内存。2009年，Schmidhuber被选为欧洲科学与艺术学院的成员。2013年，他获得了国际神经网络协会Helmholtz奖，2016年，他获得了电气和电子工程师协会神经网络先驱奖。在2019年，它发表了自己的评论文章，概述了最小极大游戏，并概述了PM模型和GAN之间的密切关系。他认为GAN是PM模型的一个变体（1992年），并与Goodfellow进行了许多公开交流，从电子邮件到演讲。GAN可以被看作是对抗好奇（1990）的一个特例，它基于两个网络之间的最小极大博弈，其中一个网络通过随机行为产生数据，而另一个则预测输出结果。
[第1003号]
PM与GAN的比较
Jürgen Schmidhuber和LSTM
神经网络的第一个原型出现在1943年，当时心理学家McCall-Locke提出了一个MP模型，可以模仿神经元的结构和工作方式。20世纪50年代末，美国科学家Frank Rosenblatt提出感知机学习，1958年正式提出由两层神经元组成的神经网络，称之为“感知机”。循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络，与常规神经网络不同，它可以处理序列变化数据。例如，如果一个词的意思取决于上面的内容，那么RNN最适合解决这些问题。RNN通常用于分析预测序列数据，但随着时间的推移，RNN被证明会忘记先前的状态信息，因此LSTM被引入。LSTM的优点是它解决了梯度消失的问题，保留了误差，并允许用户沿时间和层向后传递。近年来，LSTM在机器人控制、图像分析、文档摘要、视频识别、手写识别、聊天机器人、智能助手、推荐系统、疾病预测和股票市场等许多领域都很活跃。如今，LSTM的原理已成为深度学习的基础。例如，我们使用的智能手机语音识别功能来自于Jurgen的研究，而IDSIA开发的算法已被超过10亿人使用。Jürgen Schmidhuber的理想：一般的人工智能。
1963年，Jürgen和他的父亲Johann Schmidhuber一起下棋Jürgen Schmidhuber对机器人和通用人工智能的兴趣可以追溯到他十几岁的时候。他从图书馆借了许多科普小说和科幻小说，特别是奥拉夫·斯台普顿的《星际制造者》，E·T·A·霍夫曼的《桑德曼》和斯坦尼斯劳·莱姆的小说。1856年，约翰·麦卡锡（John McCarthy，1927-2011）在达特茅斯会议上对人工智能进行了如下定义：20世纪60年代，人工智能的研究还处于理论阶段，随着近年来计算能力的大幅增长，一波技术浪潮将带来更多垂直行业应用的落地。Schmidhuber还将注意力转向将技术成果商业化，并继续押注于通用人工智能的愿景。通用人工智能，也被称为AGI，可以像人类一样处理不同层次的问题，并具有许多能力，如自我学习和理解复杂的想法。最著名的追求通用人工智能的公司是DeepMind，该公司开发了AlphaGo，并于2014年被谷歌收购。很少有人知道DeepMind的四名创始成员中有两名来自Schmidhuber所属的IDSIA。
2014年，Schmidhuber教授共同创立了人工智能公司NNAISENSE，该公司旨在打造世界上第一个实用的通用人工智能。该公司的愿景是“构建用于超人感知和智能自动化的大规模神经网络解决方案，最终目标是普及基于通用神经网络的人工智能”。Jürgen认为，RNN是构建通用人工智能的基础，几年后，我们将能够构建基于神经网络的AI（NAI），通过逐渐学习，我们将变得像一些动物一样聪明。认知智能改变世界由华安数据主办的2019年世界人工智能大会“认知智能改变世界”论坛将于8月31日上午开幕，Jürgen Schmidhuber教授将在论坛上分享精彩的学术分享。华安数据微信公众号背景回复“注册”立即加入。