人工智能领域简报（2018年 第23期）——全球14家顶尖 AI 产业巨头深度学习实力及战略分析

（文／Carlos E. Perez）长期以来，我一直在努力理解深度学习的研究发展。我使用的方法论是模式设计编目（cataloging of Design Patterns），它对于分析这个复杂程度不断增长的领域相当有效。事实上，由于该领域的巨头持续在发表新的令人惊讶的研究成果，我自己对这些概念的理解也将继续调整。

然而，我观察到的某些模式实际上超出了对深度学习的一般理解范围。我观察到的是，不同的尖端研究团体似乎侧重使用不同种类的方法来解决人工智能的谜题。不过，预先声明，我并不了解这些组织内部的运作机制，以下内容都是我个人的观察思考而已。

幸运的是，通过阅读这些机构发表的研究成果，你就会有这样的感觉：各个团体所喜欢的方法各不相同（注意：这些方法不是相互排斥的）。所以，请让我顺便说明一下自己对于偏见（或偏好）的直觉——领域里的每个大玩家都在如何研究深度学**。

谷歌在看到 DeepMind 的 Atari 游戏 AI 之后将 DeepMind 收购。自此，DeepMind 一直喜欢在他们的方法中使用强化学习。他们肯定将深度学习作为大多数研究的组成部分，但似乎总是强调深度学习与强化学习的组合，也就是深度强化学习。

DeepMind 深度学习研究大多集中于在模型中的非参数层嵌入使用变分法。DeepMind 还关注注意力机制和记忆增强网络。在研究的广度上，我认为没有组织能企及 DeepMind。DeepMind 的研究驱动力似乎是想要发现智能的本质。

你可以在这里了解他们的更多工作：https：//deepmind.com/research/publications/

谷歌大脑在处理研究方面有着很明显的侧重实用和工程的方法。你可以看到他们如何对 inception 架构进行各种各样的细节调整。他们在围绕可用的计算资源如何搭建深度学习架构方面做了大量的工作。谷歌还结合了其他传统算法，如 beam search、图遍历和深度学习的广义线性模型。这种方法似乎也强调了对可扩展解决方案的需求。（编注：很奇怪这里作者没有提到谷歌挖来 Hinton、李飞飞、李佳等学术大牛及他们进入谷歌后所的研究。）

得益于其庞大的计算和数据资源，谷歌（大脑）在深度学**方面取得了令人印象深刻的成果。你可以在这里找到他们的研究：https：//research.googleblog.com/

这是由Yann LeCun 领导的团队，目前还不清楚它的实力有多么强大，因为大多数创新研究似乎都来自于 LeCun 在纽约大学的研究小组。 LeCun 的团队进行的是探索深度学习基本层面的实验性研究。在研究深度学习基础理论这一方面，目前各大机构的研究团队花费的功夫不多。

FAIR 已经在 Torch上发布了几个不错的开源实现项目，在某些问题上使用深度学习做出了一些成绩。然而，很难看出 FAIR 有任何特定的研究偏好。我发现很难从他们的研究工作中看出一个主线。也许你可能有更好的运气：https://research.fb.com/publications/?cat=2

类似于谷歌，微软的方法非常实际并且面向工程。微软拥有一流的计算机科学人才，发明残差网络就是一个例子。微软还有其他新颖的方法，例如 Decision Forrest，这些表明微软显然是深度学习领域思想的领导者而非只是追随。微软的认知工具包，虽然参与 AI 这场游戏比较晚，但是从工程上说品质很高。微软的开源深度学习平台 CNTK 可能是使用分布式计算学习方面最好的框架之一。

可以说，微软在深度学习方面的研究贡献可能仅次于谷歌。这可是相当了不起的，因为没有研究深度学习出身的研究人员加入他们的团队。请参考：

https：//www.microsoft.com/en-us/research/research-area/artificial-intelligence/

OpenAI 是由 Elon Musk 等人创办的，成立的初衷是他们害怕其他公司大幅吸取深度学习人才。如果不能在财务上竞争（给予高新），OpenAI 就提供学术上的自由——这也的确吸引到了很多的人才，包括从谷歌。

OpenAI 倾向于使用生成模型，更具体地说，是对抗生成网络（GAN）。他们还对增强学习环境做出了认真的努力（例子是 OpenAI Gym）。很奇怪的是，尽管 GAN 的性能表现如此之好，但是 DeepMind 似乎更偏爱变分模型（variational model）。

微软已经向 OpenAI 提供了 Azure 服务，因此可以认为微软与 OpenAI 已经结成联盟。此外，就在 NIPS 2016 开会的前一天，OpenAI 发布了 Universe，后者是一个在几乎所有环境中衡量和训练 AI 通用智能水平的开源平台。而且，其合作伙伴可是有一大堆显赫的公司名字。

OpenAI 的研究重点概述在这里：https：//openai.com/requests-for-research/。

这是 Yoshua Bengio 带领的小组，经常发表论文。Bengio 是少数意志坚定的研究人员，目前还没有不向任何一家商业实体屈服（不过，Bengio 自己试图在蒙特利尔构建 AI 生态圈，并且参与创立了一个名叫 Element AI 的孵化器，以强大的学术实力为卖点，为企业提供独一无二的解决方案，还以合资经营的方式扶持 AI 初创公司）。

与 LeGun 在 NYU 的研究小组类似，Bengio 团队也侧重于弄清深度学习的工作原理。此外，该团队还建立了很多深度学习新模型和学习算法。MILA（蒙特利尔大学学习算法学院）可以说是地球上最好的学术深度学习研究小组，详见 https：//mila.umontreal.ca/en/。

谷歌非常精明，通过资助 Bengio 的小组进行一些间接的控制。这一举措促使 Hugo Larochelle 离开 Twitter（迅速退出产业界），并加入谷歌在蒙特利尔新成立的AI 实验室。

由 Richard Socher 领导，来自该组的大部分工作都明显地倾向于使用基于RNN（递归神经网络）的方法来解决NLP 问题。SalesForce 的解决方案大多面向在其构造中使用记忆（employ memory）的网络。这些人的研究成果相当令人印象深刻，因此应该认真对待。

这是他们的工作：http：//metamind.io/research-list.html

吴恩达的团队可能是第一批真正使用 Infiniband 网络创建大规模 GPU 系统的组织之一。他们做了很多强调基础设施的工作，并有一些开源的解决方案（包括 开源深度学习平台 PaddlePaddle）。百度的研究重点是图像和语音处理，后者做得非常好。此外，不要忘了百度还有无人驾驶汽车。

百度的研究可以在这里找到：http://research.baidu.com/institute-of-deep-learning/。

英伟达把一切都赌在了深度学习解决方案上。他们有最好的工程团队孜孜不倦地调整他们的GPU，以获得最好的性能。虽然英伟达在深度学习创新方面完全没有进行任何研究，但他们花费了大量精力来打造深度学习所需的强大计算资源。

不过，英伟达在无人驾驶汽车领域可能一个先行者，他们有篇论文，关于自动驾驶汽车端到端的深度学习解决方案，给我留下了深刻的印象。

英特尔在收购 Nervana 初创公司前就陷入了严重的麻烦。他们的硬件解决方案远不及竞争对手英伟达。Nervana 非常善于研发深度学习使用的计算基础设施。GPU 硬件上一些最快的部署都来自 Nervana。我的推测是，Nervana是因为其软件而被收购，不一定是它正在开发设计的硬件。令人好奇的是，Nervana 的硬件解决方案将于 2017 年年中发布，在深度学习领域，这可是一段很长的时间（译注：原文如此，英特尔 Nervana 首款深度学**芯片预计明年年初发布）。

你不会见到 Nervana 发表大量的研究论文，我也认为他们在创业公司阶段不可能聚集足够多的深度学习人才。然而，英特尔是一个不能轻视的玩家，他们有与 Micron 共享的技术，这可能给英特尔带来在深度学习这个领域无法逾越的优势。

BM 以 Watson 在《危险边缘》节目中打败了人类竞争对手引领了整个 AI 热潮。2011 年，IBM 被认为领先于所有人。不幸的是，深度学习一路走来，IBM 在这个领域反应缓慢。 Watson 在一些解决方案中显然使用了深度学习技术，但 IBM 几乎没有进行什么深度学习方面的研究。他们有 TrueNorth 神经形态计算芯片，但这似乎更像炒作。

IBM 在深度领域没有那么突出。但如果你认真发掘，还是会有发现：https：//arxiv.org/abs/1604.08242。

除了从 CMU 挖来 Russ Salakhutdinov，苹果的深度学习无需多言。苹果未来的研究将偏向于 Russ 对无监督学习的研究。苹果正在忙碌地通过收购增加深度学习方面的人才。一些更大的收购（比 Dato）主要发生在机器学习领域。遗憾的是，苹果的收购招聘（acqui-hires）主要是在数据科学和大数据领域。我猜想，当苹果意识到深度学习与机器学习是不同之后时，他们就冲出去挖来了 Salakhutdinov。

苹果的文化非常隐秘，所以我不知道他们不发表论文是否表明他们缺乏专业知识或拖了公司的后腿。更新：据报道，苹果已经在 NIPS 2016 上发表了他们的第一篇研究论文。

不多说，支持 MXNet 是一件好事。亚马逊最初开源了一个名为 DSSTNE 的框架，它不幸地注定遭到社会的忽视。另一方面，考虑到没有得到任何一家大公司支持，MXNet 的实力令人印象深刻。

不久前，亚马逊推出了线下智能购物商店 Amazon Go，从宣传片看来，他们将深度学习很好地融入了生活，这也说不定是个异军突起的玩家。

Uber 最近收购了自动驾驶卡车初创公司 Otto，刚刚通过收购 Geometric Intelligence 建立了他们的 AI 实验室。Uber 创始人兼 CEO Gary Marcus 之前在接受其他媒体采访时，看上去对深度学习并没有那么重视。Marcus 是认知心理学家，而不是计算机科学家，这一点很重要。不过，Geometric Intelligence 能够雇用一大批机器学习从业者。Uber 的这次收购很可能是一次人才收购，因为 Geometric Intelligence 不大可能有收入，更不用说有任何产品了。

以上只是我的个人印象。我确定，考虑到深度学习领域的大量信息，我可能漏掉了一些已发表并应当予以承认的论文或研究成果。所以如果你觉得我的评论不公，还望海涵。

在这篇文章中，我只想指出，各家机构对 AI 的研究重点各不相同。不同的机构在他们认为重要的研究领域有不同的优先级。一场 AI 军备竞赛已经拉开序幕，而最终的赢家则是幸运地把资源投入到了可能获胜的研究方法上的人。这个几率确实很小，但考虑到涉及的高回报，每家公司看来都正在进行这场赌博。