【译】 Google: Still in The Search 搜索巨人Google的伟大转变 （三）

admin管理员组

文章数量:1530870

“我需要了解一下你的背景，”杰弗里辛顿说。 “你有科学学位吗？”

在加拿大山景城，谷歌是他于2013年作为杰出研究员加入的公司，他是加利福尼亚州山景城的一个白板，他是一位健壮，干涩的英国人。 Hinton也许是世界上神经网络系统的首要专家，他是20世纪80年代中期帮助开拓者的人工智能技术。 （他曾说自从他十六岁起就一直在思考神经网络问题）。从那时起的大部分时间里，神经网络 - 大致模拟人类大脑学习的方式 - 被描述为计算机掌握的一种有前途的手段视觉和自然语言等困难的事情。 在等待这场革命到来的多年之后，人们开始怀疑是否会保持承诺。

Geoff Hinton。 照片：Michelle Siu / Backchannel

但是大约十年前，在多伦多大学的辛顿实验室里，他和其他一些研究人员突破，神经网络突然间成为人工智能中最热门的东西。 不仅谷歌，还有Facebook，微软和IBM等其他公司开始疯狂地追求数量相对较少的计算机科学家，他们精通组织几层人造神经元的黑色艺术，以便整个系统可以接受培训甚至培训自己从随机输入中获得神圣的连贯性，这在很大程度上是新生儿学习将数据融入他或她的处女感官中的方式。 有了这个新的有效的过程，被称为深度学习，一些长期的计算（如能够看到，听到，并在Breakout无与伦比）logjams最终将被解开。 智能电脑系统的时代 - 已经期待已久并且长期受到恐惧 - 会突然让我们的脖子喘不过气来。 谷歌搜索会更好地工作。

这一突破在Google搜索的下一个重大步骤中将至关重要：了解现实世界，为准确地向用户提供他们的问题答案以及自发提供信息以满足他们的需求做出巨大的飞跃。 为了保持搜索至关重要，Google必须变得更加智能。

这对互联网巨头而言非常有特色。 从早期开始，该公司的创始人就明确表示Google是一家人工智能公司。 它不仅在搜索中使用AI，尽管其搜索引擎在人工智能技术方面积极应对，但在其广告系统，自动驾驶汽车以及将纳米粒子放入人类血液中以便早期发现疾病的计划中。 正如拉里佩奇在2002年告诉我的那样：

我们并不总是生产人们想要的东西。 这就是我们努力工作的原因。 这真的很困难。 要做到这一点，你必须要聪明，你必须了解世界上的一切，你必须了解这个问题。 我们想要做的是人工智能......最终的搜索引擎很聪明。 所以我们努力接近这一点。

当Geoff Hinton取得突破时，谷歌已经走上了这条道路。 多年来，该公司一直是使用更传统的机器学习形式的领导者，使其搜索引擎变得更加智能化。 在公司历史上仅有几年的时间，它聘请了一群AI精通的工程师和科学家，他们跳过搜索引擎来学习同义词。 当数百万用户与另一个用户（例如狗或小狗）互换某个词时，Google会很快利用这些知识更好地理解查询。 当谷歌负责翻译网站以交付来自不同语言网站的结果时，其科学家利用一个过程将大量翻译过的文档及其源文件输入到系统中。 这样，Google的搜索引擎就能“学会”一种语言如何映射到另一种语言。 通过使用AI程序，Google可以将网站翻译成任何工程师不会说的语言。

现在，深度学习被认为是超越机器学习更直接的一步。 由于它是建立在人脑的架构基础之上的，它的信徒认为，从理论上讲，深度学习是以计算机为基础的智能技能的发射台，不可能 - 至少不容易 - 采用先前的方法。 这就是为什么Hinton的突破对谷歌以及其他所有涉及搜索和相关问题的公司如此重要。 谷歌在过去几年中努力改造其搜索引擎以产生会话体验。 但要真正实现即使是非常年轻的人的技能，人工智能的前沿也必须扩展，而深度学习是实现这一目标的工具。

解释神经网络为深度学习赢得声音的环境并不容易。 但是欣顿是一个尝试的比赛，虽然我觉得当他知道他在给一个英语专业的时候我发现了一个无望的叹息。

神经网络模拟生物大脑学习的方式。 当你尝试一个新的任务时，一定数量的神经元会发射。 你观察结果，在随后的试验中，你的大脑使用反馈来调整哪些神经元被激活。 随着时间的推移，一对神经元之间的联系变得更加强大，其他联系减弱，奠定了记忆的基础。

神经网络从本质上复制了代码中的这个过程。 但是，与其复制人脑中神经元的复杂纷乱，一个更小的神经网络，其神经元整齐地分层。 在第一层（或前几层）是特征检测器，是人类感官的计算版本。 当计算机向神经网络输入输入时，比如图像，声音或文本文件的数据库时，系统会通过检测是否存在它确定的关键特征来了解这些文件的内容。 例如，如果任务是将电子邮件描述为垃圾邮件或合法邮件，则神经网络研究人员可能会向系统提供许多邮件以及SPAM或NOT_SPAM的标签。 网络会自动使用复杂的单词特征（“尼日利亚王子”，“伟哥”），单词模式以及信息头中的信息，这些信息对于确定邮件是否应标记为垃圾邮件非常有用。

在早期的神经网络实验中，电脑无法自行设计功能，因此必须手动设计功能。 Hinton最初的贡献是帮助建立一种称为“反向传播”的技术，这种反馈形式使系统能够更有效地从错误中学习并分配自己的特征。

“早在1986年，当我们第一次开发反向传播时，我们对能够学习多层特征探测器的事实感到兴奋，并且我们认为我们解决了这个问题，”Hinton说。 “我们没有在实际问题上取得重大突破，这令人非常失望。 我们猜测需要多少计算以及需要多少标记示例，我们完全错误。“

但是，尽管许多研究人员多年来对神经网络失去了信心，但辛顿强烈地感觉到他们最终会实践。 1995年，他和他的学生尝试失去标签，至少在学习过程的早期阶段。 这种技术被称为“无监督的预训练”，这意味着系统会自行决定如何组织输入。 但Hinton表示，实现这项工作的真正关键是数学技巧，这是一种近似的方式，可以节省计算时间，因为信息通过神经元层层传递 - 这允许进行更多迭代来细化网络。 正如经常发生的那样，速度变得具有变革性，在这种情况下，可以执行以前的神经网络无法尝试的学习。 就好像一个人在10分钟内可以突然挤入，相当于5个小时的滑雪练习。

在无监督学习的情况下，只有在后期阶段，系统的人类主人才会干预，通过标记更理想的输出并奖励成功的结果。 “想想小孩，当他们学会认识牛时，”欣顿说。 “这不像他们有一百万个不同的图像，他们的母亲正在给奶牛贴标签。 他们只是通过环顾四周来了解母牛，最终他们会说'那是什么？' 和他们的母亲说，'那是一头牛'，然后他们得到了它。 “（后来，研究人员将掌握一种有效的替代方法，无监督学习依赖于更好的初始化技术和使用更大的数据集。）

当Hinton的小组测试这个模型时，它有神经网络最初被构想出来的时候没有的好处 - 超快速GPU（图形处理单元）。 虽然这些芯片被设计用来制作高级图形的公式，但它们也是神经网络所需计算的理想选择。 Hinton为他的实验室购买了一堆GPU，并让两名学生操作该系统。 他们进行了测试，看看他们是否可以通过神经网络来识别语音中的音素。 当然，这是许多技术公司 - 当然包括谷歌 - 一直在努力掌握的一项任务。 由于讲话将成为即将到来的移动时代的投入，计算机必须学会更好地倾听

Geoff Hinton。 照片：Michelle Siu / Backchannel

它是如何做的？

“他们取得了惊人的成果，”欣顿说。 “他们的第一批成果与经过30年微调的技术水平大致相当，很明显，如果我们能够在第一次认真的尝试中取得好成绩，那么我们最终会得到好得多的结果“。在接下来的几年里，Hinton团队再次进行了认真的尝试。 Hinton表示，在他们公布结果时，该系统与现有商业模式的最佳性能相匹配。 “关键是，这是由两名学生在实验室完成的，”他说。

深度学习诞生了。

2007年，在这项工作中， Hinton在Mountain View 举办了一次关于深度学习的Google技术讲座 ，激发了参与者的极客，并在YouTube上赢得了大量的关注。 它帮助传播了神经网络终于成为强大工具的消息。 而且急于雇用了解这种新技术的人。 Hinton的学生去了IBM，微软，当然还有谷歌。 这代表了该领域四大公司中的三家（另一家Nuance在其供应商中包括苹果公司）。 所有人都可以自由使用Hinton实验室的工作，每个系统都可以帮助他在各自的公司完善。 Hinton说：“我们基本上把它拿走了，因为我们非常关心证明我们有货。” “有趣的是，MSR（微软研究院）和IBM在谷歌之前就已经发布了它，但Google比其他任何公司都更快地将其转变为产品。”

Hinton来到Google只是该季度一系列大规模招聘中的一员。 就在几个月前，AI的Panglossian哲学家Ray Kurzweil加入了一个团队，其中已经包括了人工智能传奇人物，如Peter Norvig（编写AI课程标准教科书）和Sebastian Thrun（自动驾驶汽车的关键发明人） ）。

但现在该公司深受学习陶醉，显然相信它会在下一代搜索领域取得重大突破。 移动计算的到来迫使该公司改变其搜索引擎的特性。 走得更远，它必须以人类认识世界的同样的方式了解世界 - 当然也要执行超世界任务，即了解世界上所有事物，并能够在不到半秒的时间内找到它。

因此，杰夫迪恩可能会参与其中，这可能只是时间问题。

Dean是Google的传奇人物。 他在1999年来到谷歌时就已经在计算机科学界闻名遐迩，聘请他是一个里程碑式的事件，是一个相对比较模糊的互联网公司，拥有两位数的员工。 在这段时间里，Dean成为创建Google软件基础架构的领导者。 在这个过程中，出现了一个迪恩粉丝的地下怪胎，创造了一个关于工程师杰出的叫做“ 杰夫·狄恩事实 ”的滑稽模因。他们大多数都参考了超级怪异的编码阿卡娜，但一些更容易理解的编码是

• 杰夫迪恩可以在连线四击败你。 三招。
• 有一天，Jeff Dean在出门时抓住了他的Etch-a-Sketch而不是他的笔记本电脑。 在回家的路上拿到他的真实笔记本电脑时，他编写了Etch-a-Sketch来玩俄罗斯方块。
• 杰夫迪恩仍然在等待数学家发现他隐藏在Pi的数字中的笑话。

现年46岁的迪恩很早就知道神经网络 - 他的大学生论文项目使用了它们。 然而，在这几年间，他大部分同龄人的结论是，他们还没有准备好迎接黄金时段。 “当时有许多承诺，但他们已经消失了一段时间，因为我们没有足够的计算能力让他们唱歌，”他说，去年秋天在Googleplex会议室里伸出瘦长的框架。 尽管如此，2011年，Dean在谷歌的许多小吃屋中遇到了Andrew Ng。 Ng是一位斯坦福大学教授 - 这个领域的巨人之一 - 他每周都会在搜索公司花一天时间。 当Dean问他要做什么时，他对答案感到惊讶：“我们正在努力训练神经网络。”Ng告诉Dean，事情发生了变化 - 在深度学习突破之后，他们工作得很好，如果Google可以弄清楚如何训练真正的大网，会发生令人惊奇的事情。

杰夫迪恩。 照片：Talia Herman / Backchannel

Dean认为这听起来很有趣，并开始“涉足它”约六个月，然后确信建立一个庞大的神经网络系统的项目可以很快带来具体的结果。 所以他和Ng做了一个全职项目。 （吴先生此后离开Goog​​le，最近加入百度 - 开发中国搜索领导者自己的AI项目。）

大约一年时间，该项目非正式地被称为“谷歌大脑”，并以该公司的远程高志志研究部门谷歌X为基础。 “这是一种开玩笑的内部名称，但我们试图不在外部使用它，因为这听起来有点奇怪，”Dean说。 2012年，结果开始增加，该团队从纯粹实验性的Google X部门中移出，并将其置于搜索组织中。 它也开始避免使用“大脑”这个词。对于外界人士来说，首选词是“Google的深度学习项目”，它不具有相同的环，但不太可能在Googleplex的门口煽动干草叉聚会。

Dean说，该团队通过对无监督学习进行实验开始，因为“我们在监控数据方面拥有更多的无监督数据。”这导致Dean团队首次发布了一个实验，其中Google Brain（分布在16,000个微处理器，创建了一个拥有10亿个连接的神经网络）暴露了1000万YouTube图像，试图查看系统是否可以学习识别它所看到的内容。 毫不奇怪，考虑到YouTube的内容，系统自己搞清楚了一只猫是什么，并且很擅长做很多用户的工作 - 用猫星找到视频。 “我们在训练中从来没有告诉过它，”这是一只猫，“Dean 告诉纽约时报 。 “它基本上发明了一只猫的概念。”

这只是一个测试，看看系统可以做些什么。 很快，Deep Learning Project建立了一个更强大的神经网络，并开始承担语音识别等任务。 “我们有一个很好的研究项目组合，其中一些是短期和中期 - 很好理解的东西，可以很快帮助产品 - 其中一些是长期目标。 我们没有特定产品的东西，但我们知道会非常有用。“

在我与Dean谈话后不久，四位Google深度学习科学家发表了一篇题为“Show and Tell”的论文，这不仅表明了这一点，它不仅标志着科学的突破，而且直接应用于Google搜索。 本文介绍了一种“神经图像标题生成器”（NIC），旨在为没有任何人类发明的图像提供标题。 基本上，这个系统就好像它是一家报社的照片编辑一样。 这是一个涉及视觉和语言的庞大实验。 使这个系统不同寻常的是，它将一个视觉图像学习系统分层到一个能够以自然语言生成句子的神经网络上。

以下是神经图像标题生成器如何描述这些图像：“一群玩飞盘的年轻人”，“在泥土路上骑摩托车的人”，以及“一群穿过干草地的大象。”

没有人会说这个系统已经超出了人类对照片进行分类的能力; 事实上，如果一个人在这个神经网络的层面上雇佣写字幕，这个新手不会持续到午餐时间。 但它确实令人震惊，对于一台机器来说也很令人震惊。 一些死去的热门歌曲包括“一群玩飞盘游戏的年轻人”，“在泥土路上骑摩托车的人”，以及“一群穿过干草地的大象”。考虑到系统通过自己的概念（如飞盘，公路和大象群）“学习”，这非常令人印象深刻。 所以我们可以原谅这个系统，当它为一名滑板运动员错误地为一名X游戏自行车骑手出现错误时，或者错误地为一辆校车错误识别一辆金丝雀黄色跑车。 这只是系统知道世界的第一个动力。

这只是Google Brain的开始。 Dean并不准备说谷歌拥有世界上最大的神经网络系统，但他承认，“这是我所知道的最大的一个。”

尽管Hinton的招聘和Dean的大脑是推动公司深入学习的重要举措，但也许是2013年最大的举措，当时谷歌斥资4亿美元收购了位于伦敦的人工智能公司DeepMind。 DeepMind在深入研究大脑本身的基础上，有自己的深度学习。 为了进行购买，谷歌提高了其关键竞争对手的地位，这些竞争对手也在该公司设计过。 原因很简单：DeepMind可能会像谷歌为YouTube支付的17亿美元一样便宜，或者仅仅5000万美元用于一个名为Android的开源移动操作系统。

首席执行官兼联合创始人是德米斯哈萨比斯。 一个38岁的黑发男子，Hassabis说话很快，好像他是一个双倍播放的播客。 “我的整个职业生涯一直领先于AI公司，”他说，在公司位于伦敦市中心垂直蔓延的新总部休息一下，在St Pancras火车站附近休息一下。 DeepMind最近从布卢姆斯伯里的一座小办公楼搬到了这里。 这是一个不寻常的设置，一个新的结构与旧医院的现有翼结合在一起，造成了一种时间旅行鞭。。 会议室是以达芬奇，哥德尔和雪莱（不祥，玛丽，不是珀西）为代表的哲学家，作家和艺术家的名字来命名的。 该团队最近成长为拥有DeepMind（当然还有其母公司）收购的两家牛津大学的公司 。 一个是深蓝实验室 ，它使用深度学习来理解自然语言; 另一个Vision Factory使用该技术进行物体识别。

14岁的时候，哈萨比斯是一名狂热的电脑游戏程序员，也是一名国际象棋神童。 在游戏精灵Peter Molyneux的指导下工作，他在诸如黑白和主题公园等地标性游戏中扮演重要角色。 然后他开办了自己的游戏公司，最终雇用了60人，而他还在二十多岁。 但他说，游戏是达到目的的手段，最终是开发智能通用人工智能机器。 到了2004年，他觉得他已经尽可能地在这个领域采取了游戏AI。 但现在启动一家人工智能公司还为时过早 - 他所需要的计算机能力并不便宜而且足够丰富。 因此他在伦敦大学学院攻读认知神经科学博士学位。

2007年，他共同撰写了一篇关于记忆的神经基础的文章，该杂志被评为今年十大突破之一。 他成为了盖茨比计算神经科学研究所的研究员，并且还加入了UCL，MIT和哈佛大学。 然而，在2010年，他决定组建一家公司进行高级人工智能的时候了，他与Gatsby的同事Shane Legg和系列企业家Mustafa Suleyman共同创立了这家公司，他在19岁退出牛津。资助者包括Peter Theil的Founders Fund和Elon Musk（后来表示担心人工智能的缺点）。 杰弗里·辛顿是其顾问之一。

DeepMind以隐形方式运营，只有一个结果在Google购买之前公开发布。 这足以引起一阵疯狂的猜测，并带来一些未受教育的嘲笑。 这篇论文描述了DeepMind在被动训练神经网络以发挥老式Atari电脑游戏方面的成功 。 神经网络系统留给自己的深度学习设备来学习游戏规则 - 该系统只是尝试了数百万次乒乓球，太空侵略者，射手骑士和其他经典的练习，并且自学成功或超越了成就青少年。 （注意，Twitch！）更有趣的是，其中一些更成功的策略是那些没有人想象过的策略。 “这是这种技术的特殊潜力，”Hassabis说。 “我们正在充实自己的经验，就像人类会做的一样，因此它可以掌握可能我们不知道如何编程的事情。 很高兴看到它在程序员不知道的Atari游戏中提出新策略时。“

这是迈向哈萨比斯大脑的一大步，它不仅会了解大量事实，而且会知道下一步该做什么。 DeepMind并不满足于为有限的域名构建引擎，例如Atari游戏，通勤或处理约会。 它想要创建一个通用的人工智能机器，它可以在任何可以获得信息的地方处理信息，然后做几乎所有的事情。 “我们在这里工作的一般AI是一个自动将非结构化信息转化为有用的，可操作的知识的过程，”他说。 “我们有这样一个原型 - 人类的大脑。 我们可以绑鞋带，我们可以骑自行车，我们可以用同样的建筑来做物理。 所以我们知道这是可能的，然后我们的研究计划的想法是慢慢拓宽和拓宽这些领域。“

对你来说，哈萨比斯是否想象一个巨大的人造大脑会吸引世界的信息，将其结构化为其理解的形式，然后采取行动，这听起来很可怕吗？ 那么，对Hassabis来说也是有点可怕的。 至少在他承认他自己的团队开拓先进技术时可能会导致人工智能脱离人为控制的问题，或者至少变得如此强大以至于它的使用可能受到最大限制。 （Hassabis的DeepMind联合创始人Shane Legg 更加强调 ：他认为人工智能造成的人类灭绝是本世纪的主要威胁，而DeepMind投资者Elon Musk 刚刚斥资1000万美元研究人工智能的危险。）这就是为什么作为DeepMind收购的一个条件，Hassabis及其联合创始人要求Google成立一个外部顾问委员会，以监督公司人工智能工作的进展。 DeepMind已经决定永远不会将其技术授权给军方或间谍机构，并且Google也同意这一点。

较不令人欣慰的是，Hassabis不会透露该委员会的组成，除了说它由“计算，神经科学和机器学习方面的顶尖教授”组成。由于DeepMind的工作仍处于早期阶段 - 没有看到奇点然而 - 他向我们保证，没有必要公开委员会成员。 “目前这里没有问题，但在未来五到十年内可能会有，”他说。 “所以真的只是在比赛中取得领先。”

但游戏正在快速发展。 去年秋天，DeepMind发表了另一篇重要论文，描述了一个项目，该项目综合了神经科学记忆技术的一些想法，创建了一个具有图灵机性能的神经网络，这是通用计算设备的代名词。 这意味着这样一个给定足够时间和记忆的系统理论上可以计算任何东西。 该论文侧重于实践：能够“记录”信息并在以后进行绘制 - 一种人的“工作记忆”的人造版本 - 神经图灵机器人不仅能够更快地学习并且执行更多复杂的任务比以前的神经网络，但“在训练制度以外完成一般化，”DeepMind的作者写道。 人们不禁感到，这是Hassabis梦寐以求的通用AI引擎迈出的重要一步。

事实上，截至目前，所有谷歌的深度学习工作尚未在谷歌搜索或其他产品上留下大印记。 但即将改变。

自从杰夫·迪恩的深度学习项目从Google X转移到知识部门（包括搜索）之后，他的团队一直与包括语言和图像识别在内的许多搜索相关团队紧密合作。 Google Brain已经成为该公司的AI实用程序。 “这就像一个内部服务，”Dean说。 “如果我们团队的人对某个问题真的很感兴趣，那么如果我们能够做出一些好的事情，我们就会找到合适的渠道。”Dean说，现在有大约35到40个团队正在使用它。 除了搜索和演讲之外，他还表示：“我们在广告，街景和自驾车中都有东西。”

杰夫迪恩。 照片：Talia Herman / Backchannel

至于较长期的项目，Dean谈到了尝试更好的实时翻译形式。 目前这是一个很高的标准 - 除了谷歌自己目前广受欢迎的系统之外，微软的Skype已经给观察者留下了即时语音翻译的印象。 但Dean对他自己的团队推动事情的努力感到兴奋。 “这是一个只使用神经网络来进行端到端语言翻译的模型，”他说。 “你用一种语言或另一种语言来训练双语意味着同样的事情。 法语到英语说。 你每次用一个英语句子喂食，繁荣，繁荣，繁荣......然后你喂养一个特殊的“英语结束”令牌。 突然之间，模特开始吐出法语。“

Dean展示了神经模型和谷歌当前系统之间的头对头比较 - 他的深度学习新手在挑选文字中的细微差别方面更加优秀，这些内容是传达意义的关键。 “我认为这表明如果我们扩大规模，这将会做很强大的事情，”Dean说。

DeepMind也准备好生产。 Hassabis称，在6个月左右的时间内，其技术将进入Google产品中。 他的组织分裂成多个部门，由他的联合创始人穆斯塔法·苏莱曼领导，致力于人工智能的应用，并与谷歌密切合作，看看有什么用途。

Hassabis对DeepMind技术如何提高人们的生活有一些想法。 他认为，更主动的搜索版本 - 不仅为人们寻找东西，而且为他们做出决定 - 将成为宝贵的可以想象的商品的宝贵提供者 - 时间。 Hassabis说：“世界上有更多的书让我觉得有趣，而且我的生活中可能读到的书很迷人。 “那么为什么我每次长途飞行或是在一个难得的假期某个地方，我可能会想我应该读什么书呢？ 这绝不应该发生。 我认为很多这些东西会更好地自动化。“

在这条道路上，Hassabis设想DeepMind的工作正在寻找更具异国情调的Google项目，比如自动驾驶汽车，甚至是致力于延长人类寿命的衍生公司Calico 。

DeepMind和Google Brain与Hinton的深度学习团队都在谷歌的搜索组织中，这最终意义重大。 多年前，Larry Page和Sergey Brin说，或许只是半开玩笑地说，搜索是我们大脑中的一种植入物。 目前没有人谈论植入物。 谷歌不是为了让搜索更好而开动脑筋，而是开发自己的大脑。

https://medium/backchannel/google-search-will-be-your-next-brain-5207c26e4523

本文标签： 巨人GoogleSearch