机器学习和神经网络 - 页 10

新评论
 

Geoffrey Hinton 和 Yann LeCun，2018 ACM AM 图灵奖演讲“深度学习革命”


Geoffrey Hinton 和 Yann LeCun，2018 ACM AM 图灵奖演讲“深度学习革命”

Geoffrey Hinton 和 Yann LeCun 获得 2018 ACM AM 图灵奖，并就深度学习革命发表演讲。在讲座中，他们讨论了深度学习如何彻底改变了计算机科学，以及它如何用于造福生活的各个方面。他们还谈到了深度学习的挑战和该领域的未来。他们指出，虽然对深度学习的理论理解很重要，但在复杂情况下做出决定仍然取决于人类。他们还讨论了进化计算和其他形式的人工智能在自动驾驶中的潜力。

  • 00:00:00 Geoffrey Hinton 和 Yann LeCun 发表 2018 年 ACM AM 图灵奖演讲，谈论深度学习革命。他们讨论了深度学习如何彻底改变了计算机科学，以及与会者如何从参加相关会议中受益。

  • 00:05:00 2018 年 ACM AM 图灵奖的三位获得者是 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun。 Hinton 将就深度学习的发展进行历史讲座，而 Kuhn 将讨论深度学习的持续发展。

  • 00:10:00 在他的 2018 年 ACM AM 图灵奖演讲中，Geoffrey Hinton 讨论了深度学习革命，它基于人工智能的生物学启发方法。深度学习方法比传统的符号范式更高效、更有效，但也更难学习。

  • 00:15:00 在他的 2018 年 ACM AM 图灵奖演讲中，Geoffrey Hinton 讨论了神经网络的工作原理，并解释说它们是大脑中实际神经元的简化版本。他还解释了反向传播如何成为强化学习算法的高效版本，以及它如何将训练神经网络的过程加快 10 倍或更多。

  • 00:20:00 Geoffrey Hinton 和 Yann LeCun 在 ACM 图灵奖颁奖典礼上就深度学习革命发表了演讲。两人讨论了反向传播、随机梯度下降，以及它在大规模学习中为何不成功。

  • 00:25:00 在本次讲座中，Geoffrey Hinton 和 Yann LeCun 讨论了深度学习革命，其中涉及开发更高效的神经网络。随着近年来可用计算能力的提高，神经网络变得越来越强大，现在在计算机视觉的各个领域无处不在。

  • 00:30:00 Geoffrey Hinton 和 Yann LeCun 就深度学习的历史及其现状发表了演讲，强调了该领域的成功和挑战。他们还谈到了计算机视觉的未来，强调了深度学习对于取得更好结果的重要性。

  • 00:35:00 在他的 2018 年 ACM AM 图灵奖演讲中，Geoffrey Hinton 讨论了深度学习革命及其对人工智能的重要性。他指出，虽然深度学习在完成特定任务方面非常有效，但它并不是实现愿景的最佳方式。 Hinton 认为，已经在大脑中复制的深度学习革命的一个方面是复制设备的使用。他通过让参与者指向旋转的立方体的角来证明这一点，以便左后上角垂直于右前下角的上方。 Hinton 解释说，虽然深度学习可以有效地使用一组特定的权重来近似所需的输出，但它不能有效地保持对象的对称性。他预测，在未来，神经网络将能够使用不同的时间尺度来学习识别物体，这将类似于大脑中突触的变化。

  • 00:40:00 在他的 2018 年 ACM AM 图灵奖演讲中，Geoffrey Hinton 讨论了深度学习革命，他认为这是由于在学习过程中逐渐引入新的时间尺度。他讨论了过去学习的记忆如何存储在神经网络的权重中，以及如何使用快速权重访问此记忆。 Hinton 还谈到了大数据对深度学习的影响，以及计算机硬件和软件的最新进展如何让研究人员更容易获得深度学习。

  • 00:45:00 Geoffrey Hinton 和 Yann LeCun 的讲座涵盖了深度学习革命、层次表示的作用以及 Pennebaker 育儿网络的工作原理。

  • 00:50:00 Geoffrey Hinton 和 Yann LeCun 发表了 2018 年 ACM AM 图灵奖演讲，讨论深度学习及其革新生活各个方面的潜力。他们在图像分割和自动驾驶汽车方面的工作是最著名的。

  • 00:55:00 Geoffrey Hinton 和 Yann LeCun 就深度学习革命进行了演讲，讨论了人类和动物如何能够如此快速地高效学习。他们还讨论了人类和动物如何通过观察和预测世界来学习概念。
 

这位加拿大天才创造了现代人工智能



这位加拿大天才创造了现代人工智能

人工智能先驱杰夫·辛顿 (Geoff Hinton) 近 40 年来一直致力于让计算机像人类一样学习，他彻底改变了人工智能领域。 Hinton 的灵感来自弗兰克·罗森布拉特 (Frank Rosenblatt) 的感知器，这是一种模仿大脑的神经网络，开发于 1950 年代。 Hinton 的决心导致了 AI 领域的突破。在 80 年代中期，Hinton 和他的合作者创建了一个多层神经网络，一个深度神经网络，它开始以多种方式工作。然而，他们缺乏必要的数据和计算能力，直到 2006 年左右，当时超快的芯片和互联网上产生的海量数据给了 Hinton 的算法神奇的助力——计算机可以识别图像中的内容、识别语音和翻译语言。到 2012 年，加拿大成为人工智能超级大国，神经网络和机器学习登上了《纽约时报》的头版。

  • 00:00:00 在本节中，我们将了解 Geoff Hinton，他近 40 年来一直致力于让计算机像人类一样学习。这种其他人都认为无望的追求彻底改变了人工智能领域，谷歌、亚马逊和苹果等公司认为这是他们公司的未来。 Hinton 的灵感来自 Frank Rosenblatt，他在 1950 年代开发了感知器，一种模仿大脑的神经网络。 Rosenblatt 的神经网络有局限性，效果不佳，但 Hinton 认为神经网络可以工作，因为大脑就是一个大的神经网络。欣顿追求他的想法的决心导致了人工智能领域的突破，公司相信这是他们公司的未来。

  • 00:05:00 在本节中，视频讨论了 80 年代中期 Hinton 和他的合作者如何在制造更复杂的神经网络方面取得进展，这些神经网络可以解决简单的神经网络无法解决的问题。他们创建了一个多层神经网络，一个深度神经网络，它开始以多种方式发挥作用。然而，由于缺乏必要的数据和计算能力，它们遇到了瓶颈。从 90 年代到 2000 年代，Hinton 是少数仍在追求这项技术的人之一，他被当作贱民对待。直到大约 2006 年，超高速芯片的出现和互联网上产生的海量数据给了 Hinton 的算法神奇的助力——计算机可以识别图像中的内容、识别语音和翻译语言。到 2012 年，神经网络和机器学习登上了《纽约时报》的头版，加拿大成为人工智能超级大国。
 

Geoffrey Hinton：深度学习的基础




Geoffrey Hinton：深度学习的基础

人工智能教父 Geoffrey Hinton 概述了深度学习的基础。在本次演讲中，Hinton 详细介绍了神经网络在语音和物体识别、图像分割以及阅读或生成自然书面语言方面的进展。

Geoffrey Hinton 讨论了深度学习的基础，特别是反向传播算法及其演变。 Hinton 解释了深度学习如何影响早期手写识别并最终赢得 2012 年 ImageNet 竞赛。他还强调了使用神经活动向量的深度学习优于在输入、输出和中间使用相同符号的传统符号 AI。讨论了机器翻译系统、图像识别及其自然推理组合的改进，以及深度学习在解释医学图像方面的潜力。 Hinton 最后强调需要参数与人脑相当的神经网络来实现真正的自然语言处理。

  • 00:00:00 在本节中，Hinton 解释了反向传播的概念，这是深度学习中使用的基本算法。他描述了通过编写程序来逐步执行计算机编程的传统方法，以及告诉计算机如何通过带有学习算法的神经网络进行学习的首选方法。这种方法涉及使用具有输入线和权重的人工神经元，这些输入线和权重通过改变这些权重的强度来适应。 Hinton 还解释了通过使用一种简单的算法来调整这些连接的过程，该算法的工作方式类似于进化的思想，可以对网络进行修补，直到它们做好事为止。他通过概述如何使用微积分更有效地完成同一过程来结束本节。

  • 00:05:00 在本节中，杰弗里·辛顿 (Geoffrey Hinton) 解释了深度学习在早期遇到的困难，尤其是反向传播算法。起初，人们放弃了反向传播，因为它效果不佳，但在多伦多、蒙特利尔和纽约几乎没有取得技术进步，无法通过大量标签数据和大量计算能力以指数方式改进它，这已经也使它具有可扩展性。深度学习首先影响的实际问题之一是手写识别。一群学生试图将Hinton的算法应用到语音识别上，当时语音识别只有几百万的训练样例，从统计上来说还算不上实用。然而，他们能够预测正在说的是哪个音素并将合理的话语串在一起，并且这种语音识别系统现在正在各种端到端系统中广泛使用。

  • 00:10:00 在本节中，Geoffrey Hinton 讨论了他们如何使用深度学习神经网络在 2012 年赢得 ImageNet 竞赛。该系统能够识别图像中的主体，错误率几乎是传统计算机视觉系统的一半，这已经稳定在大约 25% 的错误率。随着人们意识到深度学习神经网络在图像识别中的潜力，这一成功产生了重大影响。 Hinton 还解释了循环网络如何用于处理语音等序列。隐藏的神经元相互连接，使系统能够积累信息并通过反向传播进行学习。这些算法后来被用于机器翻译，将一种语言的句子编码成一种思想，然后将其翻译成另一种语言的句子。

  • 00:15:00 在本节中，Geoffrey Hinton 讨论了符号 AI 的问题以及深度学习的当前形式如何解决该问题。符号 AI 的传统观点假设中间也使用输入和输出中使用的相同类型的符号，而深度学习专家使用神经活动向量来处理数据。输入文本被编码成一个向量，该向量包含网络学习到的特征。然后解码器网络采用这个向量并产生思想，然后将其转化为一种新的语言。有趣的是，这样的系统在不引入太多语言知识的情况下工作得更好。相反，谷歌翻译使用由 32,000 个语言片段组成的固定字母表，并通过反向传播训练网络，它从随机权重和数据量开始，以不断提高权重。

  • 00:20:00 在本节中，Geoffrey Hinton 描述了对机器翻译系统所做的一些改进，例如增加注意力和使用单词片段而不是整个单词。他还讨论了图像识别和语言生成的结合，以及这如何导致机器的自然推理。尽管这些系统取得了成功，但 Hinton 表示，为了实现真正的自然语言处理，我们将需要具有与人脑相当的参数数量的神经网络。

  • 00:25:00 在本节中，Geoffrey Hinton 讨论了深度学习算法在解释医学图像方面超越人类表现的潜力。他指出，已经有一个与皮肤科医生一样出色的皮肤癌检测系统，并且通过对更多图像的进一步训练，它的表现可能会好得多。 Hinton 还指出，在医生制作的标签上训练的神经网络有时可以胜过医生自己，因为当医生不同意时，网络可以弄清楚发生了什么。最后，他讲述了一个学生的故事，他赢得了一场比赛，他使用具有多层整流线性单元且参数比训练案例多得多的神经网络预测分子是否会与某物结合，并且不知道学生的名字。研究领域。
 

深度学习英雄：吴恩达采访 Geoffrey Hinton




深度学习英雄：吴恩达采访 Geoffrey Hinton

深度学习领域的领军人物 Geoffrey Hinton 在接受 Andrew Ng 采访时讨论了他的旅程和对该领域的贡献。他谈到了词嵌入的起源、受限玻尔兹曼机的发展，以及他最近在快速权重和胶囊方面的工作。 Hinton 指出了无监督学习在深度学习进步中的关键作用，并建议学习者广泛阅读、从事大型项目并寻找具有相似兴趣的顾问。 Hinton 认为计算领域正在发生重大变化，计算机通过展示来学习，并警告说大学必须赶上行业，为这种新方法培训研究人员。

  • 00:00:00 Geoffrey Hinton 讨论他是如何对人工智能和机器学习产生兴趣的。在高中时，一位朋友向他介绍了使用全息图来研究大脑的想法，这激发了他对大脑如何存储记忆的兴趣。他在大学学习生理学和物理学，但当他发现心理学不足以解释大脑的功能时，他转而学习心理学。在抽出时间当木匠后，他去了爱丁堡，跟随当时对神经网络持怀疑态度的朗格希金斯学习人工智能。 Hinton 最终获得了 AI 博士学位并去了加利福尼亚，在那里思考大脑如何工作被视为一件积极的事情。他与 David Rumelhart 合作开发了反向传播算法，他们于 1986 年发表了该算法，并最终帮助社区接受了该算法。

  • 00:05:00 在本节中，Hinton 讨论了词嵌入的起源，它允许 backprop 学习词的表示，以及 Stuart Sutherland 对如何通过训练词的三元组模型，程序可以学习的事实印象深刻语义的特征，如国籍、世代等。 Hinton 指出，词嵌入的发展结合了两种不同的知识观（心理学家将概念视为特征束的观点与 AI 将概念视为它们如何与其他概念相关的观点），从而提高了论文的接受率。在 90 年代初期，Bengio 展示了开发人员可以使用类似的方法从数据中导出词嵌入，这给许多人留下了深刻印象。随后，Hinton 谈到了受限玻尔兹曼机 (RBM) 的发展，这是深度神经网络复兴的重要因素。

  • 00:10:00 在本节中，Geoffrey Hinton 谈到了他在训练具有一层隐藏特征的受限玻尔兹曼机以及使用这些学习到的特征作为数据来训练另一层的工作。他解释说，这种方法导致了一种在 S 型信念网络中进行推理的有效方法的发展，这是对以前方法的重大改进。他还讨论了他在变分方法方面的工作以及在神经网络中使用线性修正单元 (ReLU) 背后的数学发展。最后，他指出，2014 年，他在谷歌发表了关于使用 ReLU 并使用单位矩阵进行初始化的演讲，单位矩阵复制下层的模式，从而显着改进了深度神经网络的训练。

  • 00:15:00 Geoffrey Hinton 讨论了他对没有追求使用身份初始化网络的想法的遗憾，这将允许深度神经网络的有效训练。他分享了他对反向传播与大脑之间关系的看法，指出如果反向传播是一种很好的学习算法，那么大脑就可以想出如何实现它。他提出了使用保持短期记忆的快速权重来处理深度学习中的多个时间尺度的想法，这是他在研究生时代首次提出的。

  • 00:20:00 在采访的这一部分，Geoffrey Hinton 讨论了他最近在快速权重和递归调用方面的工作，其中涉及使用快速权重来存储递归调用期间神经元活动状态的记忆。他还谈到了他的胶囊想法，其中涉及用向量表示多维实体并使用不同神经元的活动来表示该特征的各个方面。神经元被分成小束，代表特征或胶囊子集的不同坐标，每个能够代表具有许多不同属性的特征的一个实例，而不是像传统神经网络中的一个标量属性。然后，这些胶囊可以通过协议路由系统路由信息，这允许从有限数据中更好地过滤和泛化神经网络。尽管这个想法遭到了论文的拒绝，但 Hinton 仍然乐观并坚持追求胶囊。

  • 00:25:00 Geoffrey Hinton 讨论他对 AI 和深度学习的思考在过去几十年中是如何演变的。他谈到了他最初是如何对反向传播和判别式学习感兴趣，然后在 90 年代初将注意力转移到无监督学习上的。 Hinton 还谈到了监督学习在过去十年中如何取得令人难以置信的成功，但他仍然认为无监督学习对于进一步发展至关重要。他提到变分自动编码器和生成对抗网络是无监督学习的有前途的想法。 Hinton 也给想闯入深度学习的人提供建议，建议他们尽可能多读书，并尝试在大型项目上工作以积累经验。

  • 00:30:00 在本节中，对话围绕着对人工智能和深度学习领域的研究人员和学习者的建议展开。 Hinton 建议创造性研究人员应该阅读一点文献，寻找每个人都做错的事情，然后找出正确的方法。他还建议永远不要停止编程并相信你的直觉。他鼓励研究生寻找与自己有相似信仰和兴趣的导师，以获得最有用的建议。关于是加入博士项目还是加入公司的顶级研究小组，Hinton 指出，目前受过深度学习培训的学者短缺，但他认为这将是暂时的，因为各部门正在赶上不断变化的领域场。

  • 00:35:00 杰弗里·辛顿 (Geoffrey Hinton) 解释说，计算机的使用发生了重大变化，我们现在不再对它们进行编程，而是向它们展示，然后它们就会弄明白。这种新的计算方法与众不同且意义重大，计算机科学系必须承认并欢迎这种展示方法，因为它在影响计算机科学方面与编程一样重要。尽管大公司现在正在用这种新方法培训人们，但 Hinton 相信用不了多久大学就会赶上来。 Hinton 继续解释了 AI 的范式转变，从认为智能所需的表示是一些清理逻辑的符号表达到当前认为思想只是神经活动的巨大载体的观点。
 

深度学习英雄：吴恩达采访 Yann LeCun



深度学习英雄：吴恩达采访 Yann LeCun

在 Andrew Ng 和 Yann LeCun 的这次采访中，LeCun 讨论了他早期对人工智能和神经网络发现的兴趣。他还介绍了他在卷积神经网络方面的工作以及 CNN 背后的历史。LeCun 谈到了他是如何坚持该领域的，尽管他在 90 年代中期对神经网络缺乏兴趣，最终他在 CNN 方面的工作接管了计算机视觉领域。他还讨论了 AlexNet 团队赢得 2012 年 ImageNet 竞赛时计算机视觉的决定性时刻，并建议那些想从事 AI 和机器学习职业的人通过为开源项目做出贡献或实施算法来发挥自己的作用。

  • 00:00:00 在本节中，Yann LeCun 谈到了他早期对人工智能的兴趣以及他是如何偶然发现神经网络概念的。他描述了他是如何发现关于感知器和自动机网络的研究论文的，这些论文启发了他研究如何训练多层神经网络。这使他在法国的一个独立实验室结识了对同一事物感兴趣的人，并最终开始了他与玻尔兹曼机的合作。

  • 00:05:00 在这一节中，LeCun 讲述了他是如何认识当时从事反向传播的 Terry Zaleski，以及他们如何在相遇之前各自独立发明的。他还提到了在 AT&T 贝尔实验室期间他是如何开始研究卷积网络的，以及他是如何在他通过用鼠标绘制字符创建的一个小数据集上测试它们的，以及这如何导致创建具有 5,000 个训练的 USPS 数据集样品。他在这个数据集上训练了一个卷积网络，并取得了比当时使用的其他方法更好的结果。

  • 00:10:00 在采访的这一部分，Yann LeCun 讨论了卷积神经网络或 CNN 的历史。他谈到了他们在贝尔实验室开发的第一版商业网络，它没有单独的子采样和池化层，以及他们如何对网络进行重大改进以减少计算时间。 LeCun 还分享了一个关于在 CNN 上发表演讲的有趣故事，Geoff Hinton 告诉他“如果你做所有明智的事情，它实际上是有效的”。然而，尽管取得了可喜的成果，但由于缺乏互联网、标准化软件和硬件平台，CNN 并未在 AT&T 之外得到广泛采用。

  • 00:15:00 在本节中，Yann LeCun 讨论了他在字符识别方面的工作，以及这如何促使他启动“数字 Djvu”项目，以数字方式存储和压缩扫描文档以供 Internet 共享。他还谈到了他如何一直相信深度学习技术最终会变得有用，尤其是随着计算机的能力不断增强，但由于 90 年代中期缺乏兴趣，大约有 7 年没有人研究神经网络.尽管遭遇挫折，LeCun 继续在该领域坚持不懈，他在卷积神经网络方面的工作接管了计算机视觉领域，并开始大幅进军其他领域。
     
  • 00:20:00 在视频的这一部分，Yann LeCun 描述了计算机视觉社区的决定性时刻，当时 AlexNet 团队以大幅优势赢得了 2012 年 ImageNet 竞赛，令大多数社区感到惊讶。 LeCun 继续讨论了他关于企业研究应该如何进行的独特观点，解释说他有很大的自由来以他认为最合适的方式建立 Facebook 人工智能研究 (FAIR)，重点是开放研究以及与大学的合作。他甚至提到，他在过去四年中的绝大部分出版物都是与他在纽约大学的学生一起发表的。

  • 00:25:00 在本节中，Yann LeCun 建议那些寻求人工智能和机器学习职业的人通过为开源项目做出贡献或实施算法并将其提供给其他人来发挥自己的作用。他认为，现在可用的工具和资源使人们很容易在某种程度上参与进来，甚至是高中生。通过做出有趣和有用的贡献，个人可以获得关注并有可能在理想的公司找到工作或被录取进入博士课程。
 

深度学习英雄：吴恩达采访 Ian Goodfellow




深度学习英雄：吴恩达采访 Ian Goodfellow

在接受 Andrew Ng 采访时，Ian Goodfellow 谈到了他对深度学习的热情以及他在斯坦福大学学习期间如何对该领域产生兴趣。 Goodfellow 讨论了他发明的生成对抗网络 (GAN) 及其在深度学习中的潜力，同时还强调了让 GAN 更加可靠的必要性。他回顾了多年来他对人工智能和深度学习的看法是如何演变的，从简单地让技术用于人工智能相关任务，到探索深度学习模型的全部潜力。 Goodfellow 还为那些想涉足 AI 的人分享了一些建议，指出从一开始就编写好的代码并在机器学习算法中构建安全性至关重要。

  • 00:00:00 在本节中，Ian Goodfellow 讨论了他如何对 AI 和深度学习领域产生兴趣，这要归功于他在斯坦福大学的本科生导师和 Andrew Ng 的互联网 AI 课程。他解释了他和一位朋友如何在斯坦福构建了第一台基于 GPU CUDA 的机器，以及这如何使他产生强烈的直觉，即深度学习是未来的发展方向。 Goodfellow 继续谈论他发明的 GAN，以及他在研究生成模型时是如何想出这个概念的。最后，他回顾了一次个人经历，重申了他对人工智能研究的承诺。

  • 00:05:00 在本节中，Ian Goodfellow 讨论了生成对抗网络 (GAN) 的潜力及其在深度学习中的未来。他解释说，虽然 GAN 目前被用于各种任务，但它们往往不可靠，而稳定它们是他研究的主要重点。 Goodfellow 认为，虽然 GAN 现在很重要，但如果不提高它们的可靠性，它们最终将被其他形式的生成模型所取代。他还讨论了他与人合着第一本深度学习教科书的经历，并强调理解基本数学原理对于掌握该领域的重要性。最后，Goodfellow 回顾了多年来他对 AI 和深度学习的思考是如何演变的，从简单地让技术用于 AI 相关任务，到探索深度学习模型的全部潜力。

  • 00:10:00 在本节中，Ian Goodfellow 讨论了深度学习的发展以及 AI 中存在的众多路径。他为那些想涉足 AI 的人分享了一些建议，指出编写好的代码并将其放在 GitHub 上可以获得关注，并且在阅读书籍的同时从事一个项目可能会有所帮助。他还谈到了从一开始就将安全性构建到机器学习算法中的重要性，而不是稍后添加。这些措施将确保算法的安全，并防止以后出现安全问题。
 

深度学习英雄：Andrew Ng 采访 Andrej Karpathy




深度学习英雄：Andrew Ng 采访 Andrej Karpathy

在接受 Andrew Ng 采访时，Andrej Karpathy 通过与 Geoff Hinton 一起上课讨论了他对深度学习的介绍，以及他如何成为 ImageNet 图像分类竞赛的人类基准。当软件深度网络超越他的表现时，他谈到了令人惊讶的结果，并决定通过创建在线课程将其传授给其他人。 Karpathy 还讨论了 AI 的未来，以及该领域可能如何分裂成两条轨迹：应用 AI 和 AGI。他建议那些想进入深度学习领域的人通过从头开始实施一切来建立对整个堆栈的全面理解。

  • 00:00:00 在本节中，Andrej Karpathy 讲述了他是如何在多伦多大学读本科期间与 Geoff Hinton 一起上课时第一次对深度学习产生兴趣的。他还讨论了他如何成为 ImageNet 图像分类竞赛的人类基准，并创建了一个 Javascript 界面来了解基准如何与人类能力进行比较。他描述了对来自一千个类别的图像进行分类的挑战，以及 ImageNet 数据集的三分之一是狗的令人惊讶的认识，导致花费异常长的时间对狗物种进行训练。

  • 00:05:00 在本节中，Andrej Karpathy 谈到当软件深度网络在某些任务上超过他的表现时感到惊讶。他讨论了这项技术的变革性，并决定通过创建在线课程来向其他人传授这项技术。理解这项技术的能力以及它每天都在变化的事实让学生们兴奋不已。 Karpathy 还谈到了深度学习领域如何快速发展以及该技术变得多么普遍。他惊讶于它不仅适用于 ImageNet，而且适用于微调和迁移学习。他还对无监督学习如何仍未实现许多研究人员希望的承诺感到惊讶。

  • 00:10:00 在本节中，Karpathy 讨论了 AI 的未来，指出该领域可能会分为两个轨道。第一个是应用人工智能，涉及使用神经网络进行有监督和可能无监督的学习，另一个是通用人工智能，它专注于创建一个单一的神经网络，它是一个完整的动力系统。他认为将 AI 分解成各个部分再组合在一起是不正确的，而是提倡使用单个神经网络作为一个整体 agent 来创建可以优化权重并获得智能行为的目标。当被问及对那些想进入深度学习领域的人的建议时，Karpathy 鼓励通过从头开始实现所有内容来建立对整个堆栈的全面理解，而不是仅仅使用像 TensorFlow 这样的框架。
 

深度学习英雄：吴恩达采访 Apple 人工智能研究总监 Ruslan Salakhutdinov




深度学习英雄：吴恩达采访 Apple 人工智能研究总监 Ruslan Salakhutdinov

Apple 人工智能研究总监 Ruslan Salakhutdinov 讨论了深度学习的演变、训练生成模型和无监督学习的挑战，以及深度学习研究中激动人心的前沿。他还鼓励研究人员探索不同的方法，不要害怕创新。Salakhutdinov 强调了构建基于对话的系统和能够智能阅读文本的系统的重要性，以及实现更像人类学习能力的最终目标。

  • 00:00:00 在本节中，Ruslan Salakhutdinov 讨论了他是如何开始深度学习的，首先是与 Jeff Hinton 的一次偶然会面，后者向他介绍了使用限制性玻尔兹曼机和监督训练的概念。在 Hinton 的帮助和指导下，Salakhutdinov 与人合着了第一篇关于受限玻尔兹曼机的论文，这有助于推动神经网络和深度学习的复兴。然而，随着计算能力的提高，研究人员意识到不需要使用限制性玻尔兹曼机进行预训练，并且能够使用传统的优化技术直接训练深度模型。

  • 00:05:00 在本节中，Ruslan Salakhutdinov 讨论了深度学习的演变以及早期计算机速度较慢时预训练的重要性。他还提到了与监督学习相比，训练生成模型和无监督学习的挑战。虽然使用变分自动编码器和能量模型等技术在生成建模方面取得了进展，但他认为需要找出更有效和可扩展的方法来训练无监督模型。他强调，对于那些对深度学习感兴趣的人来说，这是一个重要的探索领域。

  • 00:10:00 在本节中，Apple 人工智能研究总监 Ruslan Salakhutdinov 讨论了在机器学习中利用大量未标记数据的挑战，以及对希望进入该领域的人的建议。他鼓励研究人员尝试不同的方法并且不要害怕创新，并举了一个例子来说明他和他的团队如何解决优化神经网络中高度非凸系统的难题。 Salakhutdinov 还讨论了攻读博士学位与加入深度学习领域公司的利弊，强调学术界和工业界都为研究和开发提供了令人兴奋的机会。

  • 00:15:00 在本节中，Ruslan Salakhutdinov 讨论了深度学习研究中激动人心的前沿领域，特别是在深度强化学习、推理和自然语言理解以及能够从更少的示例中学习等领域。他指出，在虚拟世界中训练 AI 已经取得了很大进展，现在的挑战在于扩展这些系统、开发新算法以及让 AI 代理相互通信。此外，他还强调了构建基于对话的系统和能够智能阅读文本的系统的重要性。最后，他提到了实现更像人类学习能力的目标。
 

深度学习英雄：吴恩达采访 Yoshua Bengio




深度学习英雄：吴恩达采访 Yoshua Bengio

Andrew Ng 采访了 Yoshua Bengio，他们讨论了与深度学习相关的各种话题。 Bengio 讲述了他是如何进入深度学习的，以及他对神经网络的思考是如何演变的。他还讨论了他在为单词序列开发单词嵌入和使用自动编码器堆栈进行深度学习方面的贡献。此外，Bengio 还强调了无监督学习的重要性以及他对理解深度学习与大脑之间关系的兴趣。Bengio 强调了理解深度学习科学和适当研究以应对重大挑战的必要性。最后，他们关注深度学习职业需要扎实的数学基础知识以及继续教育的重要性。

  • 00:00:00 在本节中，Yoshua Bengio 讨论了他是如何进入深度学习的，从他对科幻小说的热爱和 1985 年的研究生学习开始。他谈到了当他发现思考人类智能的世界时的兴奋以及如何它可能与人工智能有关。 Bengio 还反思了他对神经网络的思考是如何演变的，从最初的实验到发展理论和坚实的理由来证明为什么某些技术（例如反向传播和深度）如此有效。此外，他还谈到了 ReLU 函数比他最初认为必要的传统平滑非线性函数效果更好的惊喜。 Bengio 强调了分布式信息在许多神经元激活过程中的重要性，以及它如何与让他对神经网络感到兴奋的最初见解联系起来。

  • 00:05:00 在本节中，Yoshua Bengio 讨论了他在使用神经网络解决维数灾难以及在许多随机变量上创建高效联合分布方面的早期工作。他还提到了他为单词序列创建单词嵌入的工作，这允许对具有相似语义的单词进行泛化。 Bengio 继续提到他的研究小组的其他几项重要发明或想法，包括使用自动编码器堆栈开发深度学习以及在神经机器翻译中使用注意力。他还讨论了他对理解深度学习与大脑之间关系的兴趣，以及他在开发类似于反向传播的系统方面所做的工作，该系统可以由大脑实现。

  • 00:10:00 在本节中，Yoshua Bengio 谈到了他从 Geoff Hinton 关于大脑如何工作的想法和时间代码对它的潜在用途的想法中得到的启发。他讨论了无监督学习的重要性，因为它允许构建心智模型来解释没有标记数据的世界。他还谈到了他将无监督学习和强化学习相结合，以通过探索和尝试控制事物来更好地理解相互分离的基本概念。无监督学习研究的问题在于，有许多不同的方法可以解决这个问题，并且没有很好的定义什么构成了一个好的目标函数来衡量一个系统是否运行良好。最后，Yoshua 表示，深度学习的现状与他希望达到的水平相去甚远，他有雄心壮志将其提升到一个新的水平。

  • 00:15:00 在本节中，Yoshua Bengio 谈到了他对专注于计算机如何观察世界并与世界互动以发现其工作原理的基本原理的研究感到兴奋。他讨论了此类研究将如何让人们更好地了解世界是如何运作的，并希望它将有助于应对迁移学习和联合国家问题等重大挑战。 Bengio 指出，对较小问题的实验可以导致更快的研究周期和更好的理解，最终可以扩大规模。他强调了解深度学习的重要性，以及分享深度学习科学思想的必要性。

  • 00:20:00 在本节中，深度学习领域的知名人物 Yoshua Bengio 讨论了理解感兴趣的现象和进行适当研究的重要性，而不是仅仅努力击败基准或竞争对手。对于希望进入该领域的个人，他强调需要实践，包括阅读、编码和实验。 Bengio 表示，虽然强大的计算机科学和数学背景会有所帮助，但之前没有机器学习知识的人仍然可以在几个月内学习并精通。

  • 00:25:00 在这段摘录中，Andrew Ng 和 Yoshua Bengio 讨论了在从事深度学习职业时拥有强大的数学基础知识（例如代数、优化和微积分）的重要性。 Bengio 强调继续教育和持续学习的必要性，以便在该领域保持最新状态。两人都对有机会与他人分享他们的见解和知识表示感谢。
 

深度学习英雄：吴恩达采访 Pieter Abbeel



深度学习英雄：吴恩达采访 Pieter Abbeel

Pieter Abbeel 在接受 Andrew Ng 采访时讨论了深度强化学习的挑战和潜力。他指出需要在探索、信用分配和生成负面示例方面进行进一步的工作。Abbeel 还强调了安全问题以及在教机器人自主生活时收集安全学习数据的重要性。他建议个人使用流行的框架进行实践实践，并建议接受经验丰富的专业人士指导的好处。此外，他建议需要强化学习来为机器提供成就目标，并指出在添加强化学习组件之前进行行为克隆和监督学习的重要性。

  • 00:00:00 在本节中，Pieter Abbeel 讲述了他最初是如何因为对数学和物理的兴趣而对工程学产生兴趣的，以及这最终如何引导他转向机器学习和深度强化学习。他谈到了深度强化学习中仍然存在的挑战，例如探索和信用分配，以及如何仍然需要生成反例来改进这些系统。他还指出，深度强化学习的成功主要是在较短的时间范围内，该领域仍有许多工作要做，以使系统能够在更长的时间范围内进行推理。

  • 00:05:00 在采访的这一部分，Pieter Abbeel 讨论了教机器人或软件代理自主生活的挑战，指出安全带来了一系列问题，包括安全学习数据的收集。他还分享了他对积极探索和加强学习算法以提出可以在未来取代人类设计的更有效机制的兴奋。最后，他为那些追求人工智能职业的人提供了建议，强调该领域提供了巨大的就业机会，并建议使用在线学习材料，例如 Andrew Ng 和伯克利的深度学习课程作为入门课程。

  • 00:10:00 在本节中，Pieter Abbeel 讨论了如何开始学习深度学习和机器学习，强调了使用 TensorFlow 和 PyTorch 等流行框架进行动手实践和实验的重要性。他还讨论了攻读博士学位与在大公司找到工作的利弊，强调了接受经验丰富的专业人士指导的优势。 Abbeel 随后继续描述深度强化学习的一些成功案例，例如机器人从头开始学习运行或玩经典的 Atari 游戏，但指出下一步是弄清楚如何将这些学到的知识重新用于未来的任务。他还预测，在不久的将来，许多企业将依赖人工协助下的监督学习。

  • 00:15:00 在本节中，Pieter Abbeel 建议使用强化学习为机器提供成就目标，而不仅仅是匹配人类行为。在添加强化学习组件之前，将使用行为克隆或监督学习对机器进行训练。这种方法很耗时，但在开发可以实现既定目标的机器方面很有效。单独的强化学习可能是危险且耗时的。
1...34567891011121314151617...74
新评论
原因: