文章 "第三代神经网络：深度网络" - 页 4 1234567891011...17 新评论 Yury Reshetov 2014.12.09 21:59 #31 vlad1949:...独行侠（可能是天才程序员）的发展还没有实际实现。 就是这样。第一个版本发布在 code.google.com。该项目名为libvmr。到目前为止只能在 Java 上使用。稍后我将把它移植到其他语言，包括 mql5。vlad1949：...我有个建议：在 Reshetov 的博客或单独的主题（如果他组织的话）中讨论他的主题。 这里欢迎大家就文章主题 "深度神经网络 "发表意见和看法。 深度学习也是可能的。例如，为了改进分类，比如图像分类，那么可以使用不变性 来训练自动编码器。例如，我们需要区分两类图像。让它们成为带有这些指标图像的金融工具图表。第一类是报价向上增长之前的图表。第二类是报价向下增长前的图表。在这种情况下，在训练自动编码器时，有必要为第一类提供不变的图像输入，而为第二类提供反向图像，即负值图像。此外，用反向传播算法训练好的自动编码器可以组合成一个级联，并在输出端放置一个用 VMR 训练好的神经元。 TheXpert 2014.12.09 22:42 #32 Reshetov:如果你是对的，你那通过图灵测试的 "深邃 "智慧应该已经奴役了互联网，统治了世界。老实说，我真受不了你这么有主见。 Yury Reshetov 2014.12.10 17:31 #33 TheXpert:如果你是对的，你那通过图灵测试的 "深邃 "智慧，应该已经奴役了互联网，统治了世界。安德柳卡，别弄出太大动静。否则，传令兵们会听到图灵的事，醒悟过来，到那时，夺取世界统治权的行动就会结束。TheXpert: 老实说，我真受不了你这么有主见.......吃点镇静剂就没事了。在智力奴役之后，你会得到宇宙的十分之一，如果你不大声咆哮的话。 Vladimir Perervenko 2014.12.26 13:12 #34 写完这篇文章后，我就看到了 "深度学习 "领域 顶尖 研究人员之一 Yoshua Bengio等人的一本书的草稿 ，http://www.iro.umontreal.ca/~bengioy/dlbook/。 书中涉及大量数学知识，但同时也给出了该主题从基础到高级的清晰定义和基本概念。 以下是自由翻译的一些摘录。 第 10 节"无监督学习和迁移学习" 中，作者 认为，虽然教师指导下的学习一直是 近期深度学习工业成功的 主力 ，但未来进步的一个关键因素可能是在 没有教师 指导的情况 下对 表征 （图像？ ）进行无监督学习。）我们的想法是，有些表征可能比其他表征更有用（例如，从图像中对物体进行分类，或从语音中对音素进行分类）。 正如本文所论证的那样，这涉及到学习表征，以便以系统的方式选择最佳表征，即：通过优化表征特征，使表征更有价值。 通过优化表示原始数据的特征 其表征и表征. 在本文中 ，我们回顾了表征 无监督学习的一些基本构件（ AutoEncoder 和 RBM） ，以及将它们组合起来形成深度表征（Stacked AutoEncoder 和 Stacked RBM） 的 非常成功的方法，这些方法都经过了 贪婪的 分层无监督预训练 。 随后，在 使用教师训练深度网络 （微调）时 ，我们 训练表征的 目标是选择 最适合 预测输入所代表 目标 的任务的 表征。 如果我们有许多任务，而不是一个任务，这些任务可能有 共同的表征 或 部分表征 ，那会怎样 呢？(这就是多任务学习） "迁移学习和领域适应 知识迁移 和领域适应指的是， 在某些 条件下 （即 P1 分布）学习到的 知识 被用于提高在其他条件下（如 P2 分布）的泛化能力。 在知识迁移的情况下，我们认为任务 是 不同的，但解释 P1 分布的 许多因素与学习 P2 时必须把握的变化相关。这通常是在监督 学习 的背景下理解的、 其中输入ы 是相同的 相同ы输入相同，但目标可能不同的性质不同、 例如，学习第一个 和第二个 案例 中不同的 视觉类别。如果第一个 样本 （取自 P1） 中的数据多得多 ， 那么在处理 P2 中的例子时， 学习有助于快速归纳的表征可能会有所帮助。 例如，许多视觉类别 都有共同的 低级概念（边缘 和视觉形状）、 几何变化 的效果 、光线变化等。 一般来说， 当存在对 不同 环境或任务有用的特征 （即存在共同的基本因素）时，就 可以通过学习表征 实现知识迁移、 多任务学习 和领域 适应。 在 领域适应的情况下，我们认为要解决的任务是相同的，但输入集是不同的。 例如，如果我们预测与 互联网 上的文字评论相关的情感（正面 或负面） ，那么 第一个样本可能参考消费者 对书籍、视频和音乐的 评论，而第二个 样本集 可能参考电视 或其他产品。 虽然多任务学习通常被认为是在有教师指导的情况下进行的学习，但迁移学习这一更为普遍的概念也适用于无监督学习和强化学习。 迁移学习的一种极端形式是单次学习，甚至是零次学习，即只 提供或不提供新任务的示例。 简而言之，有两个重要结论。 对于预训练的神经网络深度学习，谈论单个预测因子的重要性毫无意义。重要的是集合的内部结构。这样就可以在没有教师的训练阶段提取 深度表征（图像），并在有教师的训练阶段确定它们与手头任务的对应程度。 预训练的一个积极副作用是， 提取的表征非常适合 神经网络 解决 另一项任务，而不是我们 在第二阶段 教给 它的 任务 。 更具体地说， 如果你 仔细阅读这 篇文章 ， 就会发现 我们训练神经网络通过呈现之字形信号来对输入进行分类。因此， 准确率 结果 并不令人印象深刻。但是， 使用 训练有素的 神经网络 预测信号得到的总余额 结果却 高于 使用之字形信号得到的 结果！ 为了评估预测的效率，我引入了一个系数 K。 例如， 对 ZZ 而言，它等于 17，而对网络预测而言，根据工具的不同，它从 25 到 35 不等 （在 TF M30 上）。 这就是知识 转移（ 迁移学习）--在对一组数据进行学习时，我们会得到多个 不同 任务的 解决方案 。 这是一个极具前景和发展潜力的课题。 为了完成本文开始的工作，我将在下一篇文章中举例说明如何 使用进化（遗传）算法优化 DN SAE 参数 。 我没有考虑使用 DN SRBM。 在我的实践中，它还没有显示出稳定的结果。 成功案例 深度神经网络 (第 IV 部)。创建, 第三代神经网络：深度网络 采用栈式 RBM 的深度神经网络。自训练, 自控制 Alexey Subbotin 2014.12.31 17:17 #35 vlad1949:写完这篇文章后，我就看到了 "深度学习 "领域 顶尖 研究人员之一 Yoshua Bengio等人的一本书的草稿 ，http://www.iro.umontreal.ca/~bengioy/dlbook/。书中涉及大量数学知识，但同时也给出了该主题从基础到高级的清晰定义和基本概念。老实说，当我读到这篇文章时，我的感觉是有点奇怪，有点云里雾里，但我把它当作一种 "堆砌 "的方法。后来，我读了链接上的书。唉，这部著作中介绍的几乎所有内容都是咀嚼已久的观点，被某个人当作新奇的东西来介绍。现在，我这个数学家和研究工程师只想说一句话：这个课题是为了从国家预算中榨取钱财，唉。顺便说一句，书中没有数学（一些自己的数学，而不是从教科书上抄来的）。只有一些公式形式的咒语....。至少在这个方向出现一些真正的新想法之前，我看不到总体的科学前景。但这首先需要的是理论 研究（没有人在做这项工作），而不是实用魔法。到目前为止，这些人显然还没有真正明白他们想要什么。 Yury Reshetov 2014.12.31 17:29 #36 alsu: 但这首先需要的是理论 研究（没有人在做这项工作），而不是实用魔术。显然，到目前为止，这些人自己并不真正明白他们想要什么。所以，你想禁止 CS 的应用，让理论书呆子去做吗？即使没有书呆子，很显然，只有最清晰的信号才会通过自动编码器或 MB 泄漏出来，其他一切都会被抹去，变得无影无踪。 Alexey Subbotin 2014.12.31 17:44 #37 Reshetov:所以你想禁止 CS 应用，让理论书呆子们反对它？ 当然不是。我只是在尽我所能打击用萨满教取代科学（不管是应用科学还是理论科学）的企图。而这正是 NS 领域正在发生的事情，事实上，NS 在应用和理论两个领域已经困顿了十年。 Yury Reshetov 2014.12.31 18:05 #38 alsu: 当然不是。我只是在尽我所能与用萨满教取代科学的企图作斗争，不管是应用科学还是理论科学。而这正是 NS 领域正在发生的事情，实际上该领域在应用和理论两方面都陷入困境已有十年之久。科学的问题是什么？谁禁止机器学习理论化？另一个原因是，所有这些理论都可以在短时间内被推翻，因为有开放的应用领域样本库，也有 R 或 Weka 等现成的研究软件包，任何人都可以借助它们轻松推翻任何理论假设。正是因为缺乏问题，机器学习才会在短裤中成长起来，当时只有简单的理论，但在算法通用性领域的实际成果并不突出。随着计算资源 的普及，应用科学家将理论书呆子挤出了这一领域。 Alexey Subbotin 2014.12.31 18:30 #39 Reshetov:科学有什么问题？谁禁止对机器学习进行理论研究？另一个原因是，所有这些理论都可以在短时间内被推翻，因为有来自应用领域的开放样本库，还有 R 或 Weka 等现成的研究软件包，任何人都可以借助它们轻松推翻任何理论假设。正是因为缺乏问题，机器学习才会在短裤中成长起来，当时只有简单的理论，但算法通用性领域的实际成果还不在基座之上。计算资源 一普及，应用科学家们就把理论书呆子挤出了这个领域。我们的分歧到底在哪里？应用科学家取代书呆子自然是件好事。此外，随着计算资源 的普及，许多以前必须从理论上思考的问题变得可以解决了。但这并不意味着计算资源可以解决所有问题。广泛的方式并非永恒，它的可能性已经走到尽头。因此，我们迟早都要回到植物学。 Vladimir Perervenko 2015.01.01 08:42 #40 祝大家新年快乐！祝好运 1234567891011...17 新评论 您错过了交易机会： 免费交易应用程序 8,000+信号可供复制 探索金融市场的经济新闻 注册 登录 拉丁字符（不带空格） 密码将被发送至该邮箱 发生错误 使用 Google 登录 您同意网站政策和使用条款 如果您没有帐号，请注册 可以使用cookies登录MQL5.com网站。 请在您的浏览器中启用必要的设置，否则您将无法登录。 忘记您的登录名/密码？ 使用 Google 登录
vlad1949:
...独行侠（可能是天才程序员）的发展还没有实际实现。
就是这样。第一个版本发布在 code.google.com。该项目名为libvmr。
到目前为止只能在 Java 上使用。稍后我将把它移植到其他语言，包括 mql5。
vlad1949：
...
我有个建议：在 Reshetov 的博客或单独的主题（如果他组织的话）中讨论他的主题。
这里欢迎大家就文章主题 "深度神经网络 "发表意见和看法。
深度学习也是可能的。
例如，为了改进分类，比如图像分类，那么可以使用不变性 来训练自动编码器。例如，我们需要区分两类图像。让它们成为带有这些指标图像的金融工具图表。第一类是报价向上增长之前的图表。第二类是报价向下增长前的图表。在这种情况下，在训练自动编码器时，有必要为第一类提供不变的图像输入，而为第二类提供反向图像，即负值图像。
此外，用反向传播算法训练好的自动编码器可以组合成一个级联，并在输出端放置一个用 VMR 训练好的神经元。
Reshetov:
如果你是对的，你那通过图灵测试的 "深邃 "智慧应该已经奴役了互联网，统治了世界。
老实说，我真受不了你这么有主见。
如果你是对的，你那通过图灵测试的 "深邃 "智慧，应该已经奴役了互联网，统治了世界。
安德柳卡，别弄出太大动静。否则，传令兵们会听到图灵的事，醒悟过来，到那时，夺取世界统治权的行动就会结束。
老实说，我真受不了你这么有主见.......
吃点镇静剂就没事了。在智力奴役之后，你会得到宇宙的十分之一，如果你不大声咆哮的话。
写完这篇文章后，我就看到了 "深度学习 "领域 顶尖 研究人员之一 Yoshua Bengio等人的一本书的草稿 ，http://www.iro.umontreal.ca/~bengioy/dlbook/。
书中涉及大量数学知识，但同时也给出了该主题从基础到高级的清晰定义和基本概念。
以下是自由翻译的一些摘录。
第 10 节"无监督学习和迁移学习" 中，作者 认为，虽然教师指导下的学习一直是 近期深度学习工业成功的 主力 ，但未来进步的一个关键因素可能是在 没有教师 指导的情况 下对 表征 （图像？ ）进行无监督学习。）我们的想法是，有些表征可能比其他表征更有用（例如，从图像中对物体进行分类，或从语音中对音素进行分类）。 正如本文所论证的那样，这涉及到学习表征，以便以系统的方式选择最佳表征，即：通过优化表征特征，使表征更有价值。 通过优化表示原始数据的特征 其表征и表征.
在本文中 ，我们回顾了表征 无监督学习的一些基本构件（ AutoEncoder 和 RBM） ，以及将它们组合起来形成深度表征（Stacked AutoEncoder 和 Stacked RBM） 的 非常成功的方法，这些方法都经过了 贪婪的 分层无监督预训练 。
随后，在 使用教师训练深度网络 （微调）时 ，我们 训练表征的 目标是选择 最适合 预测输入所代表 目标 的任务的 表征。
如果我们有许多任务，而不是一个任务，这些任务可能有 共同的表征 或 部分表征 ，那会怎样 呢？(这就是多任务学习）
"迁移学习和领域适应
知识迁移 和领域适应指的是， 在某些 条件下 （即 P1 分布）学习到的
知识 被用于提高在其他条件下（如 P2 分布）的泛化能力。
在知识迁移的情况下，我们认为任务 是 不同的，但解释 P1 分布的 许多
因素与学习 P2 时必须把握的变化相关。这通常是在监督 学习 的背景下理解的、 其中输入ы 是相同的 相同ы输入相同，但目标可能不同的性质不同、 例如，学习第一个 和第二个 案例 中不同的 视觉类别。如果第一个 样本 （取自 P1） 中的数据多得多 ， 那么在处理 P2 中的例子时， 学习有助于快速归纳的表征可能会有所帮助。
例如，许多视觉类别 都有共同的 低级概念（边缘 和视觉形状）、 几何变化 的效果 、光线变化等。
一般来说， 当存在对 不同 环境或任务有用的特征 （即存在共同的基本因素）时，就 可以通过学习表征 实现知识迁移、 多任务学习 和领域 适应。
在 领域适应的情况下，我们认为要解决的任务是相同的，但输入集是不同的。 例如，如果我们预测与 互联网 上的文字评论相关的情感（正面 或负面） ，那么 第一个样本可能参考消费者 对书籍、视频和音乐的 评论，而第二个 样本集 可能参考电视 或其他产品。
虽然多任务学习通常被认为是在有教师指导的情况下进行的学习，但迁移学习这一更为普遍的概念也适用于无监督学习和强化学习。
迁移学习的一种极端形式是单次学习，甚至是零次学习，即只 提供或不提供新任务的示例。
简而言之，有两个重要结论。
对于预训练的神经网络深度学习，谈论单个预测因子的重要性毫无意义。重要的是集合的内部结构。这样就可以在没有教师的训练阶段提取 深度表征（图像），并在有教师的训练阶段确定它们与手头任务的对应程度。
预训练的一个积极副作用是， 提取的表征非常适合 神经网络 解决 另一项任务，而不是我们 在第二阶段 教给 它的 任务 。
更具体地说， 如果你 仔细阅读这 篇文章 ， 就会发现 我们训练神经网络通过呈现之字形信号来对输入进行分类。因此， 准确率 结果 并不令人印象深刻。但是， 使用 训练有素的 神经网络 预测信号得到的总余额 结果却 高于 使用之字形信号得到的 结果！ 为了评估预测的效率，我引入了一个系数 K。 例如， 对 ZZ 而言，它等于 17，而对网络预测而言，根据工具的不同，它从 25 到 35 不等 （在 TF M30 上）。
这就是知识 转移（ 迁移学习）--在对一组数据进行学习时，我们会得到多个 不同 任务的 解决方案 。
这是一个极具前景和发展潜力的课题。
为了完成本文开始的工作，我将在下一篇文章中举例说明如何 使用进化（遗传）算法优化 DN SAE 参数 。
我没有考虑使用 DN SRBM。 在我的实践中，它还没有显示出稳定的结果。
成功案例
写完这篇文章后，我就看到了 "深度学习 "领域 顶尖 研究人员之一 Yoshua Bengio等人的一本书的草稿 ，http://www.iro.umontreal.ca/~bengioy/dlbook/。
书中涉及大量数学知识，但同时也给出了该主题从基础到高级的清晰定义和基本概念。
老实说，当我读到这篇文章时，我的感觉是有点奇怪，有点云里雾里，但我把它当作一种 "堆砌 "的方法。后来，我读了链接上的书。唉，这部著作中介绍的几乎所有内容都是咀嚼已久的观点，被某个人当作新奇的东西来介绍。现在，我这个数学家和研究工程师只想说一句话：这个课题是为了从国家预算中榨取钱财，唉。
顺便说一句，书中没有数学（一些自己的数学，而不是从教科书上抄来的）。只有一些公式形式的咒语....。至少在这个方向出现一些真正的新想法之前，我看不到总体的科学前景。但这首先需要的是理论 研究（没有人在做这项工作），而不是实用魔法。到目前为止，这些人显然还没有真正明白他们想要什么。
所以，你想禁止 CS 的应用，让理论书呆子去做吗？
即使没有书呆子，很显然，只有最清晰的信号才会通过自动编码器或 MB 泄漏出来，其他一切都会被抹去，变得无影无踪。
所以你想禁止 CS 应用，让理论书呆子们反对它？
当然不是。我只是在尽我所能与用萨满教取代科学的企图作斗争，不管是应用科学还是理论科学。而这正是 NS 领域正在发生的事情，实际上该领域在应用和理论两方面都陷入困境已有十年之久。
科学的问题是什么？谁禁止机器学习理论化？
另一个原因是，所有这些理论都可以在短时间内被推翻，因为有开放的应用领域样本库，也有 R 或 Weka 等现成的研究软件包，任何人都可以借助它们轻松推翻任何理论假设。
正是因为缺乏问题，机器学习才会在短裤中成长起来，当时只有简单的理论，但在算法通用性领域的实际成果并不突出。随着计算资源 的普及，应用科学家将理论书呆子挤出了这一领域。
科学有什么问题？谁禁止对机器学习进行理论研究？
另一个原因是，所有这些理论都可以在短时间内被推翻，因为有来自应用领域的开放样本库，还有 R 或 Weka 等现成的研究软件包，任何人都可以借助它们轻松推翻任何理论假设。
正是因为缺乏问题，机器学习才会在短裤中成长起来，当时只有简单的理论，但算法通用性领域的实际成果还不在基座之上。计算资源 一普及，应用科学家们就把理论书呆子挤出了这个领域。
我们的分歧到底在哪里？应用科学家取代书呆子自然是件好事。此外，随着计算资源 的普及，许多以前必须从理论上思考的问题变得可以解决了。但这并不意味着计算资源可以解决所有问题。广泛的方式并非永恒，它的可能性已经走到尽头。因此，我们迟早都要回到植物学。