文章 "神经网络变得轻松（第八部分）：关注机制" 新评论 MetaQuotes 2021.03.03 08:40 新文章 神经网络变得轻松（第八部分）：关注机制已发布： 在之前的文章中，我们已经测试了组织规划神经网络的各种选项。 我们还研究了自图像处理算法中借鉴而来的卷积网络。 在本文中，我建议研究关注机制，它的出现为开发语言模型提供了动力。 分析烛条品种图表时，我们定义了趋势和倾向，并判定出它们的交易范围。 这意味着，我们从总体图中选择一些对象，然后将注意力集中在这些对象上。 我们知晓对象会影响未来的价格行为。 为了实现这种方法，早在 2014 年，开发人员就提出了第一种算法，该算法可以分析输入和输出序列元素[8] 之间的依赖性，并高亮显示。 所提议的算法称为“泛关注机制”。 最初提议将其用在递归网络机器翻译模型之中，以便解决长句子翻译中的长期记忆问题。 这种方式大大改善了之前研究的基于 LSTM 模块[ 4 ] 的递归神经网络的结果。 采用递归网络的经典机器翻译模型由两个模块组成：编码器和解码器。 第一个模块将源语言中的输入序列编码为上下文向量，第二个模块将结果上下文解码为目标语言中的单词序列。 当输入序列的长度递增时，第一个单词对最终句子上下文的影响会递减。 后果就是，翻译品质下降。 采用 LSTM 模块略微增加了模型的效能，但它们仍然有限。 一般性关注机制的作者建议采用附加层来累积输入序列的所有循环模块的隐藏状态。 进而，在序列解码期间，该机制应评估输入序列每个元素对输出序列当前字词的影响，并向解码器建议与上下文最相关的部分。 作者：Dmitriy Gizlyk 新评论 原因: 取消 您错过了交易机会： 免费交易应用程序 8,000+信号可供复制 探索金融市场的经济新闻 注册 登录 拉丁字符（不带空格） 密码将被发送至该邮箱 发生错误 使用 Google 登录 您同意网站政策和使用条款 如果您没有帐号，请注册 可以使用cookies登录MQL5.com网站。 请在您的浏览器中启用必要的设置，否则您将无法登录。 忘记您的登录名/密码？ 使用 Google 登录
新文章 神经网络变得轻松（第八部分）：关注机制已发布：
在之前的文章中，我们已经测试了组织规划神经网络的各种选项。 我们还研究了自图像处理算法中借鉴而来的卷积网络。 在本文中，我建议研究关注机制，它的出现为开发语言模型提供了动力。
分析烛条品种图表时，我们定义了趋势和倾向，并判定出它们的交易范围。 这意味着，我们从总体图中选择一些对象，然后将注意力集中在这些对象上。 我们知晓对象会影响未来的价格行为。 为了实现这种方法，早在 2014 年，开发人员就提出了第一种算法，该算法可以分析输入和输出序列元素[8] 之间的依赖性，并高亮显示。 所提议的算法称为“泛关注机制”。 最初提议将其用在递归网络机器翻译模型之中，以便解决长句子翻译中的长期记忆问题。 这种方式大大改善了之前研究的基于 LSTM 模块[ 4 ] 的递归神经网络的结果。
采用递归网络的经典机器翻译模型由两个模块组成：编码器和解码器。 第一个模块将源语言中的输入序列编码为上下文向量，第二个模块将结果上下文解码为目标语言中的单词序列。 当输入序列的长度递增时，第一个单词对最终句子上下文的影响会递减。 后果就是，翻译品质下降。 采用 LSTM 模块略微增加了模型的效能，但它们仍然有限。
一般性关注机制的作者建议采用附加层来累积输入序列的所有循环模块的隐藏状态。 进而，在序列解码期间，该机制应评估输入序列每个元素对输出序列当前字词的影响，并向解码器建议与上下文最相关的部分。
作者：Dmitriy Gizlyk