文章 "神经网络变得轻松（第十部分）：多目击者关注" 新评论 MetaQuotes 2021.03.16 10:08 新文章 神经网络变得轻松（第十部分）：多目击者关注已发布： 我们以前曾研究过神经网络中的自关注机制。 在实践中，现代神经网络体系结构会采用多个并行的自关注线程来查找序列元素之间的各种依存关系。 我们来研究这种方法的实现，并评估其对整体网络性能的影响。 自关注算法采用三个已训练的权重矩阵（Wq，Wk 和 Wv）。 矩阵数据用于获取 3 个实体：Query, Key 和 Value。 前两个实体定义了序列元素之间的配对关系，最后一个实体定义了所分析元素的上下文。 情况并非总是一目了然，这并非什么秘密。 与之对比，似乎在大多数情况下，一种状况可从不同的观点来阐释。 如此，根据选择的观点，结论可能完全相反。 重要的是要在这种情况下考虑所有可能的变体，并且只有在仔细分析后才能做出决策。 已经提议采用多目击者关注机制来解决这类问题。 每个“目击者”都有自己的见解，而决策则是由平衡投票制定。 多目击者关注体系结构意味着并行利用具有不同权重的多个自我关注线程，从而模仿针对某状况的多方分析。 若干自关注线程的操作结果被串联到一个张量之中。 通过将张量乘以 W0 矩阵来找到算法的最终结果，该矩阵的参数是在神经网络训练过程中选择的。 整个体系结构在变换器体系结构的编码器和解码器中取代了的“自关注”模块。 作者：Dmitriy Gizlyk 新评论 原因: 取消 您错过了交易机会： 免费交易应用程序 8,000+信号可供复制 探索金融市场的经济新闻 注册 登录 拉丁字符（不带空格） 密码将被发送至该邮箱 发生错误 使用 Google 登录 您同意网站政策和使用条款 如果您没有帐号，请注册 可以使用cookies登录MQL5.com网站。 请在您的浏览器中启用必要的设置，否则您将无法登录。 忘记您的登录名/密码？ 使用 Google 登录
新文章 神经网络变得轻松（第十部分）：多目击者关注已发布：
我们以前曾研究过神经网络中的自关注机制。 在实践中，现代神经网络体系结构会采用多个并行的自关注线程来查找序列元素之间的各种依存关系。 我们来研究这种方法的实现，并评估其对整体网络性能的影响。
自关注算法采用三个已训练的权重矩阵（Wq，Wk 和 Wv）。 矩阵数据用于获取 3 个实体：Query, Key 和 Value。 前两个实体定义了序列元素之间的配对关系，最后一个实体定义了所分析元素的上下文。
情况并非总是一目了然，这并非什么秘密。 与之对比，似乎在大多数情况下，一种状况可从不同的观点来阐释。 如此，根据选择的观点，结论可能完全相反。 重要的是要在这种情况下考虑所有可能的变体，并且只有在仔细分析后才能做出决策。 已经提议采用多目击者关注机制来解决这类问题。 每个“目击者”都有自己的见解，而决策则是由平衡投票制定。
多目击者关注体系结构意味着并行利用具有不同权重的多个自我关注线程，从而模仿针对某状况的多方分析。 若干自关注线程的操作结果被串联到一个张量之中。 通过将张量乘以 W0 矩阵来找到算法的最终结果，该矩阵的参数是在神经网络训练过程中选择的。 整个体系结构在变换器体系结构的编码器和解码器中取代了的“自关注”模块。
作者：Dmitriy Gizlyk