文章 "神经网络变得简单（第 77 部分）：交叉协方差变换器（XCiT）" 新评论 MetaQuotes 2024.11.21 16:04 新文章 神经网络变得简单（第 77 部分）：交叉协方差变换器（XCiT）已发布： 在我们的模型中，我们经常使用各种关注度算法。而且，可能我们最常使用变换器。它们的主要缺点是资源需求。在本文中，我们将研究一种新算法，它可以帮助降低计算成本，而不会降低品质。 变换器在分析解决各种序列问题方面展现出巨大的潜力。自关注操作是变换器的基础，它为序列中所有令牌之间提供全局互动。这令评估整个分析序列中的相互依赖关系成为可能。然而，在计算时间和内存占用方面带来了复杂度二次方暴增，令该算法难以应用于长序列。 为了解决这个问题，论文《XCiT：交叉协方差图像变换器》的作者推荐了一种“转置”版本的自关注，其操作经由特征通道，而非令牌，其中互动基于主键和查询之间的交叉协方差矩阵。结果是交叉协方差关注度（XCA），令牌数量具有线性复杂性，允许高效处理大数据序列。基于 XCA 的交叉协方差图像变换器（XCiT） 结合了传统转换器的精度和卷积架构的可扩展性。该论文通过实验确认了 XCiT 的有效性和普适性。所讲述的实验在几个视觉基准测试中展现了出色的结果，包括图像分类、对象检测、和实例分段。 作者：Dmitriy Gizlyk 新评论 您错过了交易机会： 免费交易应用程序 8,000+信号可供复制 探索金融市场的经济新闻 注册 登录 拉丁字符（不带空格） 密码将被发送至该邮箱 发生错误 使用 Google 登录 您同意网站政策和使用条款 如果您没有帐号，请注册 可以使用cookies登录MQL5.com网站。 请在您的浏览器中启用必要的设置，否则您将无法登录。 忘记您的登录名/密码？ 使用 Google 登录
新文章 神经网络变得简单（第 77 部分）：交叉协方差变换器（XCiT）已发布：
在我们的模型中，我们经常使用各种关注度算法。而且，可能我们最常使用变换器。它们的主要缺点是资源需求。在本文中，我们将研究一种新算法，它可以帮助降低计算成本，而不会降低品质。
变换器在分析解决各种序列问题方面展现出巨大的潜力。自关注操作是变换器的基础，它为序列中所有令牌之间提供全局互动。这令评估整个分析序列中的相互依赖关系成为可能。然而，在计算时间和内存占用方面带来了复杂度二次方暴增，令该算法难以应用于长序列。
为了解决这个问题，论文《XCiT：交叉协方差图像变换器》的作者推荐了一种“转置”版本的自关注，其操作经由特征通道，而非令牌，其中互动基于主键和查询之间的交叉协方差矩阵。结果是交叉协方差关注度（XCA），令牌数量具有线性复杂性，允许高效处理大数据序列。基于 XCA 的交叉协方差图像变换器（XCiT） 结合了传统转换器的精度和卷积架构的可扩展性。该论文通过实验确认了 XCiT 的有效性和普适性。所讲述的实验在几个视觉基准测试中展现了出色的结果，包括图像分类、对象检测、和实例分段。
作者：Dmitriy Gizlyk