文章 "神经网络变得简单(第 81 部分):上下文引导运动分析(CCMR)"

 

新文章 神经网络变得简单(第 81 部分):上下文引导运动分析(CCMR)已发布:

在以前的工作中,我们总是评估环境的当前状态。与此同时,指标变化的动态始终保持在“幕后”。在本文中,我打算向您介绍一种算法,其允许您评估 2 个连续环境状态数据之间的直接变化。

作为本系列的一部分,我们领略过各种分析环境状态的方法,以及用于获取数据的算法。我们用卷积模型在历史价格走势数据中找到稳定的形态。我们还用到关注度模型来寻找不同局部环境状态之间的依赖性。我们总是将环境状态评估为某个时间点的某个横截面。然而,我们从未评估过环境指标的动态。我们假设模型在分析和比较环境条件的过程中,会对关键变化加以某种关注。但我们没有用到这种动态的明确定量表示。

然而,在计算机视觉领域,存在一个基本问题,即光流估测。该问题的解所提供信息关乎场景中对象的移动。为了解决这个问题,已经提出了许多有趣的算法,且现在被广泛使用。光流估测结果用于从自动驾驶到目标跟踪、以及监控的各个领域。

当前大多数方式都用到卷积神经网络,但它们缺乏全局上下文。这样就很难推断对象遮挡或大位移。一种替代方式是使用变换器和其它关注度技术。它们令您能够远远超出经典 CNN 的固定感知场。

论文《CCMR:通过由粗略到精细的上下文引导运动推理进行高分辨率光流估测》中提出了一种特别有趣的方法,题为 CCMR。这是一种光流估测方式,结合了面向关注度的运动聚合概念方法,和高分辨率多尺度方式的优点。CCMR 方法始终如一地将基于上下文的运动分组概念集成到高分辨率粗粒度估测框架之中。这允许详细的流场,其在遮挡区域中也可提供高精度。在此背景下,该方法的作者提出了一种两阶段的运动分组策略,其中首先计算全局自我关注度上下文特征,并用它们跨所有尺度迭代引导运动特征。因此,关于基于 XCiT 的运动上下文导向推理提供了所有粗粒度尺度的处理。该方法作者的实验证明了所提议方法的强大性能,及其基本概念的优势。

作者:Dmitriy Gizlyk