机器学习和神经网络 - 页 34

[MetaQuotes]

CS 198-126：第 13 讲 - 序列建模简介

CS 198-126：第 13 讲 - 序列建模简介

在这个关于序列建模的讲座中，演讲者介绍了表示序列数据和实现合理数量的时间步而不丢失太多信息的重要性。循环神经网络 (RNN) 被讨论为解决这些挑战的首次尝试，它能够处理不同长度的输入和输出。然而，RNN 的问题阻碍了它们的最佳性能。引入文本嵌入作为表示文本数据的更有效方式，而不是使用高维单热向量。此外，位置编码的概念被讨论为一种使用连续值而不是二进制值表示序列中元素顺序的方法。

• 00:00:00 在本节中，演讲者介绍了序列模型并解释了它们为何重要的背后动机。他们特别提到了各种类型的序列数据，例如时间序列数据、音频和文本，以及它们在计算机视觉和自然语言处理模型中的常用方式。演讲者还讨论了表示序列数据和在不丢失太多信息的情况下实现合理数量的时间步长的重要性。最终，我们的目标是创建语言模型，可以对从互联网上收集的大量文本数据进行训练，这些文本数据表示为单热向量的标记化序列。
  
  
• 00:05:00 在本节中，讲师讨论了将文本数据表示为单热向量的挑战，以及字典中每个单词都有一个单热向量的低效率。序列建模的目标是处理任意长的数据和不同长度的输入和输出。讲师提供了不同范例的示例，包括情感分析和翻译，它们需要处理可变长度的输出。此外，在分析文本数据时，必须考虑句子中单词之间的远距离关系。
  
  
• 00:10:00 在本节中，视频讨论了序列建模的挑战，这需要连接句子不同部分的想法并处理跨序列的长距离关系。递归神经网络 (RNN) 是作为解决这些挑战的首次尝试而引入的，它们确实有效，但由于存在阻止它们最佳执行的问题，因此效果不是特别好。该视频解释说，RNN 使用在每个序列元素之间共享的单元格值，每个单元格具有完全相同的权重来处理输入序列。此外，RNN 生成的输出可以解释为从概率到翻译的任何内容。
  
  
• 00:15:00 在本节中，我们将了解递归神经网络 (RNN) 的基本形式，其中我们采用相同长度的序列元素，在其上做一个线性层，获取前一个时间步的输出和此时step的输入做一个矩阵乘法。然后我们将它们堆叠在一起或将它们加在一起以产生输出。 tahn 函数用于确保输出在范围内，并防止值在前向或反向传播过程中爆炸或变得太小。通过堆叠多层，我们可以开始学习更复杂的功能。
  
  
• 00:20:00 在讲座的这一部分，讲师讨论了创建序列模型的挑战和解决方案。通过对每个单元格的输出使用 tanh 函数，值保持在 -1 和 1 之间，这避免了在重复矩阵乘法期间可能导致问题的大值。该模型可以处理任意输入大小、可变输出长度和长距离关系。然后，讲师介绍嵌入作为一种更有效的表示文本数据的方式，而不是使用 100,000 维的单热向量。探索二进制和三进制编码等想法作为可能的解决方案。
  
  
• 00:25:00 在本节中，演讲者介绍了文本嵌入的概念以及如何将其用于序列建模。不是对字典中的每个单词使用 one-hot 向量，而是学习一个较小的表示单词的向量并将其输入模型。这种表示的压缩允许减少维度并创建类似于代码簿的嵌入向量。希望这些嵌入能够对单词进行智能表示，“猫”和“狗”等相似的单词相对较近，而“猫”和“草”等相关性较小的单词则相距较远。虽然不能保证这种邻近关系存在，但它可以用来更容易地理解情绪分析和其他模型如何受到特定单词选择的影响。
  
  
• 00:30:00 在本节中，讲师讨论了在嵌入向量的代码本上使用梯度下降将语义相似的词组合在一起。他还提到了位置编码的概念，其中经过的时间或序列中的位置对于某些域可能很重要，并讨论了一些方法来表示一个热向量的位置，然后再继续讨论有效的方法，称为位置编码。
  
  
• 00:35:00 在讲座的这一部分，讲师讨论了在序列建模中使用时间戳来指示我们在序列中走了多远的想法。但是，使用二进制编码作为时间戳对于较大的序列长度可能会受到限制，因为它只能表示有限数量的唯一时间步长。为了解决这个问题，讲师建议使用连续模拟，将二进制编码替换为不同频率的正弦波和余弦波。这样，我们仍然可以使用更小的向量来表示更多的独特时间步长。
  
  
• 00:40:00 在本节中，将讨论位置编码的概念，这是一种使用连续值而不是二进制值来表示序列中元素顺序的方法。该过程涉及评估每个序列元素在不同频率下的正弦和余弦函数，然后将它们绘制成图形以创建二进制位置编码的连续模拟。生成的图形在高值和低值之间交替，类似于二进制版本，并且可以附加到序列中的每个元素。位置编码可能有点令人困惑，但讲座建议查看幻灯片并试验该概念以更好地理解。

[MetaQuotes]

CS 198-126：第 14 讲 - 变形金刚和注意力

CS 198-126：第 14 讲 - 变形金刚和注意力

这个关于 Transformers 和 Attention 的视频讲座涵盖了 attention 背后的概念和动机、它与 Transformers 的关系，以及它在 NLP 和视觉中的应用。讲师讨论了软注意力和硬注意力、自注意力、局部注意力和多头注意力，以及它们如何在 Transformer 架构中使用。他们还解释了键值查询系统、残差连接和层归一化的重要性，以及应用线性层从输入嵌入中获取 kqv 的过程。最后，讲座涵盖了位置嵌入和 CLS 标记在序列到向量示例中的使用，同时强调了注意力机制的计算效率和可扩展性。

• 00:00:00 在视频讲座的这一部分，目标是解释注意力背后的动机以及它与 Transformer 模型的关系。 Attention 是现代 Vision Transformers 的基石，需要将精力和注意力集中在某个位置。讲师解释说，注意力使用查询键值系统来做出关于要关注哪些事物的更明智的决定。现代注意力系统基于人类的阅读方式，他们专注于特定的连续单词并模糊其他所有内容。
  
  
• 00:05:00 在本节中，讲师讨论了机器学习模型中注意力的概念，特别是在 NLP 和 RNN 的背景下。 Attention 允许模型专注于输入的重要部分，使用特定的数据子集进行推理，而不是将所有内容作为一个整体来考虑。有两种类型的注意：硬注意，它预测哪些索引在某个时间步长是相关的；软注意，它使用 softmax 函数创建一组软权重，以根据指示它们的输入标记创建概率分布重要性。通常使用 soft attention 并结合不同特征的表示。讲座还讨论了从法语翻译成英语的过程，作为使用注意力的一个例子。
  
  
• 00:10:00 在本节中，演讲者解释了使用传统的编码器-解码器网络对每个词进行编码和创建词的潜在表示的过程，该网络涉及输入的顺序处理和用于解码的上下文向量。然后他们引入了软注意力的概念，它使用上下文向量从每个潜在表示中获取信息，并根据先前解码的信息进行解码。该过程涉及创建评分函数以确定先前解码和编码之间的相似性，并使用不同的指标得出相对重要性，从而提供查询与一组键的相关性的概率表示。
  
  
• 00:15:00 在本节中，讲师解释了局部注意力的概念，它允许注意力模型仅查询输入标记的特定窗口，而不是所有输入标记，以节省计算资源。本讲座还深入探讨了视觉注意力的使用，包括使用挤压和激发网络进行通道注意力和图像空间注意力。此外，讲座还简要介绍了使用注意力来生成描述图像的句子，例如使用卷积来提取关键特征和使用长短期记忆网络来维持单词之间的联系。
  
  
• 00:20:00 在本节中，讲师讨论了注意力在各种架构中的使用，包括空间注意力和自注意力。自注意力涉及从相同的输入中查找标记，同时注意句子中单词之间的关系，从而可以根据先前的单词更好地预测下一个单词。讲师还介绍了 Transformers 的概念，它使用注意的键值查询系统在选择内核特征时等待不同的相似度。
  
  
• 00:25:00 在视频的这一部分中，讲师介绍了 Transformer 模型中使用的 self-attention 和 soft attention 的概念。这个想法是创建一个概率分布，关注某些特征而忽略其他特征，以预测某些关系。然后讲师解释了如何使用矩阵代替 Transformer 模型中查询和键的一对一比较。该讲座还讨论了 RNN 的局限性，例如它们无法并行化和捕获长序列，以及注意力如何帮助解决这些问题。
  
  
• 00:30:00 在讲座的这一部分，演讲者讨论了 Transformer 架构以及它如何使用自注意力来对序列或标记组进行建模。输入包括一系列标记嵌入和位置嵌入，目标是提出可以传递到 Transformer 模型的表示。 Multi-head attention用于根据query和key计算每个token的重要性，前馈步骤并行进行，以发挥Transformer的优点。该架构结合了残差连接和层范数，以减轻消失的梯度并提供准确的表示。最后，在最后添加一个线性层，以根据不同表示的提示、键和值计算输出。
  
  
• 00:35:00 在本节中，演讲者解释了应用线性层从文本中每个单词的输入嵌入中获取 kqv 的过程。这涉及对通过矩阵乘法连接在一起的键、查询和值使用不同的权重。在此之后，在查询和值之间找到一个点积，并且每个标记直接参与每个其他标记，从而使输入之间的连接无限可扩展。基于点积值应用 SoftMax 分布，然后根据该分布对值重新加权，以逐个标记得出最终值。通过除以 D 的平方根上的 1 来缩放注意力用于标准化事物并确保没有小的梯度，并且使用多头注意力将每个键、查询和对应于标记 H 次的值投射。最后，dropout 用于防止过度拟合，并且在将结果向量发送到前馈神经网络之前对结果向量应用转换。
  
  
• 00:40:00 在这部分视频中，讲师解释了 Transformer 中的注意力机制以及添加残差连接以处理深度网络中梯度消失的重要性。他们还讨论了 batch normalization 和 layer normalization 之间的区别，在 attention 机制中使用 layer normalization 来标准化每个特征维度。讲师还解释了值的加权和如何产生多个向量，然后将这些向量传递给加权矩阵以获得传递到前馈网络的奇异值。总的来说，讲座对注意力机制及其在 Transformer 中的各个组件进行了深入的解释。
  
  
• 00:45:00 在Transformers and Attention这节课中，讲者讲解了神经网络的Transformer架构的实现，包括residual和layer norm操作，以及逐一卷积。每个多层感知器都是并行化的，输入的位置嵌入用于根据位置信息关注特定的窗口。虚拟标记也用于某些 NLP 任务，以将序列转换为矢量测量。
  
  
• 00:50:00 在本节中，讲座讨论了序列到向量的示例以及 CLS 标记的使用。该讲座解释了注意力机制背后的数学原理，其中涉及查询、键和值输入之间的矩阵乘法。结果是表示注意力的加权和。这种方法计算效率高，适合在 GPU 上进行并行化，甚至对于大输入也可扩展。本讲座最后讨论了变压器架构、位置嵌入，并引入了与顺序模型不同的无归纳偏置。

[MetaQuotes]

CS 198-126：第 15 讲 - 视觉变形金刚

CS 198-126：第 15 讲 - 视觉变形金刚

在本次讲座中，演讲者讨论了视觉转换器 (ViT) 在图像处理任务中的使用。 ViT 体系结构涉及将图像下采样为离散块，然后在通过 Transformer 之前使用线性层输出将其投影到输入嵌入中。该模型在对实际数据集进行微调之前，先在大型标记数据集上进行了预训练，从而以比以前最先进的方法更少的计算量获得出色的性能。讨论了 ViT 和卷积神经网络 (CNN) 之间的差异，其中 ViT 具有全局感受野并且比 CNN 更具灵活性。还强调了使用 Transformers 进行视觉任务的自我监督和无监督学习。

• 00:00:00 在本节中，演讲者讨论了 Vision Transformers 的使用以及如何将它们应用于图像。他们解释了标记、嵌入和转换器的概念，提供了如何将它们用于自然语言处理任务的具体示例。然后，他们解释了如何将相同的架构应用于计算机视觉任务，方法是将图像预处理为一串标记，并使用 Transformer 的可扩展性、计算效率和全局接受域对其进行有效处理。演讲者还谈到了通过标记化和将每个单词映射到词汇表来对文本进行预处理。
  
  
• 00:05:00 在这节课中，讲师讨论了如何将自然语言处理 (NLP) 中使用的标记化和嵌入方法转换为图像处理。标记化涉及将单词或短语转换为数字格式，用于生成嵌入向量。然而，这个过程对于图像来说并不简单，因为颜色值是连续的，因此很难创建一个表格来查找它们。这个挑战可以通过伪装成离散的值来解决，因为这使得将每个像素视为一个标记成为可能。此外，时间复杂度的问题通过使用较小的图像并像语言模型一样训练它们来解决。
  
  
• 00:10:00 在本节中，演讲者讨论了通过使用一组有限的标记样本进行半监督分类来衡量 Vision Transformer 模型的成功与否。该模型在未标记的样本上进行预训练，然后通过线性分类器将输出图像表示作为输入。输出嵌入需要足够好才能使分类器表现良好。这种技术在不使用标签的情况下获得了具有竞争力的准确性，它也被用于图像生成。虽然该模型是成功的，但它需要大量的计算并且只能处理 64 x 64 分辨率的图像。 Transformer 模型的吸引力在于其相对于计算的可扩展性，但下游应用程序将需要更有效的实现方式。
  
  
• 00:15:00 在本节中，演讲者讨论了 Vision Transformers 的架构，这是一种更有效和通用的图像分类方法。不是量化像素，而是将图像下采样成块，然后使用线性层输出直接投影到输入嵌入中。位置嵌入和 CLS 令牌被添加到 Transformer 之上。在对实际数据集进行微调之前，先在大型标记数据集上进行预训练，从而以比以前的技术水平少得多的计算量获得出色的性能。该方法更通用，因为它具有更少的归纳偏差。
  
  
• 00:20:00 在本节中，将讨论卷积神经网络 (CNN) 和视觉转换器 (ViT) 之间的区别。 CNN 和 ViT 之间的两个主要区别是局部性和二维邻域结构。由于用于像素之间交互的内核大小的限制，CNN 倾向于偏向于彼此靠近的特征。另一方面，ViTs 将每个像素投射到一个嵌入中，并允许每个标记关注每个其他标记，无论其在图像中的位置如何，从而使它们不那么偏向于局部特征。 ViT 还具有每个标记和位置嵌入的独特表示，这会影响生成的表示，使它们更加灵活并且能够在微调期间进行插值。
  
  
• 00:25:00 在本节中，我们将了解 Vision Transformers (ViT) 相对于传统卷积神经网络 (CNN) 的一些优势。 ViT 能够通过更大的数据集学习更好的图像表示，因为它们在开始时对处理图像没有偏见，这意味着它们不假设数据模式，这与 CNN 中的工程偏见不同。这也是 ViT 与数据进行权衡的原因，数据越少表现越差，数据越多表现越好。此外，ViT 具有全局感受野，允许在整个图像上进行交互，而这对于 CNN 是不可能的。一些 ViT 特征，如位置嵌入和注意力表示，使其在某些方面更具可解释性。
  
  
• 00:30:00 在本节中，将解释卷积神经网络 (CNN) 和视觉转换器之间的区别。 CNN 使用一个或两个卷积层，这限制了它们处理超出小区域的信息的能力。因此，CNN 中令牌之间的交互只发生在最后。相比之下，视觉转换器使用全局接受域，其中每个标记从一开始就与其他每个标记交互，从而使它们能够处理所有事情。然而，视觉转换器也有缺点，例如由于使用了补丁，它们的输出不够细粒度，从而导致细粒度图像分类和分割方面的问题。强调拥有更通用模型的目标，其中模型从数据中学习而不是针对特定领域进行手工设计，从而允许更容易的领域组合。
  
  
• 00:35:00 在本节中，演讲者讨论了将自监督和无监督学习与 Transformers 结合使用的优势，尤其是在视觉任务的背景下。通过访问来自互联网的大量未标记数据，自我监督和无监督目标允许进行有效的培训而无需注释。生成的模型可以生成保留场景布局和对象边界信息的表示，可用于图像分类和视频分割任务。演讲者还重点介绍了 Vision Transformers 在各种图像分类任务中的成功使用，展示了它们很好地扩展大量数据的能力。
  
  
• 00:40:00 在本节中，讲师讨论了如何从 Transformer 模型的初始架构发展到排行榜上的顶级架构。他们发现更好的表示与计算时间、模型大小和数据集大小成比例，大型模型的样本效率更高，这意味着它们需要更少的训练样本来获得相同的性能。讲师还谈到了 Vision Transformers 和 CNN，它们是介于两者之间的混合架构。当没有足够的数据时，他们使用依赖于相对位置的权重值将归纳偏差添加到 Visual Transformers 中，以解决 Transformers 中缺少的平移等方差问题。
  
  
• 00:45:00 在本节中，讲师讨论了在图像的 Transformer 模型中使用学习的权重向量。这种学习到的权重向量可以更轻松地对仅依赖于相对定位而不是绝对定位的特征进行编码。此外，讲师还针对 Transformers 中空间大小的二次时间问题提出了解决方案，例如将卷积块与 Transformer 块进行池化和组合。具有自我监督训练方案的 Vision Transformer 模型被视为从手工设计的特征过渡到更通用模型的下一步，它需要大量的数据，而 Transformers 往往会这样做。 BTS 模型是可扩展的，并且在计算硬件上表现良好。讲师确认这是一种监督学习算法。

[MetaQuotes]

CS 198-126：第 16 讲 - 高级对象检测和语义分割

CS 198-126：第 16 讲 - 高级对象检测和语义分割

在这个高级对象检测和语义分割讲座中，讲师讨论了卷积神经网络 (CNN) 和 Transformer 的优缺点，特别是在自然语言处理 (NLP) 和计算机视觉方面。虽然 CNN 在纹理偏差方面表现出色，但 Transformers 通过使用自注意力层将重要概念联系在一起并专注于特定输入，从而有效地处理 NLP 和计算机视觉任务。然后讲座深入探讨了 Vision Transformers，它优先考虑形状而不是纹理，使它们能够抵抗失真。他进一步解释了 Swin Transformer 的优点和局限性，Swin Transformer 是 Vision Transformer 的改进版本，在图像分类、语义分割和对象检测方面表现出色。该讲座强调了可处理任何类型数据的模型的普遍性的重要性，以及在自动驾驶汽车等领域的潜在应用。

• 00:00:00 在本节中，讲师概述了当天课程的计划，其中包括对 CNN 和 Transformer 的回顾及其优缺点。本讲座还将涵盖 NLP 上下文，例如 BERT，以及如何生成嵌入，然后继续介绍 Vision Transformers 并将它们与 CNN 进行比较。 Swing Transformer 是针对计算机视觉应用程序的 Vision Transformer 的改进，将被讨论，包括窗口注意力补丁合并和带有位置嵌入的移动窗口注意力。如果时间允许，讲座还可能涵盖高级分割方法。
  
  
• 00:05:00 在讲座的这一部分，演讲者讨论了 CNN 的概念及其平移等价性，这意味着它们遵循二维邻域结构并根据步幅距离在不同点捕获信息。演讲者还指出，CNN 表现出纹理偏向于形状的倾向，并且纹理增强会影响它们的性能。演讲者然后转换到用于 NLP 任务的 Transformers 上下文，以及注意力如何让我们将句子中的重要事物联系在一起并专注于输入的某些部分。变形金刚中的自注意力允许我们在一个句子中做到这一点，强调先前遇到的单词的重要性。
  
  
• 00:10:00 在本节中，视频讨论了自注意力层如何利用查询、键和值根据相似性或差异来计算注意力和权重信息。该部分还介绍了 Vision Transformers，它使用 Transformer 模型处理 NLP 和计算机视觉任务，方法是将图像展平为 16x16 的补丁，并通过线性层传递它们以生成嵌入。位置信息由模型学习，他们使用多层感知器对输出进行分类。该部分将 Vision Transformers 与 CNNS 进行了比较，并指出自注意力层是全局的，而只有 MLP 比较相邻像素。 Vision Transformer 中的 Transformer 模型不区分图像和文字输入，并且可泛化用于一系列任务。
  
  
• 00:15:00 在讲座的这一部分中，讨论了机器学习模型中归纳偏差的概念。归纳偏差是指模型对它所训练的数据做出的假设，减少这种偏差可以使模型更具泛化性。拥有无需假设先验知识即可应用于多项任务的模型非常重要。虽然 CNN 在较小的数据集上优于 Transformer，但 Vision Transformer 模型 (ViT) 在较大和更复杂的数据集上表现更好，因为它通过优先考虑形状而不是纹理来更好地模拟人类视力。对抗鲁棒性也被引入作为一种度量，其中图像通过引入噪声而失真，使得某些分类器不再能够对它们进行分类。
  
  
• 00:20:00 在本节中，讨论了 Vision Transformers 在图像恢复和语义分割方面的局限性。当一次传递和处理一个补丁时，边界信息可能会丢失，并且补丁内的细粒度像素分析很弱，因为属于一个补丁的信息被视为相同。然而，与优先考虑纹理而不是形状的 CNN 不同，Vision Transformers 优先考虑形状而不是纹理，这使得它们自然地对视觉失真具有鲁棒性，即使在图像中添加了目标噪声时也是如此。块的提取是图像特有的问题，对于较大的图像，生成的图像标记数量会迅速增加。
  
  
• 00:25:00 在本节中，讲师讨论了使用典型的视觉 Transformer 进行对象检测和分割的问题，特别是在处理较大的图像时，因为它需要大量的处理能力。不过后来引入了shifted window Transformer的解决方案，就是利用不重叠的窗口在组内进行self-attention，然后将它们组合在一起进行cross attention。这允许跨窗口注意力连接，导致线性计算复杂度而不是 N 平方，因为补丁的大小在组合时保持不变。这种图像分割方法通常用于自动驾驶技术。
  
  
• 00:30:00 在本节中，介绍了 Swin Transformer 的概念，这是一种擅长图像分类、对象检测和语义分割的模型。 Swin大补丁模型的补丁大小为4，容量为192，窗口大小为7，在ImageNet 22k上训练，在ImageNet 1k上微调。该模型使用窗口多注意层和移位窗口注意层，以及具有使用 GELU 激活函数的隐藏层的 MLP。窗口 MSA 的输出在进入 MLP 之前通过一个层范数来规范化中间层的分布。
  
  
• 00:35:00 在本节中，演讲者讨论了在对象检测和语义分割训练模型中使用 Layer Norm 的好处。 Layer Norm 对梯度表面应用平滑操作，从而加快训练速度并提高泛化精度。演讲者将 Layer Norm 与 Batch Norm 等其他平滑技术进行了比较，并解释了它如何关注过程的中间层。然后讨论转移到 Windowed Multi-Head Self-Attention (WMSA) 块，它在图像的每个窗口内执行自我注意。每个窗口中的补丁向量的数量是有保证的，导致图像大小的线性复杂度，这与 Vit（一种竞争技术）中的二次复杂度不同。 WMSA 的第二阶段涉及一个补丁合并过程，其中相邻的像素块被连接成一个较小的窗口，创建新的补丁边界和重新制作窗口。
  
  
• 00:40:00 在讲座的这一部分中，演示者解释了 Swin Transformer 解决推进补丁后生成的窗口数量增加的解决方案。 Swin Transformer 通过将块重新排列为只有四个窗口，巧妙地组合了这些窗口，将元素总数从 64 个减少到 16 个，同时保持信息总量一致。优化技术涉及循环移位，线性层用于在减少补丁的分解后增加嵌入大小的深度或“C”维度。这种技术可以节省计算能力，并避免在执行注意力之前使用零填充的天真解决方案。
  
  
• 00:45:00 在本节中，演讲者讨论了作者提出的两项优化，以提高图像处理的效率。第一个优化涉及在计算注意力之前将图像移动到某个部分，然后将其移回同时标记它已被计算。这通过避免需要执行全新的操作来获得所需的值来优化计算能力。第二个优化是通过学习补丁位置信息而不是明确提供的位置嵌入，限制需要计算的关注范围。这些优化以及偏置向量和通道大小操作的使用有助于提高图像处理中自注意力计算的性能。
  
  
• 00:50:00 在本节中，讲座讨论了在 Swin transformer 模型的第二、第三和第四阶段合并补丁的过程。通过降低补丁的维度，他们减少了四分之一，达到 3136 个补丁，编码大小加倍，得到 384 个编码。该过程在第三和第四阶段重复，过程中的最后一个组件是平均池化层，然后是分类头。该讲座提出了对通过使用与 CNN 类似的方法重新引入归纳偏差的担忧，但研究表明，Swin 模型在腐败鲁棒性方面表现良好，并且具有比 Vision Transformers 更低的形状偏差。 Transformer 架构的通用性允许准确地捕获模式，而不管数据类型或域如何，更多的数据会带来更好的性能。
  
  
• 00:55:00 在本节中，讲师解释了拥有一个可以接收任何类型的数据、处理数据并提取模式（称为普遍性）的模型的优缺点。讨论了可以处理任何输入/输出的通用人工智能模型的想法，并探索了在自动驾驶汽车等领域的潜在应用。讲师还指出，对抗鲁棒性领域仍在发展，需要进一步测试以确定 Swin 等模型对更高级对抗性攻击的有效性。

[MetaQuotes]

CS 198-126：第 17 讲 - 3-D 视觉测量，第 1 部分

CS 198-126：第 17 讲 - 3-D 视觉测量，第 1 部分

该视频讨论了不同的 3D 视觉表示及其优缺点，包括点云、网格、体素和辐射场。本讲座还涵盖光线投射、前向和后向光线投射，以及为彼此相交的对象着色和渲染图像，以及针对实体和透明度的不同方法。讲师谈到了可微分渲染的局限性，以及 Radiance Fields 如何为每个具有密度和物理颜色的 XYZ 点创建一个函数，使其更易于学习。

• 00:00:00 在本节中，讲师讨论了将计算机视觉扩展到 3D 的必要性，因为现实世界是三维的。 3D 有无限的应用，例如自动驾驶、形状优化、虚拟环境、头像生成等等。然后介绍了 3D 表示的不同方法，包括 2.5D、点云、网格、体素网格和区域字段。然后讲座深入探讨了针孔相机模型，这对于理解成像的工作原理以及随后如何在空间中渲染 3D 对象进行模拟非常重要。
  
  
• 00:05:00 在这节课中，介绍了前向追踪和回溯的概念，作为确定摄像机在场景中的位置的一种方法。讲师还讨论了 RGB-D (2.5D) 图像以及它们如何包含可用于生成点云的深度信息，这些信息随后可用于创建表面的网格。还探讨了使用点云创建网格的好处和局限性。
  
  
• 00:10:00 在本节中，讲师描述了 3D 对象的不同表示。他们首先讨论了网格结构，以及由于缺乏处理图形的技术，它们如何难以在机器学习环境中使用。然后讲座将体素作为一种离散的 3D 空间结构进行介绍，该结构由小立方体或“乐高积木”组成，可以以二进制或半透明的方式表示对象。然而，由于计算复杂性，在高分辨率下使用体素可能会让人望而却步。本讲座最后介绍了辐射场，这是一种在特定 XYZ 坐标处输出 RGB 颜色和密度的函数，作为表示 3D 对象中高频细节的解决方案。
  
  
• 00:15:00 在本节中，讲师讨论了不同的 3D 表示，包括点云、网格、体素和辐射场。每种类型都有其优点和缺点，为特定任务选择正确的表示形式至关重要。在讨论了 3D 表示之后，讲座继续讨论光线投射和两种类型的光线投射：前向和后向。前向光线投射对于渲染点云很有用，因为它允许我们看到场景中的每个点。相反，反向光线投射更适合渲染网格或体素网格，因为它允许我们首先看到与光线相交的表面。
  
  
• 00:20:00 在这部分视频中，演讲者讨论了为相互交叉的不同对象着色和渲染图像的过程。这是通过为每个阵列计算三个三角形交点来完成的，这可能是高效的。如果物体是半透明的，这个过程不仅要考虑第一个相交点的颜色，还要考虑第一个和第二个点的密度。对于没有表面的区域，例如烟雾，光线采样用于对直线上的不同点进行采样，并使用辐射场为每个点创建一个输出 RGB 和 D 的函数。然后使用体积渲染聚合这些颜色和密度集以创建一个像素体积。
  
  
• 00:25:00 在本节中，讲师讨论了可微分渲染及其局限性。虽然渲染中讨论的所有内容都是可微的，但它仅对于我们在渲染图像中看到的可见表面是可微的。辐射场解决了这个问题，因为每个被采样的点都会对最终颜色产生影响，因此会有一些输出梯度。讲师还提到，Radiance Fields 已经存在了一段时间，其功能是为每个具有密度和物理颜色的 XYZ 点创建一个函数。接下来，讲师将讨论将 f 建模为神经网络以使辐射场可学习。
  
  
• 00:30:00 在这一部分中，演讲者简要提到变形金刚作业延迟一周，但没有提供任何背景或解释。

[MetaQuotes]

CS 198-126：第 18 讲 - 3-D 视觉测量，第 2 部分

CS 198-126：第 18 讲 - 3-D 视觉测量，第 2 部分

在这个关于 3D 视觉的讲座中，讲师讨论了辐射场，特别是神经辐射场 (NeRF)，它在空间中占据一个位置并输出颜色和密度。演讲者解释了渲染的过程，其中涉及从相机的角度进行查询，并使用黑盒功能来计算图像的外观。这些讲座讨论了在 3D 视觉中表示对象的一致视角所面临的挑战，以及使用 MLP 获取对象的 XYZ 数据和视图方向以输出密度和 RGB 信息。该讲座还涵盖了体积渲染和使用 Nerf 衍生物改善计算机视觉的挑战。讲师最后演示了如何使用空间收缩来使用神经网络生成逼真的 3D 图像。

• 00:00:00 在讲座的这一部分，讲师讨论辐射场，特别是 NeRF（神经辐射场），它在空间中占据一个位置并输出颜色和密度。渲染过程涉及从相机的角度进行查询并使用黑盒功能来计算图像的外观。颜色是所有样本的加权平均值，可见度与密度成正比，与相机前的物体数量成反比。讲师举例说明辐射场背后的直觉，包括离相机最近的物体如何对颜色贡献最大，以及密度对重量的影响。
  
  
• 00:05:00 在本节中，演讲者解释了如何创建神经辐射场，以根据对象的多个图像生成该对象的新视图。目标是想出一个可以在场景中的点查询以创建新图像的神经辐射场。然而，获得为此所需的地面部队位置和方向可能是一项困难且耗时的任务。有可用的程序可以帮助完成此过程，但演讲者指出，仅依赖这些工具可能会被视为作弊。
  
  
• 00:10:00 在本节中，讲师讨论了使用 3D 视觉生成场景的新视图。他们解释说，学习神经辐射场可以在不同视图之间保持形状一致性，这对于通过深度学习呈现对象的新视图非常重要。如果没有这个瓶颈，就很难确保一致性，如使用 StyleGAN 的示例所示，它在不同视图中产生不一致的形状。讲师认为，学习对象的 3D 表示对于生成具有一致形状的对象的新视图是必要的。
  
  
• 00:15:00 在本节中，演讲者讨论了在 3D 视觉中表示对象的一致视角所面临的挑战。辐射场的使用被解释为一种表示物体外观细节的方式，例如不同角度的眩光和反射，否则很难捕捉到这些细节。演讲者详细介绍了此过程如何涉及获取位置和观察方向数据以创建被观察对象的更准确表示。还解释了使用密度和颜色 MLP 来表示对象的不同方面的概念。
  
  
• 00:20:00 在本节中，演讲者讨论了使用 MLP（密集神经网络）获取对象的 XYZ 数据及其视图方向以输出密度和 RGB 信息。该网络使用位置编码来创建清晰的决策边界，从而提高重建图像的清晰度。二进制表示和逻辑门的使用允许重建图像中的急剧变化和高频细节。演讲者指出，如果需要，他们可以对位置编码进行更深入的解释。
  
  
• 00:25:00 在本节中，演讲者详细介绍了为 3D 视觉实施 Nerf（神经辐射场）模型的不同方面，包括对锐利边界使用位置编码以及对眩光和反射等效果的视图依赖性。演讲者还讨论了分两轮优化采样过程，并使用单独的 MLP 来学习边缘的更精细细节。此外，演讲者还解释了用于训练网络的损失函数，其中涉及比较地面实况图像的 RGB 值以及由于 GPU 限制而渲染有限数量的光线。密度没有直接损失，但网络仍然通过密度和颜色正确性之间的间接关系学习正确的密度。
  
  
• 00:30:00 在讲座的这一部分，演讲者谈到了体积渲染的过程，以及它如何需要正确的颜色和密度才能产生准确的预测。演讲者解释说，使用足够多的相机可以对物体上的不同点进行三角测量，网络产生低损耗的最简单方法是为交点输出正确的颜色和高密度。演讲者还展示了他们正在开展的一个项目，该项目使用预处理脚本和一个名为 nerfacto 的库来进行实时渲染训练。演讲者指出，预处理很困难，有时会导致方向不正确。
  
  
• 00:35:00 在本节中，演讲者讨论了 3D 视觉以及与全方位捕捉图像相关的挑战。该视频重点介绍了使用 Nerf 导数来改进计算机视觉，以及如何使用该技术来收缩场景周围的空间，从而使网络更容易学习好的值。演讲者解释说，图像周围的边界框有助于限制空间，因此网络仅接收 -1 和 1 之间的值。该视频说明了空间收缩如何使用一个公式，该公式采用空间中的一个点并将其映射到一个单位球，使网络更容易学习点和场景的值。
  
  
• 00:40:00 在这部分视频中，演讲者演示了如何使用空间收缩通过神经网络生成逼真的 3D 图像。他展示了一张 Campanilla 的图片，并解释说网络在到达训练数据的边缘时会变得越来越差。演讲者还提到了在生成 3D 图像方面的一些进步，只需几秒钟而不是几天。虽然他没有足够的时间讨论为什么密度函数是可学习的，但他提出在讲座结束后与听众进行讨论。

[MetaQuotes]

CS 198-126：第 19 讲 - 高级视觉预训练

CS 198-126：第 19 讲 - 高级视觉预训练

该视频涵盖了高级视觉中用于自我监督预训练的各种技术，包括对比学习、去噪自动编码器、上下文编码器和 Mae 网络。演讲者概述了每种方法，讨论了其优点和缺点，并强调了在 BYOL 方法中结合对比和重建损失的好处，这种方法优于单独使用这两种方法。该视频对自我监督学习的最新研究趋势及其提高计算机视觉模型性能的潜力提供了有用的见解。

• 00:00:00 在本节中，讲师介绍了自我监督学习 (SSL) 的概念，这是无监督学习的一个分支，它从没有任何标签关联的数据集创建标签。在处理小型数据集或在大型和多样化数据集上预训练模型以提取可传输到下游任务的表示时，此方法很有用。讲师还提供了 John McCune 的类比来解释 SSL 如何提供比无监督学习更多的监督而不是监督学习，使其成为计算机视觉中各种任务的有价值的方法。
  
  
• 00:05:00 在本节中，在计算机视觉的背景下介绍了无监督学习作为智能基础的概念。自我监督学习作为一种从头开始创建标签的方式被讨论为主要的学习形式，而监督学习和强化学习只是该过程的一小部分。对比学习的概念作为一种流行的无监督方法被引入，它关注相似性作为优化目标，损失函数的目标被解释为将正样本的嵌入推向尽可能接近输入的嵌入，而同时将负样本的嵌入推离输入嵌入更远。
  
  
• 00:10:00 在本节中，视频解释了用于训练人脸识别网络的三元组损失的概念，以及如何使用对比损失函数对其进行改进。对比损失函数解决了将输入推离所有可能的负样本的问题，由于大量的负样本，这是不可行的。这个损失函数的实现类似于一个分类问题，正样本作为正确的标签，所有的负样本作为错误的标签。视频接着介绍了MOCO算法，将对比学习定义为可微分的字典收入，允许在一个地方收集所有时期和查询。
  
  
• 00:15:00 在本节中，演示者解释了对比学习的过程以及如何通过神经网络定义相似性。作者定义了相似的含义，并强调它正在使用相同的网络通过相同的样本，称为实例歧视。为了为下游任务创建良好的表示，键和查询来自同一个网络，因此使用多个网络不是很有用，相反，需要大量的负样本来鼓励更好的表示。然而，从大量的负样本中挑选出单个正样本在计算上具有挑战性且不切实际，这限制了批量大小。然后，演示者讨论了从单个模型中预先计算所有键和查询的想法。
  
  
• 00:20:00 在讲座的这一部分，演讲者讨论了预先计算嵌入并将它们存储在队列中的想法，同时在随时间更新的单个网络上训练模型。这种方法有助于保持跨时间的一致性，并防止在训练过程中很早以前就存储嵌入。然而，这种方法只解决了前向传播中计算嵌入的问题，而不是后向传播。演讲者建议使用查询和密钥编码器速率的移动平均值来更新密钥编码器，以避免在保持一致性的同时过快地更改密钥编码器的权重。
  
  
• 00:25:00 在视频的这一部分，演示者讨论了 Moco 和 SimCLR 模型，这两种对比学习方法都可以在没有标签的情况下生成良好的图像表示。 Moco 模型涉及关键编码器，随着训练的进行，这些编码器会随着时间的推移而更新，以产生可用于下游任务的良好表示。 SimCLR 模型通过使用单个编码器并通过小型 MLP 传递嵌入以产生更好的结果来简化此过程。这种方法无需维护移动平均线或不同的网络，已成为深度学习研究中流行的对比学习方法。
  
  
• 00:30:00 在本节中，我们将了解 SimCLR 模型，这是一种用于训练图像表示的自监督方法。该模型使用对比损失和温度缩放来计算嵌入，并引入了相似性的概念，即相同图像相似而不同图像不相似。显示了模型中使用的数据增强技术，令人惊讶的是，基于颜色的增强产生了最好的结果。更长的培训课程和更大的批次也显示出更好的结果。 SimCLR 是第一个在图像分类上击败完全监督基线的模型方法，它在仅使用 1% 和 10% 的 ImageNet 标签进行微调时获得最佳结果。
  
  
• 00:35:00 在本节中，介绍了预训练高级视觉的 byol 方法。该方法涉及对输入图像应用不同的数据增强，生成不同的视图，将它们传递给编码器网络，并从中获取表示，然后将其投影到一个小型网络上以获得投影 C 和 C 素数。该方法并不是像 simclr 那样严格意义上的对比学习方法，而是将 simclr 和 moco 中的元素组合成一个单一的目标函数。该方法利用自举，维护两个不同的网络，并根据从另一个模型估计的指标来拟合一个模型，而不是使用数据集中的真实指标。
  
  
• 00:40:00 在本节中，我们将学习 heavy 中的 Deep Key Learning，这与 Deep Free Learning 中发生的情况相同。这种方法是 BYOL 的灵感来源，其中第二个网络驱动对第一个网络的监督，反之亦然。使用这个引导过程，网络学习更多的表示来建立表示，并且由于它不是对比学习，所以它对批量大小和组织类型的变化具有鲁棒性。 BYOL 即使在批量较小的情况下也能很好地工作，并且在相同的基准测试中击败了 MCLR。然后我们继续使用第二类方法，其中输入被破坏，我们必须重建原始图像，并且这些方法适用于基于自动编码器的结构。该演示文稿介绍了去噪模型编码器，其中将噪声添加到图像中，目标是预测去噪后的图像。 Stack Denoising Model Encoder 非常受欢迎，因为它工作得非常好，即使图像被破坏，网络也能学到一些有意义的东西。
  
  
• 00:45:00 在本节中，演讲者讨论了过去训练神经网络的困难以及如何使用降噪自动编码器 (DAE) 作为解决方法。然后，讲座继续介绍遮蔽部分图像以预测隐藏区域的概念，这称为上下文编码器。该方法于 2016 年在伯克利实验室推出，能够在检测和分割方面取得不错的效果，但在分类方面却不行。演讲者回顾了上下文编码器的实现以及向目标函数添加鉴别器如何导致更好的表示。
  
  
• 00:50:00 在本节中，将讨论 Mae 网络，它使用 Transformer 主干，与其他方法中使用的 CNN 主干形成对比。该网络用 vit 替换，并使用与上下文解码器相同的目标，通过屏蔽图像中的补丁并将未屏蔽的区域传递给编码器。然后将编码的嵌入传递给解码器，目的是重建原始图像。这个过程以这种格式学习有意义的特征，并且网络用 Mae 论文中的几个例子进行了说明。捕获有关整个序列的信息的类令牌可用于分类。
  
  
• 00:55:00 侧重于使用对比学习和基于自动编码器的重建相结合的自我监督预训练，它单独优于这两种策略。他们通过使用新的损失函数来组合这些方法，该损失函数在对比损失和重建损失之间取得平衡。这是一种很有前途的方法，展示了提高自监督方法性能的潜力，并且了解这些结果的根本原因是当前的研究领域。
  
  
• 01:00:00 在本节中，演讲者讨论了新发布的 MasS - 一种通过单个模型同时结合图像重建和对比学习的模型。 MasS 生成同一图像的两个视图，屏蔽掉两个不同的视图，并为其添加噪声，从而结合去噪目标。 MasS 使用的损失函数是端点、重建损失和去噪损失的更好组合，因此性能优于以前的模型。演讲者指出，表示学习领域还有许多其他模型运行良好，并且该领域目前是研究热点。

[MetaQuotes]

CS 198-126：第 20 讲 - 图像风格化

CS 198-126：第 20 讲 - 图像风格化

该视频讨论了图像风格化的各种技术，包括需要配对数据的神经风格迁移、GAN 和 Pix2Pix，以及使用未配对数据进行图像到图像转换的 CycleGAN。 StarGAN 可以解决 CycleGAN 的局限性，它可以从多个域获取信息来训练生成器以执行多域图像转换任务。演讲者还讨论了使用域信息和低维潜在代码生成不同输出的多模式无监督图像到图像转换，例如 BicycleGAN 模型。最后，提到了将 Vision Transformers 与 GAN 一起用于图像翻译任务的潜在好处，讲座以有趣的图像示例结束，并提供了提问和讨论的机会。

• 00:00:00 在本节中，演讲者讨论了图像到图像的翻译，特别是神经风格迁移。该任务涉及将图像从源域转换为目标域中的相应图像，同时保留原始图像的内容。神经风格迁移是一种通过优化输出图像以匹配一幅图像的内容和另一幅图像的风格参考来将两幅图像混合在一起的技术。卷积网络用于从两幅图像中提取相关信息，并创建具有所需风格的新图像。演讲者详细介绍了所需的输入以及用于该技术的架构。
  
  
• 00:05:00 在本节中，讲座讨论了使用深度 CNN 表示图像的内容和风格的概念。从边缘和纹理等低级特征开始，CNN 在生成对象表示之前抽象出更高级别的特征。然后，本讲座探讨了如何通过使用克矩阵计算来衡量不同特征图之间风格的相似性。该讲座解释了如何从 CNN 获取内容和样式，以及调整模型以产生所需输出的每种损失计算方法。
  
  
• 00:10:00 在讲座的这一部分，演讲者讨论了几种不同的图像处理技术。首先，他们讨论了通过在优化器中添加内容和样式损失来生成输出图像的过程。他们展示了内容图像和风格图像被组合以创建最终图像的示例，内容图像具有较低级别的特征，风格图像具有较高级别的特征。接下来，他们简要回顾了 GAN，重点放在鉴别器和生成器部分。他们还提到了 StyleGAN 及其在图像中分离高级和低级属性的能力。最后，他们讨论了一个名为 Pix2Pix 的模型，该模型使用条件 GAN 根据用户提供的附加信息生成输出图像。
  
  
• 00:15:00 在本节中，视频讨论了各种图像风格化技术，包括需要配对数据的 GAN 和 pix2pix，以及使用未配对数据进行图像到图像转换的 CycleGAN。然而，CycleGAN 有局限性，StarGAN 可以解决这个问题，StarGAN 是一种可以从多个域获取信息以训练生成器的模型，从而允许执行多域图像转换任务。 StarGAN 背后的关键思想是学习一种使用图像和域信息作为输入的灵活翻译方法。
  
  
• 00:20:00 在讲座的这一部分，演讲者讨论了多模态无监督图像到图像转换的概念，以及如何使用它从输入图像产生多个真实和多样化的输出。正在讨论的论文结合了领域信息和低维潜在代码，以产生更准确和忠实的输出。 BicycleGAN 模型作为示例展示了这种方法如何最小化模式崩溃并实现多样化的输出。此外，该论文还尝试学习一种编码器，将输出映射回潜在空间，并最大限度地减少两个不同代码生成相同样式或输出的概率。
  
  
• 00:25:00 在讲座的这一部分，演讲者讨论了将 Vision Transformers 用于图像到图像转换等任务的挑战，以及将它们与 GAN 结合使用的潜在好处。他们提到了利用 Vision Transformers 和 GAN 的优势来处理图像翻译任务的最新技术，尽管它不像单独使用 GAN 那样直接完成这些任务。演讲者最后分享了一些有趣的图片，展示了这些技术的能力，并欢迎大家提问和讨论。

[MetaQuotes]

CS 198-126：第 21 讲 - 生成音频

CS 198-126：第 21 讲 - 生成音频

在这个关于生成音频的讲座中，演讲者涵盖了各种主题，例如量化、混叠、信号处理、投影、深度学习和变形金刚。讲师讨论了如何对连续信号进行采样和量化，以及位深度精度和计算能力之间的权衡。还解释了 Shannon-Nequist 采样定理及其对重建信号的影响以及投影的重要性及其在信号重建中的用途。深度学习探索了音频重建，演示者介绍了生成音频以及它如何从丢失或损坏的录音中重建音乐。讨论了使用 Transformers 生成音频，并解释了将音乐表示为一系列标记的过程。演讲者还强调了拥有庞大且多样化的数据集的重要性，并讨论了 Transformer 模型在音乐预测中的操作。讲座以生成音乐的演示结束，展示了模型准确预测未来音符的能力。

• 00:00:00 在这节课中，重点是生成音频以及如何离散化连续信号，这是计算机处理音频所必需的。对连续信号进行采样和量化的过程用于生成数字信号。本讲座解释了模数转换器如何使用采样和保持电路，以及如何根据所需的精度级别对输出进行离散化。本讲座还讨论了数模转换器，以及如何使用低通滤波器来维持信号的通带，以及确定信号斜率的特定截止频率。这些概念对于生成音频至关重要，并为理解讲座后面的材料奠定了重要基础。
  
  
• 00:05:00 在本节中，讲座涵盖了量化级别及其与被量化信号动态范围的相关性。更高的位深度导致更精确的信号近似，显着减少错误，直到在 16 位深度达到近乎完美的近似。然而，在计算能力方面存在权衡，这可能会询问无损音高或更快的有损音高是否能满足听者的耳朵。 Shannon-Nequist 采样定理断言，当且仅当原始信号的频率低于采样频率的一半时，可以从其样本中重建信号而不会丢失任何信息。不满足此标准将导致混叠，从而产生有问题的信号近似值。
  
  
• 00:10:00 在本节中，我们将了解混叠及其对信号处理的影响，特别是采样不良导致输出信号与原始输入相比发生了变化。我们通过波形可视化和图像采样看到了这方面的例子。此外，我们还听说了几何信号理论，特别是投影在信号重建中的应用，以及反卷积在图像分割中的应用。最后，主持人分享了一个使用一行 C 代码生成 8 位音乐的有趣演示。
  
  
• 00:15:00 在本节中，讲师讨论了投影及其如何用于重建。投影公式是两个向量的点积，这种相似性度量可用于使用投影到另一组向量的线性组合来重建信号。但是，需要一个基础，并且使用的向量集必须彼此正交，以确保获得最大的信息量。通过将投影投影到彼此正交的不同基上，我们可以获得有关被投影矢量的信息并最终重建信号。
  
  
• 00:20:00 在本节中，讲师介绍了深度学习在音频重建中的应用，以及它如何通过重建低质量波形来生成高分辨率音频。模型架构类似于使用子像素卷积的一维表示进行上采样的单元。下采样波形通过八个使用卷积层的下采样块，步长为 2，并使用 ReLU 激活函数应用批量归一化。在与下采样块相同构造的瓶颈层，波形连接到八个上采样块。这些块与下采样块具有残余连接，并使用亚像素卷积沿特定维度对信息进行重新排序以扩大信息增益，从而提高波形的分辨率，同时保留低分辨率波形的特征。最后的卷积层有一个重新堆叠操作，对亚像素反卷积后的信息进行重新排序，输出波形的上采样是使用均方误差损失函数生成的。
  
  
• 00:25:00 在本节中，讲师讨论了生成音频的使用，以及如何使用它来重建 1900 年代中后期录制的乐队的音乐，这些乐队的录音可能没有完整保存。她谈到了下采样频谱以及如何通过增加清晰度和颜色来改进它以匹配真实波形。然后，讲师过渡到用于音频生成的 Transformers，以及如何使用 Transformer 架构来预测旋律中的音符。这需要将数据（音乐文件）转换为令牌序列，这是一个需要广泛考虑的独特问题，因为需要捕获时间序列，例如音乐签名、调和节拍。
  
  
• 00:30:00 在本节中，演讲者讨论了将音乐表示为一系列标记的过程，这些标记可以输入到生成音频的转换模型中。他们解释了如何使用音高、持续时间和其他属性来捕获有关音符的信息，但也指出了将 2D 钢琴卷帘数据标记为单一维度的挑战。比较了不同的方法，例如一对多注释或将多个注释映射到单个标记，并介绍了分隔标记的使用和减少的词汇量。演讲者最后谈到数据增强是增加生成音频模型训练数据多样性的一种方式。
  
  
• 00:35:00 在本节中，演讲者讨论了在使用生成音频模型时拥有大量多样的数据集的重要性。他们解释了如何将一首歌曲转换成 12 首不同调的歌曲，以及模型拥有的数据和泛化能力越多，它的表现就越好。演讲者还讨论了使用位置节拍编码作为向模型提供元数据以使其更好地感知音乐时序的一种方式。他们指出，自然语言处理中使用的位置结构方法也可以应用于音乐。本节最后讨论了教师强制，这是一种应用注意掩码以防止模型立即访问所有信息并泄漏有关它接下来应该预测的标记的信息的方法。
  
  
• 00:40:00 在本节中，演讲者讨论了生成音频中使用的转换器模型的运作方式。实现中使用的 Transformer XL 具有相对位置编码和隐藏状态记忆功能，可实现快速准确的音乐预测推理。由于位置性在音乐中很重要，因此该模型仅使用相对位置而不是绝对位置。该模型还捕获每个音符的两个属性，即音高和持续时间，以存储在内存中并准确预测未来的音符。演讲者随后展示了使用该模型生成的 D Major Pachelbel Canon 的演示，这表明生成的音符虽然与原始乐曲有偏差，但听起来仍然不错。

[MetaQuotes]

CS 198-126：第 22 讲 - 多模式学习

CS 198-126：第 22 讲 - 多模式学习

多模态学习涉及以不同方式表示对象，例如通过文本、图像、视频或音频，同时仍然识别它们是同一对象。这些讲座解释了多模态学习在捕获不同数据集和解决分布转移问题中的重要性。该视频重点介绍了 CLIP，这是一种对比语言图像预训练方法，它使用文本和图像编码器为相似的图像-字幕对创建嵌入。嵌入可用于分类、机器人、文本到图像生成和 3D 视觉。演讲者强调 CLIP 潜在的普遍性表明了表征学习的重要性及其在机器学习中的实用性。 CLIP 方法导致了多模态学习领域的发展。

• 00:00:00 在视频的这一部分，讲师解释了多模式学习的概念及其重要性。多模态学习涉及以多种不同方式表示对象，例如通过文本、图像、视频或音频，并捕捉它们的细微差别，同时仍能识别出它们是同一对象。多模态数据集可以包含所有这些数据类型，目标是保留所有信息以提供更多的学习上下文。讲师认为多模态学习很重要，因为数据可以来自不同的来源和数据集，丢弃所有这些额外信息可能会导致学习信息减少。
  
  
• 00:05:00 在本节中，重点是分布偏移问题，当计算机视觉模型在逼真数据上进行训练并在卡通数据上进行测试时会出现此问题。问题在于，与可能的情况相比，单个数据集的分布较小。由于数据的多样性，分布转移问题成为一个重要问题，因为存在具有不同对象、数据格式和关系的不同数据集。多模态学习旨在通过使用所有可用数据和数据之间的关系来为更多样化的数据训练更好的模型来解决这个问题。目标是为从图像到文本和音频的所有内容学习有意义的压缩表示。
  
  
• 00:10:00 在本节中，视频讨论了多模态学习的重要性以及在不同数据集上训练模型所带来的挑战。正在检查的论文称为 CLIP，代表对比语言图像预训练，旨在研究图像与相应文本之间的关系。 CLIP 模型背后的想法是，如果图像和说明是相关的，那么为图像和说明学习的表示应该是相似的。该模型使用两种不同的模型：用于处理图像的视觉转换器和用于自然语言处理的转换器，并从头开始训练它们。训练过程涉及使用来自不同来源的大量图像-描述对对文本和图像编码器进行预训练，目标是为匹配的图像-描述对生成相似的嵌入，而对于不同的图像-描述对则生成不同的嵌入.
  
  
• 00:15:00 在本节中，演讲者解释了图像编码器和文本编码器如何协同工作以创建图像和文本数据的嵌入版本，匹配对非常相似，非匹配对非常不同。结果矩阵的对角线元素表示匹配对的嵌入之间的点积，理想情况下它们非常大，而非对角线元素表示不匹配的嵌入之间的相似性，应该非常小或为负。演讲者解释说，这种方法类似于分类任务，其中损失函数试图使对角线元素尽可能大，同时最小化非对角线元素。文本编码器和图像编码器协同工作以实现此目标并为匹配对创建相似的嵌入。
  
  
• 00:20:00 在本节中，我们将了解称为 CLIP 或对比语言-图像预训练的多模式学习应用。 CLIP 使用文本编码器和图像编码器来创建图像和字幕的嵌入。然后它执行嵌入的点积以查看图像与标题的匹配程度。通过这样做，CLIP 可以在没有任何微调的情况下预测图像的内容，这称为零样本预测。这种方法表明文本和图像的编码表示是有意义的，并且可以很好地泛化到新数据。
  
  
• 00:25:00 在讲座的这一部分，演讲者讨论了通过 CLIP 潜伏进行表示学习的适用性和重要性。潜在是通过冻结的预训练模型进行图像编码的可概括且有意义的输出。这些潜在有几个用例，包括对象分类和机器人技术，它们可以帮助嵌入图像表示。演讲者强调表示学习无处不在，可用于文本到图像生成和 3D 视觉。可以使用损失函数优化 Radiance 场，其中渲染图像与输入字幕对应的潜在剪辑相匹配。优化过程是可微的，使其成为图像重建的有效工具。
  
  
• 00:30:00 在本节中，演讲者讨论了使用图像嵌入根据给定提示生成辐射场的概念。尽管这种方法很昂贵，但它证明了剪辑潜在的普遍性，它基于对各种数据的预训练并使用表示或关系为任何域生成可用的潜在。这种多模式学习技术被证明是有效的，被认为是机器学习领域的一个重要子领域。演讲者指出，虽然剪辑方法只是一个开始，但它已经导致该领域的进一步发展。