Машинное обучение и нейронные сети - страница 26

[MetaQuotes]

Лекция 2: Умножение и разложение матриц

Лекция 2: Умножение и разложение матриц

В этой лекции рассматриваются основы умножения и факторизации матриц. Автор объясняет, почему матрицы имеют размеры как в пространстве строк, так и в столбцах, и почему пространство строк имеет размерность R, а пространство нулей имеет размерность M минус R. В лекции также обсуждается взаимосвязь между строками и решениями уравнения, а также ортогональность векторов в двумерном пространстве. Наконец, автор объясняет фундаментальную теорему линейной алгебры, которая утверждает, что размеры пространства получаются правильно, когда проработана геометрия.

• 00:00:00 В этой лекции Гилберт Стрэнг объясняет, как перемножать матрицы, используя в качестве метода столбец умножить на строку. Она также объясняет пять ключевых факторизаций матриц и их важность в математике. Наконец, она показывает, как составлять матрицы, и обсуждает их важность в линейной алгебре.
  
  
• 00:05:00 В этой лекции автор обсуждает понятие ортогональных матриц и их значение. Далее он объясняет правило умножения матриц и показывает, как его можно применить к двум простым примерам. Затем он переходит к обсуждению ранга матрицы и того, как он связан со столбцами и строками матрицы. Наконец, автор демонстрирует, как умножить матрицу на ее диагональную матрицу.
  
  
• 00:10:00 В этой лекции профессор Гилберт Стрэнг представляет краткий обзор симметричной проблемы собственных значений и ее различных приложений. Затем он демонстрирует, как разделение матрицы на части ранга 1 может обеспечить правильные собственные векторы и собственные значения.
  
  
• 00:15:00 В этой лекции профессор Гилберт Стрэнг рассказывает об основных факторизациях матриц, в том числе о разложении по сингулярным числам (SVD). Он также обсуждает исключение и объясняет, как оно выражается как L, умноженное на U. Наконец, он демонстрирует, как это можно применить к обратимой матрице, и показывает, как она разлагается на нижние треугольные, умноженные на верхние треугольные.
  
  
• 00:20:00 В этой лекции профессор Гилберт Стрэнг объясняет концепцию исключения и то, как она используется при решении уравнений. Далее он показывает, как исключение можно применить к матрице два на два, и приводит пример, иллюстрирующий этот процесс.
  
  
• 00:25:00 Фундаментальная теорема линейной алгебры утверждает, что в матрице есть четыре подпространства, каждое из которых имеет разную размерность. Подпространствами являются пространство строк, пространство столбцов, векторное пространство всех линейных преобразований матрицы и пространство всех матриц.
  
  
• 00:30:00 Нуль-пространство матрицы — это множество решений слова «нуль» (вектор, все компоненты которого равны нулю). Это пространство замкнуто, что означает, что оно не содержит никаких решений для «ах равно нулю», которые не являются также решениями для «е». Кроме того, нулевое пространство транспонирования - это множество решений слова «null», которые также являются решениями «x транспонировать y».
  
  
• 00:35:00 Фундаментальная теорема линейной алгебры утверждает, что обычно существуют независимые решения уравнений в системе, если размерности двух задействованных пространств равны. Эта теорема часто используется для определения размерности системы уравнений.
  
  
• 00:40:00 Лекция «Умножение и разложение матриц» посвящена основам умножения и разложения матриц. В лекции объясняется, что матрицы имеют размеры как в пространстве строк, так и в столбцах, и что пространство строк имеет размерность R, а пустое пространство имеет размерность M минус R. В заключительном разделе лекции обсуждается геометрия матричных пространств и демонстрируется, как найти векторы, которые решают конкретное уравнение в матрице.
  
  
• 00:45:00 В этой лекции автор объясняет связь между строками и решениями уравнения, а также ортогональность векторов в двумерном пространстве. Он также обсуждает фундаментальную теорему линейной алгебры, которая утверждает, что размеры пространства получаются правильно, когда проработана геометрия.

[MetaQuotes]

Лекция 3. Ортонормированные столбцы в Q дают Q'Q = I

3. Ортонормированные столбцы в Q дают Q'Q = I

В этом разделе видео объясняется концепция ортогональных матриц и их значение в числовой линейной алгебре. Выступающий доказывает, что квадрат длины QX должен быть таким же, как X транспонирует QX, используя тот факт, что Q транспонирует Q равно тождеству. В видео также обсуждается построение ортогональных матриц с использованием различных методов, таких как матрицы Гордана и матрицы Хаусхолдера. Также объясняется важность и конструкция вейвлетов, а также концепция использования ортогональных собственных векторов при обработке сигналов. Наконец, спикер рассказывает о том, как проверять ортогональные векторы с комплексными числами, и упоминает, что ортогональные матрицы имеют ортогональные собственные векторы с разными собственными значениями.

• 00:00:00 В этом разделе речь пойдет о матрицах Q, которые названы в честь их ортонормированных столбцов. Ключевым фактом в матрицах Q является то, что ортонормированные столбцы преобразуются в простой факт, что транспонирование Q равно единичной матрице. Объяснение этому состоит в том, что квадрат длины каждого вектора в нормальной части матрицы равен 1, что приводит к единице в единичной матрице. Ортогональная часть матрицы имеет нули, что дает простое тождество. Для квадратных матриц Q преобразование Q равно единичной матрице, что делает Q ортогональной матрицей. Если Q прямоугольный, одним из примеров получения ортогональной матрицы 2 на 2 является косинус и синус тета. Матрица представляет собой вращение.
  
  
• 00:05:00 В этом разделе видео спикер обсуждает важное свойство ортогональных матриц, заключающееся в том, что они не меняют длину любого вектора. Это свойство делает их популярными для численных алгоритмов, так как при умножении на ортогональные матрицы никогда не бывает ни потери значимости, ни переполнения. Выступающий доказывает, что квадрат длины QX должен быть таким же, как X транспонирует QX, используя тот факт, что Q транспонирует Q равно тождеству. Докладчик также упоминает, что ортогональные матрицы также называют ортонормированными матрицами, и приводит несколько примеров ортогональных матриц размера два на два.
  
  
• 00:10:00 В этом разделе спикер обсуждает концепцию матрицы отражения, которая получается после внесения небольшого изменения в матрицу вращения. Полученная матрица симметрична и имеет определитель -1. Применительно к единичным векторам (1,0) и (0,1) матрица отражает их поперек линии и перпендикулярно первому столбцу соответственно. Докладчик также упоминает, что такие матрицы большего размера называются отражениями Хаусхолдера.
  
  
• 00:15:00 В этом разделе стенограмма обсуждает концепцию ортогональных матриц и их значение в числовой линейной алгебре. Матрица Хаусхолдера вводится как важная ортогональная матрица. Матрица Хаусхолдера создается, начиная с единичного вектора и вычитая дважды произведение единичного вектора и его транспонирования, в результате чего получается симметричная и ортогональная матрица. В расшифровке поясняется, что эти матрицы полезны для создания ортогоналов, и отмечается, что они лучше, чем метод Грама-Шмидта. Также демонстрируется процесс проверки того, является ли матрица Хаусхолдера ортогональной, и делается вывод, что это надежное семейство симметричных ортогональных матриц.
  
  
• 00:20:00 В этом разделе спикер обсуждает построение ортогональных матриц с использованием концепции матриц Гордана, которые представляют собой матрицы, состоящие только из единиц и отрицательных единиц. Он строит сложные примеры матриц Гордана, в которых каждый столбец ортогонален друг другу. Докладчик отмечает, что эта концепция может быть полезна в теории кодирования, и предполагает, что существует ортогональная матрица 12x12, состоящая из единиц и отрицательных единиц, что приводит к гипотезе о том, что таким образом можно построить матрицу любого размера (кроме 1x1 и 3x3).
  
  
• 00:25:00 В этом разделе спикер обсуждает гипотезу о том, существует ли возможная ортогональная матрица единиц и минус единиц с ортогональными столбцами каждого размера n. Хотя не было найдено систематического способа доказать это, предполагается, что каждое число, кратное четырем, может быть возможным. Докладчик также обсуждает важность и конструкцию вейвлетов, которые представляют собой простые, но важные конструкции, которые помогают создавать ортогональные векторы, особенно для симметричных матриц. Докладчик иллюстрирует эту концепцию, рисуя матрицу случаев четыре на четыре из четырех квадрантов, каждый из которых состоит из ортогональных векторов, следующих по образцу единиц и минус единиц.
  
  
• 00:30:00 В этом разделе спикер обсуждает вейвлеты и конструкцию матрицы вейвлетов Хаара, которая была разработана за много лет до изобретения термина «вейвлеты». Матрица Хаара имеет очень простые функции, которые делают ее пригодной для использования, и состоит из единиц и минус единиц, за которыми следуют нули. Преимущество матрицы состоит в том, что она является разреженной и используется для получения среднего значения и различий между значениями в разных масштабах. Дальнейшее развитие вейвлетов получила Ингрид Добаши, которая нашла семейства ортогональных матриц с хорошими свойствами. Это обсуждение приводит к следующей лекции о собственных значениях, собственных векторах и положительно определенных матрицах.
  
  
• 00:35:00 В этом разделе спикер говорит о важности ортогональных собственных векторов. Собственные векторы симметричных и ортогональных матриц автоматически становятся ортогональными, что упрощает поиск ортогональных векторов. Наиболее важным собственным вектором является дискретное преобразование Фурье, которое переходит в быстрое преобразование Фурье. Докладчик демонстрирует, как собственные векторы Q являются ортогональными, и повторяет, что дискретное преобразование Фурье чрезвычайно полезно при обработке сигналов, поскольку оно помогает разделить векторы на их частоты. Матрицы перестановок представляют собой переупорядочение единичной матрицы, а их столбцы ортогональны, что делает их победителями. В заключение докладчик рассказывает о том, как обсуждение в среду будет сосредоточено на собственных векторах и собственных значениях очереди.
  
  
• 00:40:00 В этом разделе спикер обсуждает ортогональные матрицы, повороты, отражения и собственные векторы. В видео объясняется, как работают собственные векторы матриц перестановок, и что первый столбец ортогонален второму (или, с точки зрения частоты, нулевой столбец ортогонален первому столбцу). Далее видео показывает, как каждый из четырех столбцов является собственным вектором перестановки и как они ортогональны друг другу. Наконец, в видео упоминается, что это похоже на дискретный материал Фурье, но вместо e к I, от II к IX есть векторы.
  
  
• 00:45:00 В этом разделе видео спикер рассказывает о том, как тестировать ортогональные векторы с комплексными числами. Он упоминает, что скалярное произведение без комплексного сопряжения может быть неточным, но использование комплексного сопряжения может показать ортогональность. Докладчик также упоминает, что собственные векторы ортогональной матрицы с разными собственными значениями должны быть ортогональны.

[MetaQuotes]

Лекция 4. Собственные значения и собственные векторы

4. Собственные значения и собственные векторы.

В этом видео объясняется концепция собственных значений и собственных векторов, а также то, как их можно использовать для расчета линейных преобразований. Далее также показано, как можно использовать собственные векторы для нахождения линейных уравнений в системе.

• 00:00:00 В этом видео автор объясняет концепцию собственных векторов и собственных значений квадратных матриц. Они также обсуждают полезность собственных векторов и собственных значений для некоторых задач. Наконец, автор обсуждает положительно определенные симметричные матрицы и их важность.
  
  
• 00:05:00 В видео обсуждается концепция собственных значений и собственных векторов, а также то, как их можно использовать для вычисления линейных преобразований. Далее также показано, как можно использовать собственные векторы для нахождения линейных уравнений в системе.
  
  
• 00:10:00 В этом видео объясняется, как можно использовать собственные значения и собственные векторы для быстрого решения разностных уравнений. Первое использование собственных векторов состоит в том, чтобы иметь возможность найти принципиальное применение, для которого они были изобретены, а именно, найти различия в векторных уравнениях. Кроме того, в ролике объясняется, как похожие матрицы имеют одинаковые собственные значения.
  
  
• 00:15:00 Видео объясняет, как вычисляются собственные значения и как они связаны с собственными векторами. Также обсуждается, как сохраняются собственные значения при умножении матриц.
  
  
• 00:20:00 В этом видео ведущий обсуждает понятие собственных значений и собственных векторов и объясняет, почему они могут не совпадать. Затем он продолжает обсуждение того, как две матрицы с одинаковыми собственными значениями могут все же различаться с точки зрения их собственных векторов.
  
  
• 00:25:00 В этом видео автор специализируется на симметричных матрицах, чтобы обсудить особенности собственных значений и собственных векторов. Он утверждает, что антисимметричная матрица имеет мнимые собственные значения.
  
  
• 00:30:00 В этом видео объясняются собственные значения и собственные векторы матрицы. Выполняются две быстрые проверки, чтобы убедиться, что вычисление выполнено правильно, а затем отображается трассировка матрицы. Наконец, объясняются симметричные и положительно определенные матрицы.
  
  
• 00:35:00 В видео обсуждаются собственные значения и собственные векторы симметричной матрицы. Собственные значения и собственные векторы важны для понимания структуры матрицы, и можно убедиться, что собственные значения остаются прежними. Дополнительно в видео обсуждается, как получить диагональную матрицу.
  
  
• 00:40:00 В этом видео автор диагонализует матрицу, находит собственные значения и находит M так, чтобы собственные векторы были похожи. Затем он записывает эту информацию в матричной форме и подтверждает, что она верна.
  
  
• 00:45:00 В этом видео обсуждаются концепции собственных значений и собственных векторов, а также то, как они связаны. Далее объясняется, как симметричная матрица может иметь разные представления собственных векторов и собственных значений и как вычислять эти представления с помощью спектральной теоремы.

[MetaQuotes]

Лекция 5. Положительно определенные и полуопределенные матрицы

5. Положительно определенные и полуопределенные матрицы.

В этом видео спикер резюмирует основные моменты предыдущих лекций по линейной алгебре, включая собственные значения, определители и опорные точки, каждая из которых обеспечивает тесты для положительно определенных матриц. Затем докладчик объясняет связь между положительно определенными и неопределенными матрицами, их связь с собственными значениями и определителями и как вычислить энергию в векторе X для матрицы. Спикер также обсуждает концепции глубокого обучения, нейронных сетей, машинного обучения и минимизации энергии. Они касаются концепции выпуклой функции и объясняют, как ее можно использовать в глубоком обучении. Наконец, докладчик вводит упражнения для положительно определенных и полуопределенных матриц и кратко упоминает предстоящую тему разложения по сингулярным числам.

• 00:00:00 В этом разделе спикер резюмирует основные моменты предыдущих пяти лекций по линейной алгебре, включая собственные значения, транспонированные детерминанты и опорные точки, каждая из которых обеспечивает тесты для положительно определенных матриц. Он объясняет, что положительно определенные матрицы являются лучшими из симметричных матриц и имеют положительные собственные значения, но помимо собственных значений есть дополнительные тесты. Докладчик демонстрирует, как определить, является ли матрица два на два положительно определенной, задав вопрос, имеет ли она положительные собственные значения, положительный определитель, положительные опорные точки или можно ли ее определенным образом разложить на множители.
  
  
• 00:05:00 В этом разделе докладчик обсуждает положительно определенные и неопределенные матрицы и их связь с собственными значениями и определителями. Определитель матрицы связан с ее собственными значениями, поскольку они являются произведением собственных значений, и если определитель отрицателен, то существует по крайней мере одно отрицательное собственное значение. Неопределенные матрицы можно сделать положительно определенными, изменив диагональные элементы, а ведущие определители (определители подматриц в верхнем левом углу) должны пройти тесты для обеспечения положительной определенности. Спикер также связывает развороты с детерминантами и исключением. В конечном счете говорящий определяет положительно определенные матрицы как те, которые проходят энергетический тест.
  
  
• 00:10:00 В этом разделе спикер демонстрирует, как вычислить энергию в векторе X для матрицы и показывает, что энергия положительно определенной матрицы больше нуля. Энергия в этом случае представляет собой чистую квадратичную функцию, которая может быть функцией потерь, используемой в глубоком обучении для минимизации разницы между обучающими данными и полученным числом. Диагональные числа матрицы 3 и 6 дают диагональные части, а перекрестные члены, которые могут стать отрицательными, дают 8 X Y.
  
  
• 00:15:00 В этом разделе спикер объясняет взаимосвязь между глубоким обучением, нейронными сетями, машинным обучением и минимизацией энергии. Докладчик использует аналогию с чашей, чтобы наглядно продемонстрировать, как работают нейронные сети, чтобы найти минимальное квадратичное значение для задачи, и как наличие нелинейных членов может усложнить задачу. Затем они объясняют, как машинное обучение для решения больших задач может занять неделю, потому что оно включает в себя минимизацию сложных функций, которые могут включать более 100 000 переменных. Спикер также затрагивает идею выпуклой функции и объясняет, как ее можно использовать в глубоком обучении.
  
  
• 00:20:00 В этом разделе спикер обсуждает концепцию градиентного спуска, который является основным алгоритмом, используемым в глубоком обучении, нейронных сетях и машинном обучении. Начиная с начальной точки на поверхности, алгоритм вычисляет производные функции, чтобы определить направление самого крутого склона или градиента, а затем следует по этому пути, пока не достигнет минимума или не повернется вверх. Алгоритм включает пересчет градиента на каждом шаге, пока не будет достигнут желаемый уровень точности.
  
  
• 00:25:00 В этом разделе объясняется концепция градиентного спуска, которая обычно используется в машинном обучении для оптимизации. Отмечено, что обычно для оптимизации вычисляются только первые производные, поскольку вычисление вторых производных для большого числа переменных может быть затруднено. Однако градиентный спуск имеет ограничения, например, при спуске по узкой долине. Положительно определенные матрицы важны, поскольку они придают форму чаши для оптимизации, но если собственные значения далеко друг от друга, это может вызвать проблемы. Наконец, разговор переходит к домашнему заданию.
  
  
• 00:30:00 В этом разделе спикер представляет упражнения для положительно определенных и полуопределенных матриц. Выступающий приводит пример положительно определенной матрицы S и положительно определенной матрицы T и спрашивает, является ли их сложение S + T положительно определенным. Спикер использует энергетический тест, чтобы ответить на этот вопрос, разделяя уравнение на две части, чтобы показать, что оно действительно положительно определено. Спикер также обсуждает положительность обратного греха, используя первый тест. Докладчик отмечает, что матрица должна быть симметричной, прежде чем она будет иметь действительные собственные значения и может подвергаться дальнейшему опросу.
  
  
• 00:35:00 В этом разделе спикер обсуждает понятие положительно определенных матриц и вводит понятие полуопределенных матриц. Положительно определенная матрица — это симметричная матрица, все собственные значения которой положительны. Докладчик показывает, как ортогональная матрица, умноженная на положительно определенную матрицу, дает симметричную матрицу. Затем они объясняют, почему подобные матрицы имеют одинаковые собственные значения и что эта новая симметричная матрица действительно положительно определена. Затем докладчик вводит понятие полуопределенных матриц, собственные значения которых больше или равны нулю. Они объясняют, как полуопределенные матрицы имеют нулевой определитель и могут иметь одно нулевое собственное значение, но их значение трассировки будет давать положительное число.
  
  
• 00:40:00 В этом разделе понятие положительно определенных матриц расширено за счет включения положительно полуопределенных матриц, лежащих на краю положительно определенных матриц. Собственные значения матрицы всех единиц равны 3, 0 и 0, что делает ее положительно полуопределенной матрицей. Тесты для собственных значений и энергий, больших или равных 0, остаются прежними, но теперь разрешены зависимые столбцы. Матрица должна быть симметричной, и если ее ранг всего 1, то она не может быть положительно определенной, но положительно полуопределенной, если собственные значения положительны.
  
  
• 00:45:00 В этом разделе спикер кратко упоминает, что темой следующего раздела будет разложение по сингулярным числам (SVD). Они также отмечают, что теперь охватили положительно определенные и полуопределенные матрицы, указывая на то, что они переходят к более сложным темам линейной алгебры.

[MetaQuotes]

Лекция 6. Разложение по собственным значениям (SVD)

6. Разложение по собственным значениям (SVD)

В этом видео объясняется концепция разложения по собственным значениям (SVD), которая используется для разложения матрицы на три матрицы, средняя из которых является диагональной и содержит сингулярные значения. SVD помогает понять взаимосвязь между A, Sigma и V, что в конечном итоге помогает решать уравнения. В видео обсуждается важность ортогональных векторов, собственных векторов и собственных значений в SVD, а также подчеркивается ортогональность матриц A и V. Видео также объясняет графическое представление процесса SVD и разложение матрицы по полюсам. Наконец, в видео обсуждается процесс извлечения самой важной части большой матрицы данных с помощью SVD.

• 00:00:00 В этом разделе инструктор обсуждает концепцию разложения по сингулярным значениям (SVD), которая аналогична собственным значениям, но применима к прямоугольным матрицам. Собственные значения невозможны для прямоугольных матриц, потому что собственные векторы либо комплексные, либо неортогональные. SVD вводит два набора сингулярных векторов и сингулярных значений вместо собственных векторов и собственных значений соответственно. Ключ к SVD заключается в том, что транспонированная а представляет собой большую матрицу, которая является квадратной и представляет собой произведение прямоугольных матриц. Первым шагом к выполнению SVD является демонстрация того, что любую матрицу можно разложить на множители u, умноженные на сигму, умноженные на V, транспонированные.
  
  
• 00:05:00 В этом разделе спикер обсуждает факторизацию матрицы A, транспонированную A, и вводит понятие собственных векторов и собственных значений. Матрица имеет положительно определенные собственные значения, которые используются для вычисления их квадратных корней. Собственные векторы этой матрицы квадратные, симметричные и положительно определенные. Результирующая матрица имеет те же собственные значения, но разные собственные векторы. Затем докладчик рассказывает о факторизации A, где мы ищем набор ортогональных векторов V, которые можно умножить на A, чтобы получить набор ортогональных векторов U. Эти векторы будут использоваться для вычисления разложения по сингулярным числам (SVD ). Цель SVD — найти разложение A на три матрицы, средняя из которых диагональна и содержит сингулярные значения A.
  
  
• 00:10:00 В этом разделе концепция ортогонального свойства V в выходном пространстве исследуется в общей картине линейной алгебры, где пространство разделено на пространство столбцов, нулевое пространство и другие. Показано, что когда V умножается на a, получающиеся в результате использования также ортогональны, что делает V особенными. Представлена матричная форма уравнений, и показано, что, глядя на транспонирование a, можно упростить задачу нахождения ортогональных и ортонормированных применений. Делается вывод, что транспонирование а симметрично, положительно определено и имеет диагональную форму, что говорит нам о свойствах V.
  
  
• 00:15:00 В этом разделе спикер обсуждает концепцию разложения по сингулярным значениям (SVD). V в SVD являются собственными векторами транспонирования A. Сигма транспонирования Sigma являются собственными значениями A транспонирования A. SVD устанавливается путем выполнения последнего шага понимания собственных векторов для двойных или тройных собственных значений. SVD помогает понять взаимосвязь между A, Sigma и V, что в конечном итоге поможет решить такие уравнения, как A, умноженное на A, транспонированное, умноженное на X, равное B.
  
  
• 00:20:00 В этом разделе спикер объясняет последний шаг процесса разложения по сингулярным числам (SVD), который доказывает, что выбранные базисные векторы U ортогональны. Для этого оратор показывает, что скалярное произведение U1 и U2 равно нулю. Поскольку U1 равно AV1/Sigma1, а U2 равно AV2/Sigma2, знаменатель дроби сокращается, в результате чего V1 транспонируется, умноженная на матрицу, умноженную на V2, то есть Sigma2 транспонируется V2. Поскольку V2 является собственным вектором A, транспонированным A, скалярное произведение между U1 и U2 равно нулю, что доказывает, что базисные векторы U ортогональны.
  
  
• 00:25:00 В этом разделе спикер обсуждает ортогональность матриц A и V в разложении по сингулярным числам (SVD) и их связь с собственными векторами. Показано, что матрицы A и V ортогональны друг другу в пространстве столбцов и строк соответственно. Затем докладчик обсуждает историю открытия и важность этой взаимосвязи в матрицах данных. Докладчик предостерегает от использования A transpose A для вычисления SVD, поскольку это может быть дорогостоящим в вычислительном отношении и уязвимым для ошибок округления. Наконец, спикер использует диаграмму, чтобы объяснить, как факторы SVD можно рассматривать как серию вращений и растяжений.
  
  
• 00:30:00 В этом разделе концепция разложения по сингулярным значениям (SVD) объясняется посредством графического представления процесса. Видео демонстрирует, как ортогональная матрица поворачивает единичные векторы и как Sigma растягивает их, в результате чего получается эллипс. Наконец, применяется ортогональная матрица U, которая поворачивает эллипс. Если матрица положительно определена и симметрична, то U совпадает с V, а S, первоначально заданное на входе, совпадает с выходом A. Видео также объясняет, как можно подсчитать параметры факторизации.
  
  
• 00:35:00 В этом разделе спикер объясняет соответствие чисел между левой и правой частями в разложении по сингулярным числам (SVD) на примере два на два. Для поворота в SVD требуется два параметра, а для растяжения — два параметра, что в сумме дает четыре параметра, соответствующие четырем числам в SVD. Дополнительно спикер рассказывает о расчете СВД для матрицы три на три и предполагает, что для вращения в трехмерном пространстве нужны три параметра, а именно крен, тангаж и рыскание. Наконец, спикер упоминает, что пример для SVD, представленный в тексте, предназначен для конкретной матрицы, и вводит несколько фактов о собственных значениях и сингулярных значениях.
  
  
• 00:40:00 В этом разделе спикер объясняет, что определитель произведения СВД равен произведению сингулярных чисел. Используемый пример показывает, что произведение сигм также равно определителю. Однако вычисление примеров SVD занимает больше времени, так как приходится извлекать квадратные корни аргумента. Докладчик подчеркивает, что наиболее важные части SVD будут использоваться в следующем сеансе, включая меньшую и большую формы SVD, которые состоят из ненулевых значений и учитывают нулевое пространство соответственно.
  
  
• 00:45:00 В этом разделе спикер представляет полюсное разложение матрицы, которое разлагает любую матрицу на симметричную матрицу, умноженную на ортогональную матрицу. Это известная факторизация в технике и геометрии, и ее можно быстро получить из СВД. Вставив тождество и немного сдвинув вещи, S и Q можно считать с SVD, чтобы восстановить это разложение матрицы, которое на языке машиностроения говорит нам, что любое напряжение может быть описано как симметричное растяжение и внутреннее скручивание. .
  
  
• 00:50:00 В этом разделе спикер объясняет процесс извлечения самой важной части большой матрицы данных, чем должна заниматься наука о данных, так как часть матрицы — это шум, а часть — сигнал. Чтобы найти наиболее значимую часть сигнала, говорящий исследует u Sigma Vtranspose, выбирая наиболее существенное число, Sigma 1. Это число вместе со своим столбцом и строкой образует наиболее критическую часть матрицы, поскольку оно имеет имеет самый существенный ранг и, таким образом, является частью матрицы с наибольшей дисперсией. Следующим шагом является вычисление этих трех элементов для более полного понимания данных.

[MetaQuotes]

Лекция 7. Эккарт-Янг: матрица ранга k, ближайшая к A

7. Эккарт-Янг: матрица ранга k, ближайшая к A

В этом видео на YouTube лектор объясняет концепцию анализа главных компонентов (PCA), который используется для понимания матрицы данных и извлечения из нее значимой информации. Подчеркивается важность наибольших k сингулярных значений матрицы, которые содержат наиболее важную информацию, и теорема Эккарта-Юнга, которая утверждает, что первые k частей сингулярного разложения обеспечивают наилучшее приближение к матрице ранга k , вводится. Докладчик также обсуждает различные типы норм для векторов и матриц, включая нормы l2, l1 и бесконечности. Подчеркивается важность нормы Фробениуса в соревнованиях Netflix и МРТ, а также понятие матрицы ранга k, ближайшей к A. Докладчик также обсуждает использование ортогональных матриц для сохранения свойств исходной матрицы и вводит понятие Singular Value Decomposition (SVD) и его связь с PCA. Наконец, обсуждается важность решения линейной системы уравнений, включающей прямоугольную матрицу A и ее транспонирование, а также использование метода SVD для нахождения наилучшего соотношения возраста и роста для заданного набора данных.

• 00:00:00 В этом разделе лектор объясняет концепцию анализа главных компонентов (PCA), который представляет собой инструмент, используемый для понимания матрицы данных. Он подчеркивает важность извлечения значимой информации из данных, а не копирования всего. Он объясняет, что наибольшие k сингулярных значений матрицы содержат наиболее важные факты, а K является наилучшей аппроксимацией матрицы ранга K. Вводится теорема Эккерта-Юнга, которая утверждает, что использование первых K фрагментов разложения по сингулярным числам является наилучшим приближением к матрице ранга K, и лектор объясняет различные меры нормы матрицы.
  
  
• 00:05:00 В этом разделе спикер обсуждает разные типы норм для векторов и матриц. Норма l2, или наибольшее сингулярное значение, является важной нормой для матриц. Докладчик объясняет, что при минимизации функции с использованием нормы l1 выигрышный вектор оказывается разреженным или в основном состоит из 0 компонентов, что полезно при обработке и распознавании сигналов. Норма l1 также известна как базисное преследование и важна, поскольку позволяет интерпретировать компоненты выигрышного вектора. Сравниваются нормы l2 и l1, и говорящий также вводит норму бесконечности.
  
  
• 00:10:00 В этом разделе спикер объясняет три важные нормы матрицы. Первая — это двойная норма, которая аналогична длине вектора и удовлетворяет неравенству треугольника. Вторая — норма Фробениуса, которая рассматривает элементы матрицы как длинный вектор и извлекает квадратный корень из суммы их квадратов. Третий — ядерная норма, представляющая собой сумму сингулярных значений матрицы. Эти нормы важны, потому что все они удовлетворяют утверждению Эккарта-Юнга о том, что ближайшее приближение ранга K к матрице может быть найдено из ее первых K сингулярных значений.
  
  
• 00:15:00 В этом разделе спикер обсуждает, как нормы L2 и Фробениуса матрицы зависят только от ее сингулярных значений. Норма Фробениуса использовалась в конкурсе Netflix, где участники должны были заполнить большую матрицу рейтинга фильмов с отсутствующими элементами, и она оказалась правильной нормой для наилучшего заполнения матрицы ядерной нормой. Этот метод заполнения матрицы теперь используется для МРТ с отсутствующими данными, где он может дать отличное изображение даже с неполными данными.
  
  
• 00:20:00 В этом разделе спикер обсуждает концепцию матрицы ранга k, ближайшей к A. Это включает в себя заполнение матрицы путем заполнения того, что МРТ увидела бы в позициях, где она не смотрела достаточно долго, используя ядерная норма. Приведенный пример относится к матрице четвертого ранга, и чтобы найти наилучшее приближение второго ранга, говорящий выбирает 4 и 3 как два самых больших значения. Любая другая матрица B будет дальше от A, чем выбранная матрица, хотя это и не очевидно, поскольку зависит от нормы. Суть теоремы в том, что найти ближайшую матрицу ранга k к A непросто, и требуется доказательство.
  
  
• 00:25:00 В этом разделе спикер обсуждает, что диагональные матрицы не такие уж особенные, как кажутся, и вводит понятие ортогональной матрицы, которую можно использовать для умножения с обеих сторон данной матрицы. Докладчик задает вопрос, что происходит с сингулярными значениями матрицы при умножении на ортогональную матрицу, и поясняет, что сингулярные значения не изменятся. Спикер также объясняет, что нормы векторов не изменяются ортогональными матрицами, и делает вывод, что ортогональные матрицы так же хороши, как и диагональные матрицы с точки зрения сохранения свойств исходной матрицы.
  
  
• 00:30:00 В этом разделе концепция разложения по сингулярным значениям (SVD) объяснялась в контексте матричного контроля качества. Матрица QA SVD состоит из диагональной матрицы Sigma справа от нее; V транспонировать справа от сигмы; и Q u слева от сигмы, где Q u — ортогональная матрица. В этом разделе была представлена концепция анализа основных компонентов (PCA) и объяснено, как извлечь значимую информацию из точек данных. Первым шагом в PCA было получение среднего нуля путем вычитания средних значений точек данных для каждого компонента. Далее в этом разделе объяснялось, как полученные значения можно использовать для нахождения линейной зависимости между компонентами.
  
  
• 00:35:00 В этом разделе спикер обсуждает анализ главных компонентов (АГК) и чем он отличается от метода наименьших квадратов. В то время как метод наименьших квадратов измеряет ошибки между точками и линией, PCA измеряет перпендикулярное расстояние точек от линии и суммирует их квадраты, чтобы минимизировать их. Следовательно, решение этой проблемы включает сигмы с разложением по сингулярным значениям (SVD) вместо уравнений, найденных в обычной линейной алгебре. Докладчик различает задачу поиска наилучшего линейного соотношения в PCA от поиска решения методом наименьших квадратов, поскольку первая задача направлена на линейное моделирование нелинейных данных.
  
  
• 00:40:00 В этом разделе спикер обсуждает важность решения линейной системы уравнений с прямоугольной матрицей A и ее транспонированием. Хотя это фундаментальное приложение в 1806 году, спикер отмечает, что это не то же самое, что анализ главных компонентов (PCA), который статистики применяли в течение длительного времени. Он отмечает, что ковариационная матрица или выборочная ковариационная матрица, которая включает среднее значение и дисперсию, играет огромную роль в таких статистических приложениях. В частности, выборочная ковариационная матрица вычисляется из выборок и нормализуется по количеству точек данных, и это точно поезд транспонирования.
  
  
• 00:45:00 В этом разделе спикер представляет задачу, которая заключается в поиске наилучшего соотношения возраста и роста для заданного набора данных. Цель состоит в том, чтобы минимизировать расстояние между заданными данными и решением. Спикер предполагает, что ответ заключается в нахождении вектора, указывающего в правильном направлении, который может быть главным компонентом в симметричной положительно определенной матрице. В качестве решения этой проблемы предлагается метод SVD.

[MetaQuotes]

Лекция 8: Нормы векторов и матриц

Лекция 8: Нормы векторов и матриц

В этой лекции обсуждается концепция норм векторов и матриц, включая нормы L1 и max, а также их применение в таких областях, как измерение сжатия и обработка сигналов. В лекции также рассказывается о важности неравенства треугольника в нормах, форме s-норм и связи между L2-нормой векторов и матриц. Кроме того, лекция исследует норму Фробениуса и ядерную норму, которая остается гипотезой для оптимизации нейронных сетей, и подчеркивает важность преподавания и обучения вместе со студентами.

• 00:00:00 В этом разделе спикер обсуждает интересное наблюдение, сделанное преподавателем Слоановской школы Массачусетского технологического института, относительно того, как люди угадывают результат подбрасывания монеты. Он объясняет, что, хотя теоретически оптимальной стратегией было бы последовательное угадывание орла, люди и животные в конечном итоге угадывают решку примерно в четверти случаев, хотя шансы выпадения орла намного выше. Причина этого не поясняется, так как у спикера не было достаточно времени, чтобы выслушать объяснение. Докладчик также кратко знакомит с концепцией норм и их значением при измерении размера векторов, матриц, тензоров и функций.
  
  
• 00:05:00 В этом разделе обсуждается понятие норм векторов и матриц. Лектор знакомит с различными типами норм, такими как норма L1 и максимальная норма, которые являются неотъемлемой частью области измерения сжатия и обработки сигналов. Он объясняет, что P-норма равняет степень P степени P здесь P, где взятие степеней P и корней P даст норму двух V, чтобы иметь коэффициент два по сравнению с нормой V. Кроме того, нулевой вводится норма, число ненулевых компонент которой дает меру разреженности матриц и векторов. Однако это не норма, потому что это нарушает правило, согласно которому одинаковое количество ненулевых компонентов имеет одинаковую норму, и обсуждаются математические статьи от единицы до бесконечности, где существуют правильные нормы.
  
  
• 00:10:00 В этом разделе лектор обсуждает нормы векторов и матриц. Единичный шар для нормы представляет собой окружность с уравнением v1 в квадрате плюс v2 в квадрате равно единице. Единичный шар для нормы l1 представляет собой ромб с прямым графиком v1 плюс v2, равным единице в положительном квадранте. Единичный шар для максимальной нормы также нанесен с нулевыми точками, +/- единицей и +/- i, равными max, а остальная часть границы требует небольшого размышления, чтобы выяснить. При изменении числа p норма начинается с ромба, расширяется до круга при p, равном двум, и становится квадратом при p, равном бесконечности. Наконец, норма 0 не включена, а на осях находятся точки только с одним ненулевым значением.
  
  
• 00:15:00 В этом разделе лектор обсуждает различные типы норм, такие как L1 или манхэттенская норма, L2 или евклидова норма и s-норма, которая является нормой положительно определенных симметричных матриц. Лектор отмечает важность неравенства треугольника в нормах, которое в некоторых случаях нарушается, например, при использовании нормы Lp с p меньше единицы. Кроме того, показано, что s-норма имеет специфический вид, удовлетворяющий свойству выпуклости, которым не обладают некоторые нормы, нарушающие правила нормы.
  
  
• 00:20:00 В этом разделе лектор обсуждает разные типы норм, которые можно применять к векторам и матрицам. Норма L2 используется, когда матрица S является единичной матрицей, но использование другой матрицы S изменит форму нормы. Типичным случаем является S, равное 3, что создает взвешенную норму, представленную эллипсом. Все векторные нормы являются вариациями нормы L2 с разными значениями P. Лектор также кратко упоминает проблему поиска базиса и регрессию хребта с соответствующими нормами L1 и L2.
  
  
• 00:25:00 В этом разделе лектор обсуждает понятие норм в оптимизации, в частности нормы L1 и L2. На примере нахождения точки на прямой с наименьшей нормой L2, а затем с наименьшей нормой L1, лектор подчеркивает, что точка с наименьшей нормой L1 является победителем и имеет наибольшее количество нулей, что делает ее разреженным вектором. Это важный факт, распространяющийся на более высокие измерения и делающий норму L1 особенной. В целом лекция посвящена нюансам и применению норм в оптимизации нейронных сетей и жизни в целом.
  
  
• 00:30:00 В этом разделе спикер обсуждает победителя нормы L1 и то, как нецелесообразно идти дальше по линии, поскольку это увеличивает ненулевое значение по сравнению со вторым компонентом. Они также вводят понятие двух норм матриц и то, как оно связано с двумя нормами векторов через коэффициент расширения, который представляет собой максимальное отношение двух норм AX к двум нормам X. Матричная норма определяется как максимальный коэффициент расширения по всем X.
  
  
• 00:35:00 В этом разделе лектор обсуждает нормы матриц и как найти хорошую норму матрицы. Он объясняет, что максимальное значение отношения, полученное с помощью двух норм, называется сигмой 1. Это значение можно использовать для определения того, что представляет собой сингулярный вектор, не находя их всех. Кроме того, другие матричные нормы могут быть получены путем максимизации этого коэффициента расширения в этой векторной норме. Сингулярные векторы — это способ нахождения норм, поэтому собственные векторы могут не работать при работе с несимметричными матрицами.
  
  
• 00:40:00 В этом разделе лектор обсуждает норму Фробениуса матриц, которая обозначается заглавной F и эквивалентна квадратному корню из суммы всех возведенных в квадрат элементов матрицы. Эта норма связана с сигмами, квадратами сингулярных значений SVD. Кроме того, в лекции исследуется, как связаны между собой ортогональная матрица и норма Фробениуса и как ядерная норма связана с алгоритмами оптимизации глубокого обучения.
  
  
• 00:45:00 В этом разделе лектор обсуждает гипотезу о том, что в модельной ситуации оптимизация методом градиентного спуска выбирает веса, минимизирующие ядерную норму. Ядерная норма представляет собой сумму сингулярных значений матрицы, аналогичную норме L1 для векторов. Эта гипотеза остается недоказанной, но эта идея имеет потенциальное применение в глубоком обучении и сжатом восприятии. Лектор подчеркивает, что его работа заключается не в том, чтобы оценивать студентов, а в том, чтобы учить и учиться вместе с ними. Лекция завершается объявлением третьего домашнего задания, в котором будут использованы записи из восьмого и девятого разделов.

[MetaQuotes]

Лекция 9. Четыре способа решения задачи наименьших квадратов

9. Четыре способа решения задачи наименьших квадратов

В этом видео инструктор обсуждает концепцию наименьших квадратов и различные способы ее применения. Он подчеркивает важность метода наименьших квадратов, поскольку это важная проблема линейной алгебры, которая служит связующим звеном, скрепляющим весь курс. В видео рассказывается о псевдообратных матрицах, SVD обратимых и необратимых матриц, а также о различных методах решения задач наименьших квадратов, включая план Гаусса и ортогональные столбцы. В видео также обсуждается идея минимизации расстояния между ax + b и фактическими измерениями с использованием квадрата нормы L2 и то, как это связано с линейной регрессией и статистикой. Кроме того, видео дает представление о проекте, в котором используется материал, изученный в ходе курса, с упором на такие области, как машинное обучение и глубокое обучение.

• 00:00:00 В этом разделе инструктор обсуждает важность метода наименьших квадратов и то, как это важная проблема в линейной алгебре. Он упоминает, что существуют различные подходы к методу наименьших квадратов, и этот предмет является связующим звеном, скрепляющим весь курс. Он также упоминает, что не будет никаких выпускных экзаменов или тестов, но вместо этого он будет поощрять проект, в котором используется материал, изученный в ходе курса. Проект будет включать в себя различные области, такие как машинное обучение и глубокое обучение, и он разошлет сообщение о деталях проекта, когда придет время.
  
  
• 00:05:00 В этом разделе спикер объясняет понятие псевдообратной матрицы. Обратное, если оно существует, позволяет нам умножить на него и затем вернуться к исходному вектору, но для матрицы без обратного мы обратимся к псевдообратному. Это актуально в случаях, когда матрица прямоугольная, имеет нулевые собственные значения или имеет нулевое пространство. Спикер использует изображение строки и столбца, чтобы объяснить, какие части изображения обратимы, а какие безнадежны. Псевдоинверсия будет использоваться для решения задач, когда матрица необратима, обеспечивая адекватное решение.
  
  
• 00:10:00 В этом разделе спикер объясняет, как определить псевдоинверсию матрицы для ситуаций, когда матрицу нельзя инвертировать. Они обсуждают, как обращаться с нулевым пространством матрицы и что в этом случае должна делать псевдоинверсия. Спикер дает план того, что должна делать псевдоинверсия в пространстве столбцов и ортогональном пространстве, где никто не попадает в нее. Используя SVD, они обеспечивают формулу для псевдообратной, которая включает проецирование матрицы на единичную матрицу в верхней половине и ноль в нижней половине.
  
  
• 00:15:00 В этом разделе видео обсуждается SVD (разложение по сингулярным числам) обратимой матрицы, где SVD возвращает V обратно к U или наоборот. Если матрица необратима, то ее SVD требует, чтобы ее прямоугольная сигма-матрица была заменена ее псевдообратной. На видео показан пример матрицы с двумя независимыми столбцами, где у сигмы только два ненулевых значения, а остальные — нули, что представляет собой полную сингулярную ситуацию. В результате лучший вариант — использовать псевдообратную сигму вместо обратной сигмы.
  
  
• 00:20:00 В этом разделе понятие сигма плюс, псевдообратная сигма, вводится как решение для прямоугольных матриц, которые нельзя инвертировать. Псевдообратное используется для решения задачи наименьших квадратов, где есть уравнение ax, равное B, но a не обратимо. Эта проблема возникает, когда слишком много измерений или шума. Матрица сигма плюс используется для получения векторов в пространстве столбцов, в то время как векторы в ортогональном пространстве считаются неразрешимыми. Первый способ решить задачу наименьших квадратов — использовать матрицу сигма плюс для получения решения.
  
  
• 00:25:00 В этом разделе спикер обсуждает задачу наименьших квадратов подгонки прямой линии к зашумленным измерениям с использованием линейной системы уравнений. Они объясняют, что если измерения лежат на прямой, то линейная система имеет решение, но в общем случае его нет. Затем они вводят идею минимизации расстояния между ax + b и фактическими измерениями с использованием квадрата нормы L2. Этот метод был предложен Гауссом и используется для нахождения наилучших значений C и D в уравнении Cx + D, представляющем прямую линию, ближайшую к измерениям.
  
  
• 00:30:00 В этом разделе спикер объясняет концепцию наименьших квадратов и то, как она используется для решения неразрешимых задач в линейной регрессии и статистике. Путем минимизации квадратичной функции потерь создается система линейных уравнений, которая в конечном итоге дает лучший ответ, следуя совету Гаусса. Наилучшее значение X находится путем решения уравнения: транспонирование a, умноженное на X, равно транспонированию B, что приводит к минимуму. Затем спикер рисует график, чтобы объяснить концепцию столбцового пространства A и того, как B не находится в столбцовом пространстве, и как квадраты и нормальные уравнения приводят к лучшему AX.
  
  
• 00:35:00 В этом разделе спикер обсуждает различные методы решения задач наименьших квадратов. Метод 2 включает решение нормальных уравнений с использованием матриц в MATLAB. Однако этот метод может не работать, если матрица имеет почти сингулярные столбцы. Метод 3 включает использование плана Гаусса, который работает только в том случае, если матрица имеет независимые столбцы, что означает, что матрица обратима. Псевдообратный метод также можно использовать, когда матрица необратима, но имеет независимые столбцы. На протяжении всего раздела подчеркивается важность обратимости матрицы.
  
  
• 00:40:00 В этом разделе спикер объясняет, что когда нулевое пространство равно нулю, ответ от псевдоинверсного метода совпадает с ответом, полученным от метода транспонирования обратного транспонирования B. Однако докладчик отмечает, что нулевое пространство транспонирования необратимо, но транспонирование обратимо. Кроме того, спикер объясняет, что транспонированная матрица делает все возможное, чтобы быть обратной, но это недостаточно близко. Показано, что псевдоинверсия работает, когда ранг равен.
  
  
• 00:45:00 В этом разделе спикер обсуждает еще два способа решения задачи наименьших квадратов. Третий способ предполагает получение сначала ортогональных столбцов, что упростит задачу. Процедура Грама-Шмидта — это один из способов естественного получения ортогональных векторов. Четвертый и последний способ решения задачи наименьших квадратов подробно не обсуждается, но он предполагает использование того факта, что данных в реальной жизни часто мало. В заключение выступающий отмечает, что метод наименьших квадратов не является новой концепцией и продолжает использоваться по уважительной причине.

[MetaQuotes]

Лекция 10: Обзор трудностей с Ax = b

Лекция 10: Обзор трудностей с Ax = b

В этой лекции по численной линейной алгебре обсуждаются трудности с решением линейных уравнений вида Ax=b. Эти трудности возникают, когда матрица A почти сингулярна, что делает ее обратную неоправданно большой, и когда задача слишком велика с гигантской матрицей, которую невозможно решить за приемлемое время. Лектор описывает несколько возможностей решения задачи, начиная от простого нормального случая и заканчивая чрезвычайно сложным случаем недоопределенных уравнений. Обсуждается использование рандомизированной линейной алгебры, итерационных методов и SVD, а также важность поиска решений, которые работают с тестовыми данными, особенно с глубоким обучением. Кроме того, лектор подчеркивает, что SVD по-прежнему является лучшим инструментом для диагностики любых проблем с матрицей.

• 00:00:00 В этом разделе лектор обсуждает трудности, которые могут возникнуть при попытке решить уравнение Ax = B. Он отмечает, что задача может встречаться в различных размерах и рангах, а также может быть почти единственной или почти единственной. Он описывает несколько возможностей решения проблемы, начиная от простого нормального случая квадратной матрицы с разумным числом обусловленности и заканчивая чрезвычайно сложным случаем недоопределенных уравнений. В последнем случае лектор отмечает, что проблема распространена в глубоком обучении и что может существовать несколько решений.
  
  
• 00:05:00 В этом разделе лектор обсуждает сложные задачи с Ax=b и как к ним подходить. Эти проблемы обычно возникают, когда столбцы матрицы почти зависимы, что затрудняет принятие столбцов a1, a2, вплоть до a данной матрицы. Решение этой проблемы состоит в том, чтобы найти ортонормированные векторы-столбцы в этом пространстве столбцов с помощью Грама-Шмидта и зафиксировать столбцы путем их ортогонализации. Лектор сохраняет обсуждение Грэма-Шмидта до следующей лекции, но предупреждает о важности поворота столбцов, что позволяет переупорядочивать столбцы — концепция, которая также применима при исключении.
  
  
• 00:10:00 В этом разделе лектор обсуждает трудности с решением линейных уравнений вида Ax=b, в том числе возможность того, что матрица может быть почти вырожденной, что делает ее обратную неоправданно большой. Лектор также рассказывает об обратных задачах, которые обычно представляют собой задачи, в которых вы знаете выходные данные системы, но должны определить структуру или входные данные сети. Эти проблемы часто дают почти сингулярные матрицы, что затрудняет точное решение системы без добавления штрафного члена для минимизации проблемы. Также упоминаются миры Leu и QR, обмен строками и ортогонализация Грама-Шмидта.
  
  
• 00:15:00 В этом разделе мы узнаем о некоторых трудностях, возникающих при решении линейных уравнений методом Ax=b. Одна из таких трудностей возникает, когда матрица A плохо обусловлена, что приводит к приближению векторов к нулю и гигантской обратной транспонированной a. Чтобы противостоять этому, нам нужно оштрафовать A, что сделает его более хорошо обусловленным, но также сдвинет проблему к решению, насколько сильно его оштрафовать. Другой метод — это итерационные методы, такие как метод сопряженных градиентов, когда мы делаем шаг все ближе и ближе к точному ответу, пока он не станет достаточно близким. Когда проблема слишком велика с гигантской матрицей, которую невозможно решить за приемлемое время, рандомизированная линейная алгебра используется для выборки столбцов и строк матрицы, чтобы получить ответ из выборки.
  
  
• 00:20:00 В этом разделе лектор обсуждает использование рандомизированной линейной алгебры для определения решений сложных задач в случаях, когда матрица разумна. Хотя нет гарантии, что решения будут правильными, использование вероятностей неравенств может дать хорошее решение проблемы. В качестве методов поиска решений обсуждаются итерационные методы и рандомизированные алгоритмы, а также использование СВД. Лектор подчеркивает важность поиска решений, которые работают с тестовыми данными, особенно с глубоким обучением, и обсуждает глубокие математические вопросы, возникающие в связи с этой проблемой. SVD объясняется как потенциальное решение, когда матрица почти сингулярна.
  
  
• 00:25:00 В этом разделе профессор обсуждает метод регуляризации задачи нахождения минимальной суммы ax минус B в квадрате при наличии больших обратных величин. При использовании задачи наименьших квадратов с дополнительным штрафным членом, включающим положительную дельту, даже когда это значение стремится к нулю или a делает сумасшедшие вещи, проблема все равно будет решаемой, и функция гарантированно не будет единственной. При стремлении дельты к нулю поведение результата резко меняется, и этот фактор может зависеть от уровня шума в системе.
  
  
• 00:30:00 В этом разделе видео спикер обсуждает решение для данной дельты и анализирует, существует ли решение. Основное внимание уделяется решению задачи один за другим, которая включает в себя нахождение минимума штрафной задачи наименьших квадратов. Уравнение решается путем установки производной в ноль, а полученное значение X используется для определения предела, когда дельта стремится к нулю. Две возможности заключаются в том, что сигма не равна нулю, и решение приближается к обратному значению сигмы, или сигма равна нулю, а решение не существует.
  
  
• 00:35:00 В этом разделе видео спикер обсуждает поведение подхода штрафных квадратов, когда штрафной срок стремится к нулю. Докладчик отмечает, что в этом случае система ведет себя странно, с внезапным раздвоением между нулем и ненулевым пределом. Этот предел идентифицируется как псевдообратный, и по мере того, как дельта становится все меньше и меньше, решение системы приближается к псевдообратному, что является всегда правильным ответом для системы. Докладчик отмечает, что на практике такой подход был бы полезен для нахождения неизвестных параметров системы, таких как сопротивления и индуктивности в электрической цепи.
  
  
• 00:40:00 В этом разделе лектор объясняет, что решение задачи Ax=b может быть достигнуто путем добавления штрафного члена для регуляризации задачи. Штрафной член можно ввести, используя норму L1, которая дает разреженные решения без большого количества мелких компонентов в ответе. Он также обсуждает важность итерационных методов в традиционной линейной алгебре и Грамма-Шмидта с поворотом или без него. Однако он решает затронуть эти темы в следующей лекции.
  
  
• 00:45:00 В этом разделе лектор обсуждает, как SVD является эффективным инструментом для доказательства вещей о матрицах; он упрощает беспорядочную проблему до проблемы с диагональной матрицей Sigma посередине, поэтому он полезен при диагностике любых проблем с матрицей. Кроме того, лектор приводит формулу для особого случая задачи, где сигма используется в качестве диагональной матрицы, подразумевая, что понимание поведения сигмы, особенно на каждом диагональном входе, имеет жизненно важное значение для решения таких задач. СВД, подчёркивает лектор, до сих пор является лучшим инструментом для этого. Наконец, лектор подчеркивает, что эта лекция представляет собой обзор того, с чем имеет дело числовая линейная алгебра, и хотя еще не все темы были освещены, они будут на оставшихся сессиях.

[MetaQuotes]

Лекция 11: Минимизация ‖x‖ при условии Ax = b

Лекция 11: Минимизация ‖x‖ при условии Ax = b

В этой лекции докладчик охватывает ряд тем, связанных с числовой линейной алгеброй. Они начинают с обсуждения проблем, которые могут возникнуть при решении для Ax=b, затем переходят к процессу Грама-Шмидта для нахождения ортогонального базиса пространства и модифицированному методу Грама-Шмидта для минимизации «x» при условии, что Ax = b . Докладчик также вводит концепцию обмена столбцами или поворота столбцов в более профессиональном алгоритме Грама-Шмидта и обсуждает усовершенствование стандартного процесса Грама-Шмидта для ортонормирования столбцов матрицы A. Они также затрагивают идею пространства Крылова. для решения проблемы Ax=b и важности наличия хорошей основы для минимизации ‖x‖ при условии Ax = b. Наконец, они упоминают, что закончили с проблемой минимизации x при Ax=b и переходят к решению проблемы работы с очень большими матрицами.

• 00:00:00 В этом разделе лектор упоминает три вещи. Во-первых, проблемы, которые могут возникнуть при решении для Ax=b, в том числе когда A слишком велико, чтобы поместиться в ядро, но доступны другие методы. Во-вторых, он показывает черновой первый набросок двух страниц своей книги и объясняет двухлетний процесс, который он проходит, чтобы усовершенствовать и улучшить ее. В-третьих, он обсуждает минимизацию различных норм, таких как L1 или L2, или максимальная L бесконечная норма, для условия решения с ограничением удовлетворяемого уравнения, обеспечивая визуальное представление разницы между L1, L2 и L бесконечными нормами.
  
  
• 00:05:00 В этом разделе спикер обсуждает выигрышную точку для разных единичных шаров в разных нормальных пространствах, включая L1, L2 и бесконечность L. Он показывает, как найти выигрышную точку или точку, которая первой коснется линии, в каждом случае. Затем он представляет тему дня, Грамма-Шмидта, которая представляет собой способ сделать неортогональную матрицу ортогональной, найдя другой набор векторов, которые охватывают одно и то же пространство, оставаясь при этом ортогональными. Он излагает общие факты о Граме-Шмидте и упоминает, что это стандартная тема, изучаемая на курсах линейной алгебры.
  
  
• 00:10:00 В этом разделе профессор объясняет процесс Грама-Шмидта, который открывает изображение матрицы для получения ортогональной матрицы со столбцами от Q1 до Qn, которые являются ортонормированными. Матрица R используется, чтобы сказать, из каких комбинаций состоят Q, или наоборот, чтобы сказать, как A связано с окончательным Q. Уравнение для R представляет собой транспонирование Q, умноженное на A, а записи в R являются просто внутренним произведением Q. с Ас. Профессор показывает, что в R нет ничего таинственного из-за ортогональной матрицы Q. Команда MATLAB будет QR для A вместо Lu для A.
  
  
• 00:15:00 В этом разделе лекция объясняет процесс Грама-Шмидта для нахождения ортогонального базиса пространства. Лекция начинается с неортогонального базиса, и цель состоит в том, чтобы построить ортогональный базис. Процесс начинается с того, что первый вектор-столбец является первым базисным вектором, а затем берется второй вектор и ортогонализируется с первым вектором. Следующим шагом является построение третьего вектора, ортогонального первым двум векторам. Это продолжается до тех пор, пока весь базисный набор не будет построен ортогонально. Наконец, мы делим каждый вектор на его норму, чтобы сделать каждый базисный вектор единичным вектором. Грам-Шмидт берет неортогональный базисный набор и генерирует ортогональный набор, подходящий для проекционных методов.
  
  
• 00:20:00 В этом разделе спикер обсуждает модифицированный метод Грама-Шмидта для минимизации ‖x‖ при условии Ax = b. Они объясняют процесс вычитания компонентов Q1 и Q2 из вектора и проверки ортогональности результирующего вектора. Они также обращают внимание на опасность упорядочения строк во время исключения и предлагают использовать модифицированный метод Грама-Шмидта, чтобы избежать вычислительных ошибок.
  
  
• 00:25:00 В этом разделе лекции спикер обсуждает идею обмена столбцами или поворота столбцов в более профессиональном алгоритме Грама-Шмидта. Подобно исключению, в грамм-шмидте, если новая часть столбца слишком мала, это может привести к ошибкам округления, которые невозможно удалить. Поэтому для алгоритма важно проверять размер опорной точки и при необходимости менять местами строки. Основная идея обмена столбцами состоит в том, чтобы сравнить новую часть столбца со всеми другими потенциальными возможностями, чтобы найти самый большой компонент, прежде чем принимать решение о следующем шаге. Этот процесс имеет решающее значение для предотвращения ошибок округления, которые могут повлиять на точность результата.
  
  
• 00:30:00 В этом разделе спикер объясняет усовершенствование стандартного процесса Грама-Шмидта для ортонормирования столбцов матрицы A. Вместо того, чтобы рассматривать только следующий столбец в A, улучшение включает рассмотрение всех оставшихся столбцов в A, когда ортонормирование каждого нового столбца. Спикер утверждает, что это не больше работы, чем стандартный метод, поскольку все необходимые вычитания в любом случае вычисляются быстрее. Улучшение основано на выборе наибольшего оставшегося столбца и аналогично выбору наибольшего опорного значения в методе исключения Гаусса.
  
  
• 00:35:00 В этом разделе лектор знакомит с идеей пространства Крылова для решения задачи о больших матрицах Ax=b. Пространство Крылова представляет собой комбинацию векторов, охватывающих пространство, и лектор использует комбинации этих векторов, чтобы найти решение наименьших квадратов в этом пространстве, XJ. Пространство Крылова определяется умножением векторов A на J с точностью до A^k-1B. Лектор ищет в этом пространстве лучшее решение для решения задачи Ax=b. Однако в этом методе все же есть загвоздка.
  
  
• 00:40:00 В этом разделе спикер обсуждает важность наличия хорошей основы для минимизации ‖x‖ при условии Ax = b. Базис должен быть ортогональным, чтобы упростить вычисления, и именно здесь вступают в действие наши шоу нольде и Лана. Ортогональный базис идеально подходит для проекции, и спикер объясняет уравнение, облегчающее вычисления. Когда Q ортогональны, коэффициенты C можно легко найти, вычислив скалярное произведение данного вектора X с каждым Q, а затем применив транспонирование Q. Это позволяет эффективно решить проблему.
  
  
• 00:45:00 В этом разделе лекции спикер обсуждает понятие базиса и как найти хороший базис с помощью векторов Грама-Шмидта или Крылова. Докладчик отмечает, что использование метода Грама-Шмидта в данном случае предпочтительнее, а также упоминает раздел 2.1 книги по численной линейной алгебре, в котором обобщаются распространенные в этой области методы, такие как Крылов, Арнольди и Ланцош. Он рекомендует «Числовую линейную алгебру» Голуба и ван Лоана как отличный учебник для тех, кто хочет больше узнать по этой теме.
  
  
• 00:50:00 В этом разделе видео спикер упоминает, что они закончили с задачей минимизации x при условии Ax=b и переходят к решению задачи работы с очень большими матрицами.