Обсуждение статьи "Возможности Мастера MQL5, которые вам нужно знать (Часть 34): Эмбеддинг цены с нетрадиционной RBM"

[MetaQuotes]

Опубликована статья Возможности Мастера MQL5, которые вам нужно знать (Часть 34): Эмбеддинг цены с нетрадиционной RBM:

Ограниченные машины Больцмана (Restricted Boltzmann Machines, RBM) — форма нейронной сети, разработанная в середине 1980-х годов, когда вычислительные ресурсы были непомерно дорогими. Вначале она опиралась на выборку Гиббса (Gibbs Sampling) и контрастивную дивергенцию (Contrastive Divergence) с целью уменьшения размерности или выявления скрытых вероятностей/свойств во входных обучающих наборах данных. Мы рассмотрим, как обратное распространение ошибки (backpropagation) может работать аналогичным образом, когда RBM "встраивает" (embeds) цены в прогнозирующий многослойный перцептрон.

Эмбеддинг цены (Price-Embedding) в контексте статьи понимается как процесс, очень похожий на векторное представление слов (word embedding). Как вы, возможно, знаете, это предварительный шаг к преобразованию сетей больших языковых моделей. Векторное представление слов, которое можно определить как нумерацию слов, в сочетании с самовниманием (self-attention) помогает преобразовать большую часть письменного материала, доступного в Интернете, в формат, понятный нейронным сетям. Мы также следуем этому подходу, предполагая, что по умолчанию данные о ценах на ценные бумаги (даже если они числовые) не могут быть легко "поняты" нейронными сетями с самого начала. Наш подход заключается в использовании RBM, обученной методом обратного распространения.

Итак, преобразование слов в числа — это не просто присвоение числа слову или букве, а сложный процесс, требующий самовнимания. Я полагаю, что отсюда можно провести параллели с RBM, если рассмотреть их конструкцию двудольного графа.

Хотя в слое RBM нет прямых связей между нейронами, эти связи, которые могут быть ключевыми для захвата компонента самовнимания любых входных данных, осуществляются через скрытый слой. Согласно этому тезису, скрытый слой регистрирует не только то, как каждый нейрон может быть перерисован, но и то, каково значение его связей с другими нейронами.

Как всегда, в случае с трейдингом преимущества эмбеддинга цены могут быть подтверждены только результатами торговли. Мы собираемся перейти к первой части этого процесса, однако стоит подчеркнуть, что масштаб вознаграждений, которые мы получаем от эмбеддинга слова в число, нельзя сравнивать с тем, которые мы рассматриваем при эмбеддинге числа в число, потому что то, что мы здесь делаем, далеко не столь трансформационно. Теперь давайте рассмотрим, как реконструировать RBM с помощью обратного распространения.

Автор: Stephen Njuki