Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2252

Новый комментарий
Maxim Dmitrievsky:

потому что это такая же генеративная модель, но настраиваемая

на кратинках работает не хуже, на котировках хуже, пока не понял почему

у тебя есть доступ к весам сети и возможность их изменять ?

Maxim Dmitrievsky:

я ожидал бОльшего от них

кодер это нейронка

все равно нифига не поймешь, но вот структура его

Так а где обучение? Это все функции и класс. 

[Удален]
Vladimir Perervenko:

Так а где обучение? Это все функции и класс. 

вам нужен цикл обучения?

Maxim Dmitrievsky:

вам нужен цикл обучения?

Ну насколько я понимаю вариационный АЕ отличается от обычного АЕ тем, что при обучении на декодер подается не hidden  а репараметризованное значение его. Я не увидел где это происходит.

[Удален]
Vladimir Perervenko:

Ну насколько я понимаю вариационный АЕ отличается от обычного АЕ тем, что при обучении на декодер подается не hidden  а репараметризованное значение его. Я не увидел где это происходит.

        z_mu, z_var = self.encoder(x)

        # sample from the distribution having latent parameters z_mu, z_var
        # reparameterize
        std = torch.exp(z_var / 2)
        eps = torch.randn_like(std)
        x_sample = eps.mul(std).add_(z_mu)
Maxim Dmitrievsky:

Ну допустим(мне в коде ПИтоновском не все понятно). А где обучение этого ВАЕ?

Это в pyTorch ?
[Удален]
Vladimir Perervenko:

Ну допустим(мне в коде ПИтоновском не все понятно). А где обучение этого ВАЕ?

Это в pyTorch ?

все на торче

кодер рабочий, просто с ним результаты хуже

короче через расстояние Кульбака-Лейбнера модели очень сложно учиться, это описанная проблема вариационных кодеров

на самом деле, алгоритм "сходится" после 2-3х эпох, и дальше ничего не происходит

One of the main drawbacks of variational autoencoders is that the integral of the KL divergence term does not have a closed form analytical solution except for a handful of distributions. Furthermore, it is not straightforward to use discrete distributions for the latent code z z . This is because backpropagation through discrete variables is generally not possible, making the model difficult to train efficiently. One approach to do this in the VAE setting was introduced here
Discrete Variational Autoencoders
  • arxiv.org
Download PDF Probabilistic models with discrete latent variables naturally capture datasets composed of discrete classes. However, they are difficult to train efficiently, since backpropagation through discrete variables is generally not possible. We present a novel method to train a class of probabilistic models with discrete latent variables...
[Удален]
mytarmailS:

у тебя есть доступ к весам сети и возможность их изменять ?

ну конечно, но мне это зачем

Maxim Dmitrievsky:

все на торче

кодер рабочий, просто с ним результаты хуже

короче через расстояние Кульбака-Лейбнера модели очень сложно учиться, это описанная проблема вариационных кодеров

на самом деле, алгоритм "сходится" после 2-3х эпох, и дальше ничего не происходит

One of the main drawbacks of variational autoencoders is that the integral of the KL divergence term does not have a closed form analytical solution except for a handful of distributions. Furthermore, it is not straightforward to use discrete distributions for the latent code z z . This is because backpropagation through discrete variables is generally not possible, making the model difficult to train efficiently. One approach to do this in the VAE setting was introduced here

В статье речь идет несколько о другом. Там рассматривается случай когда все предикторы дискретные [0, 1]. Тогда проблема. Нейросеть не понимает предикторы с нулевой вариацией. 

У Вас, как я понял, случай немного другой. Вы объединили во входных предикторы(непрерывные) и целевую(дискретную матрицу ncol=3). Пробуете практически без обучения получить качественное распределение латентных из которых генерируете (восстанавливаете) входящие включая целевую. Я правильно Вас понял?  Не получится качественно. В статье показан путь решения. Дискретную целевую через RBM перевести в непрерывную, состыковать с другими предикторами и дальше на ВАЕ (обучение!). А уже из обученного ВАЕ извлекайте примеры и опять через RBM восстанавливайте целевую. Сложновато получается. Но может и сработает.

Я попробую с обычным АЕ провернуть.

Удачи

[Удален]
Vladimir Perervenko:

В статье речь идет несколько о другом. Там рассматривается случай когда все предикторы дискретные [0, 1]. Тогда проблема. Нейросеть не понимает предикторы с нулевой вариацией. 

У Вас, как я понял, случай немного другой. Вы объединили во входных предикторы(непрерывные) и целевую(дискретную матрицу ncol=3). Пробуете практически без обучения получить качественное распределение латентных из которых генерируете (восстанавливаете) входящие включая целевую. Я правильно Вас понял?  Не получится качественно. В статье показан путь решения. Дискретную целевую через RBM перевести в непрерывную, состыковать с другими предикторами и дальше на ВАЕ (обучение!). А уже из обученного ВАЕ извлекайте примеры и опять через RBM восстанавливайте целевую. Сложновато получается. Но может и сработает.

Я попробую с обычным АЕ провернуть.

Удачи

У меня CVAE. На кодер и декодер метки классов (1,0) помимо всего прочего. Но я сравнил VAE и CVAE, результаты не сильно отличаются (одинаково посредственные)

Целевые не восстанавливаются, а задаются при генерации признаков. Т.е. для какой целевой сгенерить признаки. В примерах с генерацией картинок так и сделано, только целевых больше, поэтому им делается ван-хот

смотрел таблицы сравнения VAE и GAN. Вторые намного лучше генерят, думаю плюнуть на кодеры. Нет столько желания изобретать велосипеды 

Может быть есть смысл перевести в непрерывную, да.. но не факт.

есть небольшая вероятность, что что-то не так делаю.. но потренировался на котиках перед этим )

З.Ы. даже в примере с цифрами он учится всего 10 эпох, а затем ошибка перестает падать

1...224522462247224822492250225122522253225422552256225722582259...3745
Новый комментарий