交易中的机器学习:理论、模型、实践和算法交易 - 页 2253

 
Vladimir Perervenko:

比方说(Python代码中的内容对我来说并非都有意义)。这个BAE的培训在哪里?

它是在pyTorch中吗?

火烧眉毛

编码器是有效的,只是结果更糟糕。

简而言之,Kullback-Leibner距离模型非常难学,这是对变异编码者的描述问题。

事实上,算法在2-3个 epochs之后就 "收敛 "了,并且没有发生进一步的事情。

变分自动编码器的一个主要缺点是,除了少数分布外,KL发散项的积分没有一个封闭式的分析解。此外,对潜伏代码z z z 使用离散分布并不直接了当。这是因为通过离散变量的反向传播通常是不可能的,这使得模型难以有效训练。这里介绍了 在VAE环境中做到这一点的一种方法
Discrete Variational Autoencoders
  • arxiv.org
Download PDF Probabilistic models with discrete latent variables naturally capture datasets composed of discrete classes. However, they are difficult to train efficiently, since backpropagation through discrete variables is generally not possible. We present a novel method to train a class of probabilistic models with discrete latent variables...
 
mytarmailS:

你是否可以访问网络权重,并有能力改变它们?

当然,但我不需要。

 
Maxim Dmitrievsky:

都在火炬上。

编码员工作,只是结果更糟糕。

简而言之,Kullback-Leibner距离模型很难学习,这是一个描述变异编码者的问题。

事实上,算法在2-3个 epochs之后就 "收敛 "了,并且没有发生进一步的事情。

变分自动编码器的主要缺点之一是,除了少数分布外,KL发散项的积分没有一个封闭式的分析解。此外,对潜伏代码z z z 使用离散分布并不直接了当。这是因为通过离散变量的反向传播通常是不可能的,这使得模型难以有效训练。这里介绍了 在VAE环境中做到这一点的一种方法

这篇文章谈的是别的东西。它处理的是所有预测因子都是离散的[0, 1]的情况。那么就有一个问题了。神经网络不理解零变化的预测器。

根据我的理解,你的情况略有不同。你在输入中结合了预测因子(连续)和目标(离散矩阵ncol=3)。你试图获得一个潜在的定性分布,从中生成(恢复)包括目标分布在内的输入分布,几乎无需训练。我对你的理解是否正确? 它在质量上不会成功。这篇文章展示了解决问题的方法。使用RBM将离散的目标转换为连续的,与其他预测器连接,并进一步到VAE(训练!)。然后从训练好的VAE中检索出例子,用RBM再次恢复目标。这是很复杂的。但它可能会起作用。

我会用一个普通的AE来试试。

祝好运

 
Vladimir Perervenko:

这篇文章涉及的是一个稍微不同的问题。它处理的是所有预测因子都是离散的[0, 1]的情况。那么就有一个问题了。神经网络不理解零变化的预测器。

根据我的理解,你的情况略有不同。你在输入中结合了预测因子(连续)和目标(离散矩阵ncol=3)。你试图获得潜质的定性分布,从中生成(恢复)包括目标潜质在内的输入潜质。我对你的理解是否正确? 它在质量上不会成功。这篇文章展示了解决问题的方法。使用RBM将离散的目标转换为连续的,与其他预测器连接,并进一步到VAE(训练!)。然后从训练好的VAE中检索出例子,用RBM再次恢复目标。这是很复杂的。但它可能会起作用。

我会用一个普通的AE来试试。

祝好运

我有CVAE。关于编码器和解码器的类别标签(1,0)等。但我比较了VAE和CVAE,结果没有什么不同(同样平庸)。

目标不是重构的,而是在生成特征时设置的。也就是说,为哪个目标生成特征。在图片生成的例子中,就是这样做的,只是有更多的目标,所以它们被做得很热。

我在看VAE和GAN的比较表。后者在生成方面要好得多,我想吐槽的是编剧们。不太热衷于重新发明车轮。

转换为连续的可能有意义,是的......但不是肯定的。

我有可能做错了什么......但以前曾在小猫身上练习过 )

Z.U. 即使在有数字的例子中,它只学习了10个epochs,然后误差就不再下降了。

 
有人试过相关的矢量方法吗?
 

自动编码器更适合于将数据压缩到较低的维度或从中生成语义向量。GANs更适合于生成数据的地方

https://medium.com/lis-computer-vision-blogs/gans-cgans-ae-aae-ave-caae-cave-2e7d23255b52

我认为,由于数据压缩,结果是模糊的。即使你增加神经元的数量,仍然会有一些压缩,转变为不同的分布。新的数据总是会被弄脏、弄平,等等。而且我不想要污点,我想要可信的样本。

你可以通过将样本压缩到PCA中,然后将其转换为GMM,再从PCA中解压,得到完全相同的冰霜状外观。我做过,结果也是如此的模糊。

Coder是PCA + GMM在一个瓶子里,如果你打比方的话。

GANs, cGANs, AE, AAE, AVE, CAAE, CAVE
GANs, cGANs, AE, AAE, AVE, CAAE, CAVE
  • Li Yin
  • medium.com
The difference between each other. The purpose of this article is to see the difference of concepts between GANs, conditional GANs, Autoencoder (AE), adversarial autoencoder (AAE), and conditional adversarial autoencoder (CAAE). Unconditional GAN The generator ( G ) and discriminator ( D ) are both feedforward neural networks which play a...
 
Aleksey Vyazmikin:
有没有人试过相关的矢量方法?

你将是第一个

马克西姆-德米特里耶夫斯基

你可以通过压缩PCA属性,然后将其转换为GMM,再从PCA解压,得到完全相同的模糊外观。我做过,结果也是如此的模糊。

编码器是PCA+GMM的组合,如果你打这个比方。

因此,留下所有PCA组件,你就不会有污点,你会得到一个清晰的画面。

 
mytarmailS:

你将是第一个。

因此,留下所有的PCA组件,你就不会有污点,你会有一个清晰的画面。

不会的,反向转换会增加很多噪音

也许不是......但看起来是的
 
Maxim Dmitrievsky:

不会的,生成的逆向转换会增加很多噪音。

我不明白,GMM已经增加了噪音还是什么?

 
mytarmailS:

我不明白,GMM是否已经增加了噪音? 还是什么?

我没有多想,只是根据周围的一些情况猜测的。

gmm会给你带来你以前没有见过的功能。但与你所见的那些人相似。在反向转化中,它可能有一些影响,我想。添加一些噪音。

这是个猜测。