交易中的机器学习:理论、模型、实践和算法交易 - 页 2015

 
Maxim Dmitrievsky:

所有芯片的进出,隐藏层中的神经元就会减少。它只是通过最小化输出中的误差来压缩信息。输入应该等于输出(理想情况下)。然后,NS的第二部分在训练后被丢弃,你在输出端得到的压缩特征等于隐藏层的神经元数量。

你可以添加递归层,等等。

google自动编码器。及其变种。

是的,我都明白了,谢谢,我只是不明白是如何训练一个网络,让它一次对一个样本行做出多个反应。目前还不清楚如何对树木进行...

 
Aleksey Vyazmikin:

是的,我都明白了,谢谢你,我只是不明白如何训练网络,让它一次对一个样本字符串给出多个反应。那里的度量是什么,有了树,就不清楚如何能做到这一点......

我根本不是专家,但首先--分解,当一个事件产生许多可能的原因。之后--重新组合,当所有这些可能的原因被分析为对这些原因的可能影响。其结果是,在控制一个事件时,可以影响少量的参数。

 
Aleksey Vyazmikin:

是的,我都明白了,谢谢你,我只是不明白如何训练网络,让它一次对一个样本字符串给出多个反应。那里的度量是什么,有了树就不清楚这样的事情怎么做了......

先用自动编码器或只用深度NS,根本没有什么意义。当你有很多相同的任务时,你需要它们。例如,压缩图像等,然后在其他NS中使用。

 
Alexei Tarabanov:

我完全不是一个专家,但首先是分解,一个事件会产生众多可能的原因。然后是重新组合,对所有这些可能的原因进行分析,找出对原因的可能影响因素。其结果是有少量的参数可以由事件控制。

并非如此--在那里,通过函数中的权重折射神经元中的数据,数值被折叠成一个单一的函数(有点像聚焦图像)。然后,知道了这些权重,它又被分解成各种成分,就像棱镜分解彩虹那样。我明白这个过程,但我不明白如何通过树木来进行。

 
Maxim Dmitrievsky:

先用自动编码器或只用深度NS,根本没有什么意义。当你有很多相同的任务时,你需要它们。例如,对图像等进行压缩,然后将其作为其他n的嵌入。

也许在树上训练正是这些 "瓶颈 "神经元是有意义的。即减少预测因子的数量。

 
Aleksey Vyazmikin:

并非如此--在那里,通过函数中的权重折射神经元中的数据,数值被简化为一个单一的函数。然后,知道这些权重后,再次分解成各个组成部分,就像棱镜分解彩虹一样。我明白这个过程,但我不明白如何通过树木来进行。

不,先试试分解,你会明白的。

简单地说,分解遵循一个原则,连接遵循另一个原则。分析和综合。神经元以同样的方式在这里和那里工作,但在第一种情况下,事件被搁置,而在第二种情况下,它被聚集在影响事件的因素周围。

 
Aleksey Vyazmikin:

在树上训练这些特殊的 "瓶颈 "神经元可能是有意义的。也就是减少预测因子的数量。

说不通

压缩就是压缩。如果模型已经坏了,它不会做任何事情。而正则化有差不多的f函数。

 
压缩输入数据时,会有损失。如果压缩是以检索相同的输入数据的能力来判断的,那么我们就会均匀地 失去信息,包括那些可以很好地预测目标的信息。
如果我们压缩只是为了获得目标函数,这是最好的选择。
我认为正常的学习就是这样。
我的结论是,只输入的压缩会降低后续在压缩数据上学习目标的质量。
但你最好做一个实验,而不是从理论上得出结论。

虽然你可以理解为什么Alexey在寻找一种降低维度的方法--他使用了脚手架和提升。在一棵树上,3000个输入中的大部分可能根本就不会被使用。森林和助推在这方面做得比较好,但恐怕用处不大。
 
Maxim Dmitrievsky:

没有必要

压缩就是压缩。如果模型已经坏了,它将不会做任何事情。而正则化所做的事情或多或少都是一样的。

elibrarius:
在压缩输入数据时有损失。如果压缩是通过检索相同的输入数据的能力来评价的,那么我们就会均匀地失去信息,包括那些可以很好地预测目标的信息。
如果我们压缩只是为了获得目标函数,这是最好的选择。
我认为正常的学习就是这样。
我的结论是,只输入的压缩会降低后续在压缩数据上学习目标的质量。
但你最好做一个实验,而不是从理论上得出结论。

虽然你可以理解为什么Alexey在寻找一种降低维度的方法--他使用了脚手架和提升。在一棵树上,3000个输入中的大部分可能根本就不会被使用。森林和助推在这方面做得比较好,但恐怕也没什么用。

关于为什么这可能是有用的,有很多想法。

1.可以确定相互依赖的预测因素。

1.1. 用它们建立一个单独的模型,并评估其预测能力

1.2. 将它们从样本中排除,并评估它们对结果的影响。如果它们改善了结果,考虑创建类似的预测器

2.使用一个预测器而不是一组预测器。

1.这将使在建立模型时随机抽取的几率相等

2.通过降低维度来减少训练时间

是的,想测试一下,但我不知道有什么工具可以创建这样的模型出来。


顺便提出一个想法,为什么不在训练中使用破碎的函数(比如用量化--而不是步进线),这样可以使数据的准确性有一个差距,减少重新训练。

 
阿列克谢-维亚兹米 金。

这里有一个想法,为什么他们不在训练中使用破碎的函数(就像它的量化--而不是阶梯线),这将允许有一个数据准确性的反击,减少过度训练。

因为它不能被训练,所以会有解算器停留在局部最小值。至于想法--你不能从它那里得到任何东西,因为它是一个黑盒子。