От имени команды Uber AI Labs, которая также включает Joel Lehman, Jay Chen, Edoardo Conti, Vashisht Madhavan, Felipe Petroski Such и Xingwen Zhang. В области обучения глубоких нейронных сетей (DNN) с большим количеством слоев и миллионами соединений, для тренировки, как правило, применяется стохастический градиентный спуск (SGD). Многие...
Многие материалы по нейронным сетям сразу начинаются с демонстрации довольно сложных архитектур. При этом самые базовые вещи, касающиеся функций активаций, инициализации весов, выбора количества слоёв в сети и т.д. если и рассматриваются, то вскользь. Получается начинающему практику нейронных сетей приходится брать типовые конфигурации и...
过度拟合--出现在大权重（~10^18）的情况下，这是多重共线性的结果，会导致不稳定的模型A（x，w）。
过度训练的处理方法是：早期停止模型学习，限制权重的增长（L1（Lasso）和L2正则化），限制网络中的联系（Dropout），也可能应用惩罚函数（ElacticNet，Lasso）。
而L1正则化导致了对特征的选择，因为它对其权重系数进行了归零。
去除 "噪音 "特征就是选择特征。这方面是有方法的。这并不总是有利于模型，所以有时会使用L2正则化（有助于解决多重共线性的问题）。
SanSanych Fomenko，你关于特征和目标关系的说法有点自以为是。因为你怎么能断言一些尚未被证明的东西；这正是MO模型的建立目的。一个已经建立并运行的模型对与 "某某 "的关系给出了一些估计的准确性。
而长裤 和短裙 的例子 ， 显示了研究者对研究地区知识的匮乏，因为在这样一个模型中，你抛开了关于居住地、一年中的时间、居住地区的经纬度等有价值的特征。
我的例子是一个退化的案例，纯粹的思想，分类没有错误。经济学中没有这样的特点，但在遗传学中，即使不是100%，也有可能少一点。
现在说说规范化。
无疑是的。
但一致性是很重要的。
首先，总是根据与目标的'关系'来选择特征。如果在股票市场，基于经济关系。
这始终是第一位的，然后才是其他的。
我有一个工作的TS，有rf。我使用 "关系 "从几百个属性中选择27个预测因子。然后我从27个标准算法中选择每一个条形图（H1），保留5到15个，它们总是不同。我限制了树木的数量，100棵是很多的，50棵是不够的，50棵时的误差并不稳定。
这是具体的经验。ZZ的分类误差略低于30%。没有办法减少--需要其他预测器，而且预测器中没有想法。
既然你一次有这么多的参数输入，那么你的意思就很清楚了。
在这种情况下，再培训在某种程度上是次要的，这可能是引起我注意的原因。它更接近于 "放松 "计算。
既然你一次有这么多的参数输入，你的意思就很清楚了。
在这种情况下，过度拟合在这里有些次要，这可能是吸引我注意的原因。它更接近于 "宽松 "的计算。
为什么是二级？
什么是初级？
还有什么能比过度拟合更可怕的呢？
为什么是二级？
什么是初级？
还有什么能比过度训练（过度适应）更可怕的呢？
这就是为什么我说，在提出的问题中，过度训练是次要的。
虽然你正确地指出，我应该说："参数选择是次要的，而重新培训是次要的，值得从这里更详细地考虑这个问题。
https://habrahabr.ru/post/345950/
事实证明，在回归的情况下，简单的NS超出训练样本的限制，效果相当差（去到一个超切常数）......也就是说，比RF好不了多少
非常说明问题的文章
https://habrahabr.ru/post/322438/
事实证明，在回归的情况下，简单的NS超出训练样本的限制，效果相当差（去到一个超切常数）......也就是说，比RF好不了多少
非常说明问题的文章
https://habrahabr.ru/post/322438/
闲暇时阅读。
https://habrahabr.ru/post/345950/
IMHO这是一篇无用的文章，糟糕的翻译，或者我是一个糟糕的读者，但对我来说，它看起来像是过时的想法的琐碎堆积，可悲的是，又一次证实了深度学习作为顶级技术的危机，甚至这一趋势的真正父亲Jeffrey Hinton在他关于胶囊神经网络的文章中最近也在谈论它。
不过要尊重Uber出租车公司...)
我认为这篇文章很有用，信息量很大，没有矫揉造作的新意，但有很好的实际意义。
这就是为什么很容易混淆的原因，比方说，我们以前使用线性或回归，一切都很好，然后我们决定换成MLP来完成同样的任务......也没办法 :)
这就是为什么每个人都喜欢使用分类法，尽管回归法对预测有好处 :)
我甚至会说，对于趋势来说，更适合的是线性或回归，而对于平坦来说--MLP。
与Garch的练习产生了一个惊人的模式。
下面是欧元兑美元的商数
而这里是绝对增量的自相关情况
惊人的规律性!
1.它是什么意思？
2.如何利用这种规律性？
PS。
并非所有货币对都有这种观点。
这里是USDJPY