Переобучение (переподгонка, пере- в значении «слишком», англ. overfitting) в машинном обучении и статистике — явление, когда построенная модель хорошо объясняет примеры из обучающей выборки, но относительно плохо работает на примерах, не участвовавших в обучении (на примерах из тестовой выборки).
Это связано с тем, что при построении модели («в процессе обучения») в обучающей выборке обнаруживаются некоторые случайные закономерности, которые отсутствуют в генеральной совокупности.
Даже тогда, когда обученная модель не имеет чрезмерного количества параметров, можно ожидать, что эффективность её на новых данных будет ниже, чем на данных, использовавшихся для обучения[1]. В частности, значение коэффициента детерминации будет сокращаться по сравнению с исходными данными обучения.
Способы борьбы с переобучением зависят от метода моделирования и способа построения модели. Например, если строится дерево принятия решений, то можно обрезать некоторые его ветки в процессе построения.
https://ru.wikipedia.org/wiki/Переобучение
有意思!!!。但问题是有点不同。假设你的TS下降了20%。问题是什么?它是否会从缩水中走出来,在上面赚取利润,还是继续排水?????。你怎么知道你的TS是否需要重新优化?
有意思!!!。但问题是有点不同。假设你的TS下降了20%。问题是什么?它是否会从缩水中走出来,在上面赚取利润,还是继续排水?????。你怎么知道你的TS是否需要重新优化?
TS不应该被过度优化--这就是创建TS的全部意义。其他都是数字游戏
中大不应该被重新培训--这就是创建中大的全部意义所在。其他都是数字游戏。
你可能会被重新培训或不被培训,但无论如何,迟早会开始泄漏。我想这是米哈伊尔-马奇卡耶斯的 问题-- 你怎么知道什么时候?
你不理解 "再培训 "这个词。
首先,你必须担心TC没有被重新培训--证明这一事实。然后必须重复这种证明。如果你不能证明它没有被重新训练,你就不能使用它。
你不理解 "再培训 "这个词。
首先,你必须担心TC没有被重新培训--证明这一事实。然后必须重复这种证明。如果你不能证明它没有被重新训练,你就不能使用它。
我想我理解)。
我想这是一个有点简化的定义。因此,使用它不仅仍然是可能的,而且可能甚至是必要的。这一切都取决于具体细节。
我们确实使用了粗糙的模型,这也可以被解释为过度训练。
有意思!!但问题是有点不同。假设你的TS下降了20%。问题是什么?它是否会从缩减中走出来,并在上面赚到钱,或继续排水????。你如何判断你的TS是否需要重新优化?
如果在测试器中新训练的模型没有显示这段时间内有20%的缩减,而真实账户中的旧模型打开了--那么明确地重新训练它们,模型已经失去了意义,应该考虑到新的模式。为什么不在每次新的交易后重新训练模型?并给它一个更新的交易历史记录,以便进入。
如果在测试器中新训练的模型在此期间没有给出20%的缩减,而真实账户上的旧模型做到了--那么重新训练它,模型已经失去了意义,需要考虑新的模式。为什么不在每次新的交易后重新训练模型?而且你还应该给它输入最新的交易历史。
我想我理解)。
我想这是一个有点简化的定义。因此,使用它不仅是可能的,而且可能甚至是必要的。这一切都取决于具体细节。
我们使用的是粗糙的模型,这也可以解释为过度拟合。
在这句话中,过度学习是对特征的考虑太微妙了,而你把粗放作为过度学习?
你最清楚。这已经不是第一次了。
如果在测试器中新训练的模型在此期间没有给出20%的缩减,而真实账户上的旧模型做到了--那么重新训练它,模型已经失去了意义,需要考虑新的模式。为什么不在每次新的交易后重新训练模型?并给它输入最新的交易历史。
训练、再训练和再训练(超配)是根本不同的事情。
所有这些关于每个新酒吧的培训,在这个论坛上和TA内部都被咀嚼过,而且是普遍地咀嚼过。
在反对过度训练(overfitting)的斗争中,我知道两种方法。
1.从与目标变量无关的预测器中清理预测器集--从输入的预测器集的噪声中清理。这个主题的前100个帖子详细地讨论了这个问题。
2.在对预测因子集进行清理后,我们开始用训练样本拟合模型,然后用测试和验证样本,这些样本是来自一个文件的随机样本。所有三组的误差应该大致相同。
3.然后取一个与前一个文件分开的文件,在其上运行模型。同样,误差应该与之前的差不多。
4.如果这些检查是定期进行的,那么你的问题:"20%的坍塌是重新训练的信号 "就完全不值得了,因为作为前三个步骤的结果,坍塌是作为一个模型参数获得的,超过这个参数就说明模型不工作了,一切都应该重新开始。
在这句话中,过度训练是对特征的考虑过于精细,而你的粗放是过度训练?
你最清楚。这已经不是第一次了。
这也不是第一次了。但为什么只是粗放。另一个例子就在定义中--过于复杂的模型找到了不存在的东西--明显的模式。
你对过度训练的理解非常简单或片面,我认为。
学习、过度训练和过度训练(overfitting)在本质上是不同的事情。
所有这些关于每个新酒吧的培训都在这个论坛上和TA内部普遍被嚼烂了,嚼烂了。
在反对过度训练(overfitting)的斗争中,我知道有两种方法。
.....
4.如果你定期做这些检查,你的问题:"20%的下滑是重新训练的信号 "根本不值得,因为前三个步骤的结果是,下滑是一个模型参数,超过这个参数就说明这个模型是不可行的,你必须从头开始。