Оценка качества классификационных моделей — сложная и трудоемкая задача. Сперва аналитик оценивает робастность классификационной модели с помощью таких средств, как AIC-BIC, площадь под ROC-кривой, критерий согласия Колмогорова-Смирнова и др. Следующим логическим шагом является оценка точности модели. Чтобы понять, почему эта задача является...
В задачах машинного обучения для оценки качества моделей и сравнения различных алгоритмов используются метрики, а их выбор и анализ — непременная часть работы датасатаниста. В этой статье мы рассмотрим некоторые критерии качества в задачах классификации, обсудим, что является важным при выборе метрики и что может пойти не так. Метрики в...
而我的观点是这样的。对于初学者来说，将问题设置在真空中。与你的公制。
如果你想在测试器中用拖网和其他东西来运行它。
在.csv中提供带有目标定位的数据（我知道你有这种二进制分类）。然后训练模型并预测目标定位。结果作为模型响应列表加载到同一个测试器中并运行。但是，为每个模型做这个工作是另一个拟合的变种，最好是考虑指标或目标。而在测试器中，我们应该只运行最后一个变体。
而对于实时性是一个单独的麻烦，并不是所有的模型都可以用dll来包装的。
我不知道，我的所有模型都是在MT上的发条，在那里感觉很好。
而我选择了这个指标。顺便说一下，在优化器中，我把马修斯的 指标改成了它，它有抛物线估计，不像特异性或敏感性的指标。但我理解，如果优化算法准备好了，那么指标的问题就解决了....。
一切，任何模型都是一个公式，如果你使用黑盒子，你不能拉出狗屎，你的问题。
真是个测试员，混蛋和所有。你不知道Misha是谁，等待你的是一段多么迷人的旅程。
领先于你））））
而最重要的是有利可图....
虽然我不支持DLL和各种捆绑，但...我喜欢纯正的MKUL的原始形式 :-)
就是这样，任何模型都是一个公式，如果你使用的是黑盒子，你不能得到狗屎，你的问题。
真是个测试员，混蛋和所有...你不知道Misha是谁，这是个多么迷人的旅程。
领先于你））））
听着，你能否在训练后将PSV文件中的数据进行交易，使结果以平衡曲线的形式出现????。
一切，任何模型都是一个公式，如果你使用的是黑盒子，你不能得到狗屎，你的问题。
真是个测试员，混蛋和所有...你不知道Misha是谁，等待你的是一段多么迷人的旅程。
领先于你））））
现在所有或多或少有生产力的ML libs都是黑盒子)
所有或多或少有生产力的ML libs现在都是黑盒子)
没错，这就是为什么评估结果的方法会凸显出来。我们所说的同样的度量，如果度量充分估计得到的结果，那么反向传播法就可以做黑匣子，最古老的方法是激烈的过度训练，但如果在学习过程中以超级度量来估计结果，那么你可以优化，直到这个度量不会对优化算法说STOP。
我对Reshetlova的优化器有认真的计划，我用它做了大量工作。再加上超级超级的指标，为此我已经有了几个想法......。
没错，这就是为什么对获得的结果的评价方法凸显出来。我们说的是同一个度量衡，如果度量衡充分评价了结果，那么对于黑匣子来说，误差反向传播的方法就可以了，最古老的方法是激烈的过度训练，但是如果在学习过程中用超级超级的度量衡来评价结果，那么你可以优化到这个度量衡不会对优化算法说STOP。
我对Reshetlova的优化器有认真的计划，我用它做了大量工作。把它加入到非常超级的指标中，为此我已经有了几个想法......
该指标允许你抓住模型开始重新训练的时刻。
+ 编写你自己的度量标准会立即限制你的开发环境和使用的lib（不是所有的lib都支持非标准的度量标准）。
最好考虑一下目标，以便符合你的真正需要。并且可以用ML中的标准指标进行评估。
https://habr.com/company/ods/blog/328372/
https://ru.coursera.org/lecture/vvedenie-mashinnoe-obuchenie/mietriki-kachiestva-klassifikatsii-1-IVuAc
用python、r或pr几行就可以完成（更大的价差、滑点......）。
它不会和真实的有什么不同，我已经告诉你一百次了))))。你为什么需要
Equi不清楚，没有好的模型，也永远不会有。并告诉这位老兄你想做什么。
(例如，你没有长期的数据））。
嗯，你知道...我也用曲线来决定使用哪个模型。如果一个模型90%的交易都是盈利的，而在关键时刻却损失惨重，那么这个模型有什么用呢？平衡曲线的类型确实很重要。当然这还不够，但我还是会有一些想法。
你需要多少数据来进行培训????
注意，无论你在这里想出什么指标，大多数ML库的优化功能都是一样的。 这个指标只允许你抓住模型开始重新训练的时刻。
+ 编写你自己的度量标准会立即限制你的开发环境和使用的lib（不是所有的lib都支持非标准的度量标准）。
最好考虑一下目标，以便符合你的真正需要。并且可以用ML中的标准指标进行评估。
https://habr.com/company/ods/blog/328372/
https://ru.coursera.org/lecture/vvedenie-mashinnoe-obuchenie/mietriki-kachiestva-klassifikatsii-1-IVuAc
Thax....你们都清楚了。新人....我看你不太顺眼 :-)
我的目标定位很好，不用担心，而且优化器是用Java写的。你认为不可能实现像你想的那样复杂的指标????。please....
Thax....你们都清楚了。新人....我看你不太顺眼 :-)
我对目标定位没问题，不用担心。 优化器是用Java写的。你认为不可能实现像你想的那样复杂的指标????。please....
这是 "优化器 "发展的第10年......
但快乐的人是不会看时间的