Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2549

 
Rorschach #:

В матлабе вроде есть возможность генерировать С++ код

Да, пробовал как то давно встроенный генератор матлаба, получалось много ошибок.
Как то не сложилось к нему  доверие. Как сейчас не знаю, надо пробовать.
Но убедился не раз, логику нужно переносить читая её.
А генератор, это для простых задач.

 
Roman #:

Наверно потому, что он знает питон. 
Каждый приспосабливается под тот язык который знает.
Я например поклонник Си. И это пипец как тяжело всё переносить с другого языка.
Тем более с того языка, которым не владеешь в идеале.
У меня есть патентованные задачи на матлабе, которые я бы хотел перенести на Си, он же mql.
Но не владея матлабом, задача усложняется.

в чём проблема дёргать matlab из C (из MQL) ??

на сайте были статьи а-ля "работаем с MatLab". 

есть и другие пути, есть SciLab, по большей части MatLab совместимый, с внятным C-API и без лицензионный цепей

Перенос реализации с языка на язык, тем паче не родственный, мало того что бывает трудоёмок так там ещё и ошибок можно гору собрать

 
Maxim Kuznetsov #:

в чём проблема дёргать matlab из C (из MQL) ??

на сайте были статьи а-ля "работаем с MatLab". 

есть и другие пути, есть SciLab, по большей части MatLab совместимый, с внятным C-API и без лицензионный цепей

Перенос реализации с языка на язык, тем паче не родственный, мало того что бывает трудоёмок так там ещё и ошибок можно гору собрать

Да, как то не подумал что можно подружить их.
Наверно потому, что не люблю такие связки, что-то от куда-то дёргать.
И чтоб реализовать связку, нужно снова что то изучать, и не факт что получится.
Так как инфы как всегда хрен найдёшь по API.
Но спасибо за подсказку, как вариант подумаю над этим.

 

Как можно улучшить обучение, если известна выборка для оценки обучения (будущее), которая не будет участвовать в обучении?

Прошу высказывать мысли и идеи, и комментарии, почему это "читерство" не будет эффективно на новых данных, которые ещё не появились вообще - или же может и будет!?

 
Aleksey Vyazmikin #:

Как можно улучшить обучение, если известна выборка для оценки обучения (будущее), которая не будет участвовать в обучении?

Прошу высказывать мысли и идеи, и комментарии, почему это "читерство" не будет эффективно на новых данных, которые ещё не появились вообще - или же может и будет!?

Если известно будущее, то уже никого ничему учить не нужно)

Вроде бы стандартный подход - оптимизировать метапараметры алгоритма по результатам на контрольной выборке?

 
Aleksey Nikolayev #:

Если известно будущее, то уже никого ничему учить не нужно)

Вроде бы стандартный подход - оптимизировать метапараметры алгоритма по результатам на контрольной выборке?

Не, обучать можно только по выборке train, и допустим имеем test - для контроля результатов и exam - для независимой оценки, так вот применять алгоритм машинного обучения можно только по выборке train по условиям. Нельзя добавлять новые предикторы, описывающие участок exam - остальное пусть можно (пока).

Как то можно проанализировать exam, что бы улучшить модель, построенную на train?
 
Aleksey Vyazmikin #:

Не, обучать можно только по выборке train, и допустим имеем test - для контроля результатов и exam - для независимой оценки, так вот применять алгоритм машинного обучения можно только по выборке train по условиям. Нельзя добавлять новые предикторы, описывающие участок exam - остальное пусть можно (пока).

Как то можно проанализировать exam, что бы улучшить модель, построенную на train?

Вообще говоря, после обучения (на train) имеется не одна модель, а их набор, определяемый метапараметрами. Например, разная степень многочлена интерполяции или разные коэффициенты регуляризации в регрессии лассо и тд. Затем определяется лучшее значение для метапараметра (берётся лучшая модель из набора проверкой на test). В свою очередь, оптимизация метапараметра на test может тоже определяться какими-нибудь параметрами (метаметапараметрами), для оптимизации которых можно применить exam. Например, в каких пропорциях делить исходную выборку на train и test.

Но, скорее всего, я просто не понял вашу идею)

 
Aleksey Nikolayev #:

Но, скорее всего, я просто не понял вашу идею)

нас много)

 
Aleksey Nikolayev #:

Вообще говоря, после обучения (на train) имеется не одна модель, а их набор, определяемый метапараметрами. Например, разная степень многочлена интерполяции или разные коэффициенты регуляризации в регрессии лассо и тд. Затем определяется лучшее значение для метапараметра (берётся лучшая модель из набора проверкой на test). В свою очередь, оптимизация метапараметра на test может тоже определяться какими-нибудь параметрами (метаметапараметрами), для оптимизации которых можно применить exam. Например, в каких пропорциях делить исходную выборку на train и test.

Но, скорее всего, я просто не понял вашу идею)

Самое оптимальное метапараметры выбирать не по одному участку test, а на нескольких склеенных собранных кросс валидацией или валкинг форвардом. Недавно обсуждали.
 
elibrarius #:
Самое оптимальное метапараметры выбирать не по одному участку test, а на нескольких склеенных собранных кросс валидацией или валкинг форвардом. Недавно обсуждали.

Согласен. Собственно хотел лишь выразить мысль, что кроссвалидация тоже может быть устроена непросто и задаваться какими-то своими параметрами (метаметапараметрами), которые тоже можно оптимизировать по ещё одной выборке (а не брать их с потолка).

Причина обращения: