Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2966

 
Aleksey Nikolayev #:

Это же питон. Мой изначальный вопрос был про R.

Я по сути формат файла реверсить начал. Все что встречалось раньше говорит, что это json сжатый  protobuf. Вот сейчас нашел: "Модель в формате ONNX является файлом в формате Protocol Buffers, который представляет собой формат файла сообщений, разработанный Google"

Ускорение инференса модели BERT с помощью ONNX и ONNX Runtime на примере решения задачи классификации текста
Ускорение инференса модели BERT с помощью ONNX и ONNX Runtime на примере решения задачи классификации текста
  • 2022.12.12
  • habr.com
При обращении в Ростелеком каждый клиент преследует свою цель: узнать статус своей заявки, внести изменения в договор, сменить тарифный план, подключить телевидение и еще сотни уникальных потребностей клиента. При этом каждое обращение клиента необходимо достаточно быстро и с заданным уровнем качества автоматически идентифицировать для...
 
Rorschach #:

Я по сути формат файла реверсить начал. Все что встречалось раньше говорит, что это json сжатый  protobuf. Вот сейчас нашел: "Модель в формате ONNX является файлом в формате Protocol Buffers, который представляет собой формат файла сообщений, разработанный Google"

ONNX это прежде всего язык. Вот, например, список его операторов. Как именно представлены файлы программ на нём вопрос важный, но вторичный. Там, судя по всему, вопрос именно в наличии конвертора с одного языка на другой.

[Удален]  
Aleksey Nikolayev #:

ONNX это прежде всего язык. Вот, например, список его операторов. Как именно представлены файлы программ на нём вопрос важный, но вторичный. Там, судя по всему, вопрос именно в наличии конвертора с одного языка на другой.

На r сделать все, модель на питоне только обучить финальную, если в терминал надо впихнуть

можно даже ничего не устанавливая, через google colab

я вообще через xbox так обучал :)

 
Maxim Dmitrievsky #:

На r сделать все, модель на питоне только обучить финальную, если в терминал надо впихнуть

можно даже ничего не устанавливая, через google colab

Тут же дело в нарушении принципа, что в R всё есть, почти как в Греции) Для меня это первый случай когда там нет чего-то нужного. Возможно, язык начинает сдавать позиции.

Maxim Dmitrievsky #:

я вообще через xbox так обучал :)

Наверно можно уже обучать и через сеть из телевизора с холодильником и утюгом)

 
Aleksey Nikolayev #:

Тут же дело в нарушении принципа, что в R всё есть, почти как в Греции) 

Нету ничего идеального.. 
У R комюнити меньше питона в 100 раз

В  R много чего нет, и наверное никогда не будет

В своей нише - статистика, МО, работа с данными (то что нам и надо) он лучшый,  но за рамками этой нишы думаю другие ЯП могут соревноваться легко с R
 
Aleksey Nikolayev #:

Тут же дело в нарушении принципа, что в R всё есть, почти как в Греции) Для меня это первый случай когда там нет чего-то нужного. Возможно, язык начинает сдавать позиции.

Наверно можно уже обучать и через сеть из телевизора с холодильником и утюгом)

А onnx действительно так нужен в R?

По сути ONNX это последовательность выполнения элементарных математических операций записанная при выполнении модели/функции/модуля. Перевести в ONNX  можно любую поддерживаемую последовательность. Но поскольку это все очень слабо стандартизировано, то это требует дополнительных усилий по изучению, применению этой темы или применять только те пакеты, которые имеют встроенные конверторы.

Я пробовал в R преобразовать модель H2O сохраненную в MOJO конвертором из Питона(только там есть конверторы из JSOM, MOJO в ONNX) не срослось. Нужно глубже погружаться в эту тему.

Отправил запрос на возможность конвертации разрабам библиотек в R (Torch, H2O, XGBoost). Откликнулся только последний, обещал конвертор в JSON. Пока нет результата.

В общем нужно оценить стоят ли те плюсы отприменения ONNX тех усилий по его изучению и применения. Это решать каждому.

Из всех пакетов конверторов которые я просмотрел, самый продвинутый, хорошо документированный и понятный (по моему мнению) spox(v0.6.1). 

Удачи

spox
  • 2023.03.14
  • pypi.org
A framework for constructing ONNX computational graphs.
[Удален]  
Aleksey Nikolayev #:

Тут же дело в нарушении принципа, что в R всё есть, почти как в Греции) Для меня это первый случай когда там нет чего-то нужного. Возможно, язык начинает сдавать позиции.

Наверно можно уже обучать и через сеть из телевизора с холодильником и утюгом)

На этом, пожалуй, можно смело заходить в эволюционный тупик и давать дорогу другим нормальным видам :D

 
Vladimir Perervenko #:

В общем нужно оценить стоят ли те плюсы отприменения ONNX тех усилий по его изучению и применения. Это решать каждому.

Именно то что я и говорил много много раз тут..

ниукого никакой рабочей модели нету, но всем надо знать как внедрять глубокую модель через onnx :)

 
mytarmailS #:

Именно то что я и говорил много много раз тут..

ниукого никакой рабочей модели нету, но всем надо знать как внедрять глубокую модель через onnx :)

Ну хотя бы из уважения к проделанной работе разработчиков нужно пощупать, поизучать предложенную возможность. А применять или не применять пусть решает каждый для себя сам. Кроме того, это сегодня сложно и непонятно, а завтра может появиться возможность сильно упростить этот процесс конвертации. 

Вы неправильно формулируете: "Ни у кого рабочей модели нет..." Я бы сказал, что на форуме не видно много моделей реально работающих в рынке. Но это нормально. Добытое с трудом никто просто так отдавать не собирается.

Удачи

 
Vladimir Perervenko #:

Ну хотя бы из уважения к проделанной работе разработчиков нужно пощупать, поизучать предложенную возможность. А применять или не применять пусть решает каждый для себя сам. Кроме того, это сегодня сложно и непонятно, а завтра может появиться возможность сильно упростить этот процесс конвертации. 

Да конечно то что сделано прекрасно ) и будет полезно ...

Просто нужно соблюдать самим учасникам какую то логическую последовательность действий и мыслей...

третить кучу ресурсов и времени на освоение важной и нужной технологии для запуска модели КОТОРОЙ НЕТ ?!?!   как то не последовательно...

Vladimir Perervenko #:

Вы неправильно формулируете: "Ни у кого рабочей модели нет..." 

Я подозревал что меня поправят...

Да, конечно  я имел в виду подавляющее большинство  > 95~99.9 %