Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 2967

 
Aleksey Nikolayev #:

É python. Minha pergunta original era sobre o R.

Basicamente, comecei a inverter o formato do arquivo. Tudo o que encontrei antes diz que se trata de um protobuf compactado em json. Acabei de encontrar isto: "O modelo formatado em ONNX é um arquivo Protocol Buffers, que é um formato de arquivo de mensagem desenvolvido pelo Google"

Ускорение инференса модели BERT с помощью ONNX и ONNX Runtime на примере решения задачи классификации текста
Ускорение инференса модели BERT с помощью ONNX и ONNX Runtime на примере решения задачи классификации текста
  • 2022.12.12
  • habr.com
При обращении в Ростелеком каждый клиент преследует свою цель: узнать статус своей заявки, внести изменения в договор, сменить тарифный план, подключить телевидение и еще сотни уникальных потребностей клиента. При этом каждое обращение клиента необходимо достаточно быстро и с заданным уровнем качества автоматически идентифицировать для...
 
Rorschach #:

Basicamente, comecei a inverter o formato do arquivo. Tudo o que encontrei antes diz que se trata de um protobuf compactado em json. Acabei de encontrar isto: "O modelo formatado em ONNX é um arquivo no formato Protocol Buffers, que é um formato de arquivo de mensagem desenvolvido pelo Google"

O ONNX é, antes de tudo, uma linguagem. Aqui, por exemplo, há uma lista de seus operadores. Como exatamente os arquivos de programa são representados nela é uma questão importante, mas secundária. Parece ser uma questão de ter um conversor de uma linguagem para outra.

 
Aleksey Nikolayev #:

O ONNX é, antes de tudo, uma linguagem. Aqui está, por exemplo, uma lista de seus operadores. Como exatamente os arquivos de programa são representados nela é uma questão importante, mas secundária. Aparentemente, a questão é a disponibilidade de um conversor de uma linguagem para outra.

Você pode fazer tudo em r, apenas treinar o modelo final em Python, se precisar colocá-lo no terminal.

Você pode fazer isso sem nem mesmo instalar nada, por meio do Google Colab.

Eu usei o xbox para treiná-lo dessa forma :)

 
Maxim Dmitrievsky #:

No r, faça tudo, o modelo em python apenas para treinar o modelo final, se for necessário colocá-lo no terminal

você pode fazer isso sem nem mesmo instalar nada, via google colab

Aqui é uma questão de violação do princípio de que o R tem tudo, quase como a Grécia) Para mim, é o primeiro caso em que não há algo necessário lá. Talvez a linguagem esteja começando a desistir de sua posição.

Maxim Dmitrievsky #:

Eu usava o xbox para ensinar assim :)

Provavelmente é possível ensinar por meio de uma rede de um aparelho de TV com uma geladeira e um ferro de passar).

 
Aleksey Nikolayev #:

Trata-se de violar o princípio de que R tem tudo, quase como a Grécia)

Nada é perfeito.
A comunidade do R é 100 vezes menor que a do Python.

Há muitas coisas que o R não tem, e provavelmente nunca terá.

Em seu nicho - estatística, MO, trabalho com dados (o que precisamos) - ele é o melhor, mas fora desse nicho, acho que outras linguagens podem competir com o R facilmente.
 
Aleksey Nikolayev #:

Aqui é uma questão de violar o princípio de que o R tem tudo, quase como na Grécia) Para mim, é a primeira vez que não há algo necessário ali. Talvez a linguagem esteja começando a perder terreno.

Talvez seja possível ensinar por meio da rede do aparelho de TV com uma geladeira e um ferro de passar)

O onnx é realmente tão necessário no R?

Basicamente, o ONNX é uma sequência de operações matemáticas elementares escritas durante a execução de um modelo/função/módulo. Qualquer sequência suportada pode ser traduzida em ONNX. Mas como tudo isso é padronizado de forma muito vaga, é necessário um esforço extra para aprender e aplicar esse tópico ou aplicar apenas pacotes que tenham conversores embutidos.

Tentei converter em R o modelo H2O salvo em MOJO com o conversor Python (só existem conversores de JSOM, MOJO para ONNX) e não funcionou. Preciso me aprofundar mais nesse tópico.

Enviei uma solicitação sobre a possibilidade de conversão de bibliotecas para R (Torch, H2O, XGBoost). Apenas a última respondeu e prometeu um conversor JSON. Até o momento, não há nenhum resultado.

De modo geral, é necessário avaliar se as vantagens do aplicativo ONNX valem o esforço de estudá-lo e usá-lo. Cabe a cada um decidir. Isso cabe a cada um decidir.

De todos os pacotes de conversores que analisei, o mais avançado, bem documentado e compreensível (na minha opinião) é o spox (v0.6.1).

Boa sorte

spox
  • 2023.03.14
  • pypi.org
A framework for constructing ONNX computational graphs.
 
Aleksey Nikolayev #:

Aqui é uma questão de violar o princípio de que o R tem tudo, quase como a Grécia) Para mim, é a primeira vez que não há algo necessário lá. Talvez o idioma esteja começando a perder terreno.

Talvez seja possível ensinar por meio da rede do aparelho de TV com uma geladeira e um ferro de passar)

Nesse ponto, talvez possamos entrar com segurança no beco sem saída evolutivo e dar lugar a outras espécies normais :D

 
Vladimir Perervenko #:

Em geral, é necessário avaliar se essas vantagens do aplicativo ONNX valem o esforço para aprendê-lo e usá-lo. Isso cabe a cada um decidir. Isso é uma decisão que cabe a todos.

Exatamente o que eu disse muitas vezes aqui...

ninguém tem um modelo funcional, mas todos precisam saber como implementar um modelo profundo por meio do ONNX :)

 
mytarmailS #:

Exatamente o que eu disse muitas e muitas vezes aqui.

ninguém tem um modelo funcional, mas todos precisam saber como implementar um modelo profundo via onnx :)

Bem, pelo menos por respeito ao trabalho feito pelos desenvolvedores, é necessário sentir e estudar o recurso proposto. E se aplicar ou não aplicar, cada um decide por si mesmo. Além disso, hoje ele é complicado e incompreensível, e amanhã pode haver uma oportunidade de simplificar esse processo de conversão.

Você disse a frase errada: "Ninguém tem um modelo funcional..." Eu diria que o fórum não vê muitos modelos de fato funcionando no mercado. Mas tudo bem. Ninguém vai dar seu dinheiro suado em troca de nada.

Boa sorte

 
Vladimir Perervenko #:

Bem, pelo menos por respeito ao trabalho realizado pelos desenvolvedores, é necessário sentir, estudar a oportunidade proposta. E deixar que cada um decida por si mesmo se vai usá-la ou não. Além disso, hoje ele é complicado e incompreensível, e amanhã talvez seja possível simplificar o processo de conversão.

Sim, é claro que o que está sendo feito é bom e será útil...

É necessário apenas seguir uma sequência lógica de ações e pensamentos ....

gastar muitos recursos e tempo para aprender uma tecnologia importante e necessária para lançar um modelo QUE NÃO É?!?! não é consistente....

Vladimir Perervenko #:

Você está formulando incorretamente: "Ninguém tem um modelo funcional..."

Eu suspeitava que seria corrigido....

Sim, é claro que eu quis dizer a grande maioria > 95~99,9%.

Razão: