L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 2967

 
Aleksey Nikolayev #:

Il s'agit de Python. Ma question initiale concernait R.

J'ai commencé à inverser le format de fichier. Tout ce que j'ai trouvé auparavant indique qu'il s'agit d'un protobuf compressé en json. Je viens de trouver ceci : "Le modèle formaté ONNX est un fichier Protocol Buffers, qui est un format de fichier de message développé par Google"

Ускорение инференса модели BERT с помощью ONNX и ONNX Runtime на примере решения задачи классификации текста
Ускорение инференса модели BERT с помощью ONNX и ONNX Runtime на примере решения задачи классификации текста
  • 2022.12.12
  • habr.com
При обращении в Ростелеком каждый клиент преследует свою цель: узнать статус своей заявки, внести изменения в договор, сменить тарифный план, подключить телевидение и еще сотни уникальных потребностей клиента. При этом каждое обращение клиента необходимо достаточно быстро и с заданным уровнем качества автоматически идентифицировать для...
 
Rorschach #:

J'ai commencé à inverser le format du fichier. Tout ce que j'ai trouvé auparavant indique qu'il s'agit d'un protobuf compressé en json. Je viens de trouver ceci : "Le modèle formaté ONNX est un fichier au format Protocol Buffers, qui est un format de fichier de message développé par Google"

ONNX est avant tout un langage. Voici par exemple la liste de ses opérateurs. La manière dont les fichiers de programmes y sont représentés est une question importante mais secondaire. Il semble qu'il s'agisse de disposer d'un convertisseur d'un langage à l'autre.

 
Aleksey Nikolayev #:

ONNX est avant tout un langage. Voici, par exemple, une liste de ses opérateurs. La manière dont les fichiers de programmes y sont représentés est une question importante mais secondaire. Apparemment, la question est celle de la disponibilité d'un convertisseur d'un langage à l'autre.

Vous pouvez tout faire en R, et seulement entraîner le modèle final en Python, si vous avez besoin de l'insérer dans le terminal.

vous pouvez le faire sans même installer quoi que ce soit, via google colab.

J'ai utilisé xbox pour l'entraîner de cette façon :)

 
Maxim Dmitrievsky #:

Sur r tout faire, le modèle en python seulement pour entraîner le modèle final, s'il faut le fourrer dans le terminal

on peut le faire sans même installer quoi que ce soit, via google colab

Ici il s'agit d'une violation du principe que R a tout, presque comme la Grèce) Pour moi c'est le premier cas où il n'y a pas quelque chose de nécessaire là. Peut-être que le langage commence à abandonner sa position.

Maxim Dmitrievsky #:

J'ai utilisé xbox pour enseigner comme ça :)

Il est probablement possible d'enseigner par le biais d'un réseau de téléviseurs avec un réfrigérateur et un fer à repasser.)

 
Aleksey Nikolayev #:

Il s'agit d'enfreindre le principe selon lequel R a tout, presque comme la Grèce.)

Rien n'est parfait.
La communauté de R est 100 fois plus petite que celle de Python.

Il y a beaucoup de choses que R n'a pas et n'aura probablement jamais.

Dans son créneau - statistiques, MO, travail avec des données (ce dont nous avons besoin) - il est le meilleur, mais en dehors de ce créneau, je pense que d'autres langages peuvent facilement rivaliser avec R.
 
Aleksey Nikolayev #:

Ici il s'agit de violer le principe que R a tout, presque comme la Grèce) Pour moi c'est la première fois qu'il n'y a pas quelque chose de nécessaire là. Peut-être que la langue commence à perdre du terrain.

Peut-être qu'il est possible d'enseigner à travers le réseau du téléviseur avec un frigo et un fer à repasser)

Est-ce que onnx est vraiment si nécessaire dans R ?

Fondamentalement, ONNX est une séquence d'opérations mathématiques élémentaires écrites lors de l'exécution d'un modèle/fonction/module. Toute séquence supportée peut être traduite en ONNX. Mais comme tout cela est très peu standardisé, cela demande un effort supplémentaire pour apprendre, appliquer ce sujet ou n'utiliser que des packages qui ont des convertisseurs intégrés.

J'ai essayé dans R de convertir un modèle H2O sauvegardé en MOJO avec un convertisseur Python (il n'y a que des convertisseurs de JSOM, MOJO vers ONNX) mais cela n'a pas fonctionné. Il faut approfondir le sujet.

J'ai envoyé une demande pour savoir s'il était possible de convertir des bibliothèques vers R (Torch, H2O, XGBoost). Seule la dernière a répondu et a promis un convertisseur JSON. Pour l'instant, il n'y a pas de résultat.

En général, il est nécessaire d'évaluer si les avantages de l'application ONNX valent la peine d'être étudiés et utilisés. C'est à chacun d'en décider.

De tous les convertisseurs que j'ai examinés, le plus avancé, le mieux documenté et le plus compréhensible (à mon avis) est spox(v0.6.1).

Bonne chance

spox
  • 2023.03.14
  • pypi.org
A framework for constructing ONNX computational graphs.
 
Aleksey Nikolayev #:

Ici il s'agit de violer le principe que R a tout, presque comme la Grèce) Pour moi c'est la première fois qu'il n'y a pas quelque chose de nécessaire là. Peut-être que la langue commence à perdre du terrain.

Peut-être qu'il est possible d'enseigner à travers le réseau du téléviseur avec un frigo et un fer à repasser)

A ce stade, nous pouvons peut-être nous engager dans l'impasse de l'évolution et céder la place à d'autres espèces normales :D

 
Vladimir Perervenko #:

En général, il est nécessaire d'évaluer si ces avantages de l'application ONNX valent l'effort d'apprentissage et d'utilisation. C'est à chacun d'en décider.

Exactement ce que j'ai dit plusieurs fois ici...

personne n'a de modèle fonctionnel, mais tout le monde a besoin de savoir comment implémenter un modèle profond via ONNX :)

 
mytarmailS #:

Exactement ce que j'ai dit maintes et maintes fois ici.

personne n'a de modèle fonctionnel, mais tout le monde doit savoir comment mettre en œuvre un modèle profond via l'onnx :)

Bien, au moins par respect pour le travail effectué par les développeurs, il est nécessaire de sentir et d'étudier la fonctionnalité proposée. Et appliquer ou ne pas appliquer, c'est à chacun d'en décider. D'ailleurs, aujourd'hui c'est compliqué et incompréhensible, et demain il y aura peut-être une opportunité de simplifier ce processus de conversion.

Vous avez mal formulé : "Personne n'a de modèle fonctionnel..." Je dirais plutôt que le forum ne voit pas beaucoup de modèles qui fonctionnent sur le marché. Mais ce n'est pas grave. Personne ne va donner son argent durement gagné pour rien.

Bonne chance

 
Vladimir Perervenko #:

Eh bien, au moins par respect pour le travail effectué par les développeurs, il est nécessaire d'avoir le sentiment, d'étudier l'opportunité proposée. Et laisser à chacun le soin de décider s'il veut l'utiliser ou non. D'ailleurs, aujourd'hui c'est compliqué et incompréhensible, et demain il sera peut-être possible de simplifier le processus de conversion.

Oui, bien sûr, ce qui est fait est très bien et sera utile...

Il suffit de suivre une séquence logique d'actions et de pensées ....

dépenser beaucoup de ressources et de temps pour apprendre une technologie importante et nécessaire afin de lancer un modèle qui ne l'est pas n 'est pas cohérent....

Vladimir Perervenko #:

Vous formulez de manière incorrecte : "Personne n'a de modèle fonctionnel..."

Je me doutais que je serais corrigé....

Oui, bien sûr, je voulais dire la grande majorité > 95~99,9 %.

Raison: