Algorithme pour combiner les plages d'un segment - aide à la création - page 5

 


)

 
Dmitry Fedoseev:

1. Complètement incompréhensible et déjà quelque chose de complètement différent.

Quelle est la tâche en général ? Quel est l'objectif pratique ? Peut-être que le problème est résolu de manière tout à fait différente.

Eh bien, si vous êtes intéressé, laissez-moi vous le dire plus en détail. Dans l'algorithme d'apprentissage automatique CatBoost, l'énumération des valeurs d'une variable (prédicteur) obtenues à partir des observations (tableau) pour définir la répartition est résolue en construisant une prégrille (quantification), de sorte que les nombres sont divisés en intervalles (périodes/plages) et l'énumération des valeurs ne se produit pas sur tous les nombres, mais seulement sur ces intervalles. Il existe différentes méthodes intégrées pour construire des grilles, y compris celles avec un nombre différent de limites souhaitées. Visuellement, une variante de la grille ressemble à la figure ci-dessous où toutes les 100 valeurs du tableau incrémentent d'une unité la valeur sur l'échelle des y - cela montre la répétabilité des valeurs.

La tâche consiste à construire une grille la plus favorable à l'apprentissage, c'est-à-dire une grille dans laquelle l'information entre les intervalles (dans le segment) appartiendra davantage à l'une des cibles (0/1), tout en maintenant la cohérence de la dépendance et la suffisance des observations.

Maintenant, j'obtiens différentes mailles, je sélectionne leurs intervalles selon des critères donnés (que j'ai écrits plus tôt), et je dois combiner les intervalles sélectionnés entre eux pour les réunir en une seule maille.

 
Aleksey Nikolayev:


)

Si je peux aider, j'aide, et sinon, je n'hésite pas à demander de l'aide.

De plus, les problèmes sont rares par ici ces derniers temps, et j'ai pensé que les gens seraient intéressés à participer à leur résolution.

 
Aleksey Vyazmikin:

///

Maintenant, j'obtiens différents maillages, je sélectionne leurs segments selon des critères donnés (j'ai écrit plus tôt), et je dois combiner les segments sélectionnés les uns avec les autres pour les combiner en un seul maillage.

C'était le sujet de la question. Comment voulez-vous faire ?

 
Dmitry Fedoseev:

C'était le sujet de la question. Comment voulez-vous faire ?

Hmmm... donc le script que vous avez écrit peut faire presque tout le travail. D'autres options ? J'ai suggéré l'option de réduire le nombre de combinaisons.


Je considère toujours cette option :)

Почему амеба справилась с вычислениями лучше современного компьютера
Почему амеба справилась с вычислениями лучше современного компьютера
  • www.popmech.ru
В 2018 году группа исследователей из токийского университета Кейо решила использовать амебу для решения так называемой «задачи коммивояжера», известной в области компьютерных наук проблемы. Суть ее такова: представьте, что вы – путешествующий от города к городу...
 
Aleksey Vyazmikin:

Hmmm... donc le script que vous avez écrit peut faire presque tout le travail. Y a-t-il d'autres options ? J'ai suggéré l'option de réduire le nombre de combinaisons.


Je considère toujours cette option :)

Peut-être quand il y a peu de segments. Et quand il y en a beaucoup, comment cela doit-il être ?

Dans quel sens avez-vous suggéré l'option de réduire le nombre de combinaisons ? Toutes les combinaisons ne sont pas suffisantes, ou existe-t-il un critère ?

 
Dmitry Fedoseev:

Peut-être quand il y a peu de sections. Mais quand il y en a beaucoup, comment cela doit-il être ?

Dans quel sens avez-vous suggéré l'option de réduire le nombre de combinaisons ? Toutes les combinaisons ne sont pas suffisantes, ou existe-t-il un critère ?

Quand il y en a beaucoup, il faut penser...

Comme option, je propose de commencer par chaque segment de la même manière, mais de limiter le nombre de combinaisons à partir de chaque point.

Ici, la figure montre les segments sous la forme d'un cercle et leur évaluation sous la forme d'une longueur de flèche. Dans la figure, seules les deux flèches les plus courtes sont sélectionnées, les autres "chemins" sont coupés (exclus). Sous la forme de ces flèches (graphiques par essence), il peut y avoir un coefficient d'évaluation (indicateur).


De cette façon, je suppose que nous ne choisirons pas les pires options, tout en réduisant le coût du calcul.
 
Aleksey Vyazmikin:

Quand il y en a beaucoup, il faut penser...

Comme option, je propose de commencer par chaque segment de la même manière, mais de limiter le nombre de combinaisons à partir de chaque point.

La figure montre les segments sous la forme d'un cercle et leur évaluation sous la forme d'une longueur de flèche. Seules les deux flèches les plus courtes sont sélectionnées dans la figure, les autres "chemins" sont coupés (exclus). Sous la forme de ces flèches (graphiques par essence), il peut y avoir un coefficient d'évaluation (indicateur).


De cette façon, je suppose que nous ne sélectionnerons pas les pires options, tout en réduisant le coût de calcul.
Il s'agit du cas où il y a des proportions à peu près égales de segments longs et courts et où il n'y a pas de zones comportant uniquement des segments longs ou courts.
 
Valeriy Yastremskiy:
Il s'agit de la situation où il y a des proportions approximativement égales de chemins longs et courts partant du point et où il n'y a pas de zones avec uniquement des chemins longs ou courts.

Quelle différence cela fait-il que les chemins soient longs ou courts, ou est-ce une question d'estimation (la longueur de la flèche dans l'analogie de la figure) ?

Nous souhaitons emprunter les deux meilleurs chemins dans l'exemple, s'il y en a moins, il n'y a qu'un seul chemin.

Veuillez expliquer pourquoi cela pourrait être un problème.

 

Il est également possible de réduire le nombre de combinaisons en divisant les segments (groupes) par plages.

Dans les figures 4 groupes avec des limites de portée, faites un dénombrement uniquement à l'intérieur des groupes, puis combinez les meilleurs choix à l'intérieur du groupe entre les autres groupes.

Il est difficile de diviser de manière égale, donc les segments par limites de groupes peuvent être séparés et utilisés lors de la combinaison des résultats inter-groupes.

Raison: