Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 640

[Alexander_K2]

Mihail Marchukajtes:

Ganz im Ernst: Machen Sie bitte keinen Aufstand, Mikhail. Der Moment ist entscheidend. Wenn diese Idee, aus welchen Gründen auch immer (sei es wegen mangelnden Könnens oder völliger Dummheit vor den neuen Möglichkeiten), nicht funktioniert, dann wird die nächste sehr, sehr bald auf die Gemeinschaft der Händler zukommen. Da bin ich mir sicher.

[Vizard_]

Mihail Marchukajtes:

Hier sind die sieben von me!!!! Und markieren Sie diesen Tag in Ihrem Kalender mit einem Rotstift, denn an diesem Tag habe ich R heruntergeladen und werde es nach und nach weitergeben...

Auf Sensei, ein Giveaway von den Jungs))) h2o.automl.

Das Klappern ist durchschnittlich, aber alles ist auf Automatik...

[Yuriy Asaulenko]

Eidechse_:

Der alte Fa stand in einem Obstgarten. Ein Orangenbaum breitete sich vor ihm aus. Die Vögel flogen chaotisch umher.

Die Vögel wollten nicht auf dem Orangenbaum landen, und er dachte, die Früchte seien giftig. Er würde einen Schritt zur Seite machen und sehen

der Apfelbaum hinter dem Orangenbaum, wo auf den Früchten und ein paar oder noch mehr der Vögel chaotisch herumfliegen

würde sich sicherlich hinsetzen... Aber er blieb einfach an einer Stelle stehen... Hungrig, erschöpft, deprimiert...

Am Ende des sechsten Jahres hatte Hu Jou den Eindruck, dass er das Wesen der Jagdkunst durchschaut hatte. Denn nicht die Beute, sondern der Begriff selbst war für ihn zentral geworden... (с)

[[Gelöscht]]

http://playground.tensorflow.org

Visualisierung des NS-Lernens, scheint nur zum Spaß oder als Unterrichtsbeispiel zu dienen

etwas, das ihr offensichtlich Schwierigkeiten bereitet, die Spirale zu klassifizieren :)

[[Gelöscht]]

Und eine solche Architektur kann bereits

es ist genau wie bei Poincaré - wenn der Merkmalsraum inkohärent ist, braucht man mindestens 2 Ebenen, es gab bereits eine Frage dazu von elibrarius

[Aleksey Terentev]

Maxim Dmitrievsky:

Und diese Architektur kann bereits

Maxim, was ist mit der Merkmalsauswahl? Ja-Stimmen.
Verringern Sie außerdem die Lerngeschwindigkeit, wenn das Netz zu vibrieren beginnt.

Ich habe letzten Sommer mit diesem Ding gespielt. Sehr visuelle Sache).

[[Gelöscht]]

Aleksey Terentev:
Maxim, wie sieht es mit der Merkmalsauswahl aus? Ja-Stimmen.
Verlangsamen Sie außerdem die Lerngeschwindigkeit, wenn das Netz zu vibrieren beginnt.

Letzten Sommer habe ich mit diesem Ding gespielt. Sehr anschauliche Sache).

Ja, wenn Sie die Sinuskurven setzen, kann es mit 1 Schicht sein.

[Dr. Trader]

EMVC tut nicht das, was ich wollte, es tut nicht das, wonach es beim flüchtigen Lesen der Beschreibung aussieht.

EMVC nimmt eine Tabelle mit Prädiktoren und Zielen (nur Klassen, Regression ist nicht erlaubt) und berechnet die Wahrscheinlichkeit, ob jedes Trainingsbeispiel wirklich zu einer bestimmten Klasse gehört. Es ist möglich, die Zeilen in der Trainingstabelle zu finden, die der Mehrheit der Trainingsbeispiele widersprechen (Ausreißer, Fehler) und diese zu entfernen, um das Modell beim Training nicht zu verwirren.

Ich sollte einen Satz von Prädiktoren finden, der die höchsten Wahrscheinlichkeitsschätzungen ergibt, aber die gefundenen Sätze von Prädiktoren waren nicht zufriedenstellend. Ich werde damit nicht experimentieren, es gibt bessere Instrumente für die Auswahl von Prädiktoren. Ich kann die Cross-Entropie-Schätzung nicht sehen, das Paket verwendet sie irgendwie intern, gibt diese Antwort aber nicht an den Benutzer zurück.

Es gibt jedoch ein interessantes Werkzeug, um Trainingsbeispiele statt Prädiktoren herauszufiltern.

library(EMVC)
data(iris)


trainTable <- iris #таблица  на которой в дальнейшем будет обучаться какая-то модель
PREDICTOR_COLUMNS_SEQ <- 1:4 #номера  колонок с предикторами
TARGET_COLUMN_ID <- 5 #номер  колонки с таргетом

EMVC_MIN_TRUST <- 0.9 #минимально  допустимая вероятность принадлежности к классу посчитанная через emcv. От 0 до 1.

emvcData <- t(as.matrix(trainTable[,PREDICTOR_COLUMNS_SEQ]))
emvcAnnotations <- as.numeric(trainTable[,TARGET_COLUMN_ID])
emvcAnnotationsUnique <- unique(emvcAnnotations)
emvcAnnotationsMatrix <- matrix(0, ncol=ncol(emvcData), nrow = length(emvcAnnotationsUnique))
for(i in 1:length(emvcAnnotationsUnique)){
  emvcAnnotationsMatrix[i, emvcAnnotations == emvcAnnotationsUnique[i]] <- 1
}

set.seed(0)
emvcResult <- EMVC(data = emvcData,
                   annotations = emvcAnnotationsMatrix,
                   #  bootstrap.iter = 20,
                   k.range = 2
                   #  clust.method = "kmeans",
                   #  kmeans.nstart = 1,
                   #  kmeans.iter.max = 10,
                   #  hclust.method = "average",
                   #  hclust.cor.method = "spearman"
)

badSamples <- c()
for(i in 1:ncol(emvcResult)){
  if(max(emvcResult[,i])<EMVC_MIN_TRUST){
    badSamples <- c(badSamples, i)
  }
}
cat("Indexes of bad train samples:", badSamples,"\n") #Это  номера строк в обучающей табличке которые повышают кросс-энтропию данных. Они противоречат большинству других обучающих примеров, и возможно следует их удалить из обучающей таблички
trainTable <- trainTable[-badSamples,]

[СанСаныч Фоменко]

Dr. Trader:

EMVC tut nicht das, was ich wollte, es tut nicht das, wonach es beim flüchtigen Lesen der Beschreibung aussieht.

EMVC nimmt eine Tabelle mit Prädiktoren und Zielen (nur Klassen, Regression ist nicht erlaubt) und berechnet die Wahrscheinlichkeit, ob jedes Trainingsbeispiel wirklich zu einer bestimmten Klasse gehört. Es ist möglich, die Zeilen in der Trainingstabelle zu finden, die der Mehrheit der Trainingsbeispiele widersprechen (Ausreißer, Fehler) und diese zu entfernen, um das Modell beim Training nicht zu verwirren.

Ich sollte einen Satz von Prädiktoren finden, der die höchsten Wahrscheinlichkeitsschätzungen ergibt, aber die gefundenen Sätze von Prädiktoren waren nicht zufriedenstellend. Ich werde damit nicht experimentieren, es gibt bessere Instrumente für die Auswahl von Prädiktoren. Ich kann die Cross-Entropie-Schätzung nicht sehen, das Paket verwendet sie irgendwie intern, gibt diese Antwort aber nicht an den Benutzer zurück.

Aber zumindest haben wir ein interessantes Werkzeug, um Trainingsbeispiele statt Prädiktoren herauszufiltern.

Das ist sehr bedauerlich.

Wieder einmal haben Sie bewiesen, dass es keine Wunder gibt und man alles von Grund auf neu erfinden muss.

[Aleksei Kuznetsov]

Dr. Trader:
So können Sie Zeilen in der Trainingstabelle finden, die den meisten anderen Trainingsbeispielen widersprechen (Spikes, Fehler), und diese entfernen, um das Modell beim Training nicht zu verwirren.

Spielt das bei Forex-Daten, bei denen Regelmäßigkeiten schwer zu finden sind, wirklich eine Rolle? Ich denke, wir können mit diesem Programm die Hälfte der Beispiele aussieben. Und Ausreißer können mit einfacheren Methoden gesucht werden: nicht löschen, sondern z.B. mit einem zulässigen Maximum gleichsetzen.