Чтобы увидеть весь ужас, который творится в разметке, распечатал количество элементов в каждом кластере и отклонение среднего меток от 0.5, по убыванию:
Cluster 83: Count = 18, Mean = 0.33
Cluster 70: Count = 187, Mean = 0.22
Cluster 82: Count = 436, Mean = 0.10
Cluster 73: Count = 457, Mean = 0.09
Cluster 89: Count = 961, Mean = 0.09
Cluster 7: Count = 380, Mean = 0.09
Cluster 94: Count = 670, Mean = 0.09
Cluster 79: Count = 681, Mean = 0.08
Cluster 38: Count = 250, Mean = 0.08
Cluster 62: Count = 24, Mean = 0.08
Cluster 14: Count = 483, Mean = 0.08
Cluster 23: Count = 516, Mean = 0.08
Cluster 41: Count = 1181, Mean = 0.08
Cluster 60: Count = 412, Mean = 0.08
Cluster 2: Count = 667, Mean = 0.08
Cluster 12: Count = 651, Mean = 0.07
Cluster 0: Count = 646, Mean = 0.07
Cluster 39: Count = 1077, Mean = 0.07
Cluster 43: Count = 455, Mean = 0.06
Cluster 4: Count = 581, Mean = 0.06
Cluster 99: Count = 713, Mean = 0.06
Cluster 71: Count = 1368, Mean = 0.06
Cluster 72: Count = 1487, Mean = 0.06
Cluster 31: Count = 1340, Mean = 0.06
Cluster 51: Count = 1340, Mean = 0.06
Cluster 1: Count = 756, Mean = 0.06
Cluster 69: Count = 936, Mean = 0.05
Cluster 93: Count = 590, Mean = 0.05
Cluster 90: Count = 852, Mean = 0.05
Cluster 77: Count = 936, Mean = 0.05
Cluster 8: Count = 274, Mean = 0.05
Cluster 34: Count = 1050, Mean = 0.05
Cluster 86: Count = 979, Mean = 0.05
Cluster 58: Count = 508, Mean = 0.05
Cluster 66: Count = 632, Mean = 0.04
Cluster 55: Count = 556, Mean = 0.04
Cluster 75: Count = 1118, Mean = 0.04
Cluster 80: Count = 2365, Mean = 0.04
Cluster 65: Count = 334, Mean = 0.03
Cluster 53: Count = 1592, Mean = 0.03
Cluster 63: Count = 237, Mean = 0.03
Cluster 22: Count = 1155, Mean = 0.03
Cluster 27: Count = 1454, Mean = 0.03
Cluster 98: Count = 1062, Mean = 0.03
Cluster 88: Count = 17, Mean = 0.03
Cluster 5: Count = 767, Mean = 0.03
Cluster 67: Count = 1543, Mean = 0.03
Cluster 46: Count = 645, Mean = 0.03
Cluster 24: Count = 1028, Mean = 0.03
Cluster 85: Count = 498, Mean = 0.03
Cluster 37: Count = 1992, Mean = 0.03
Cluster 57: Count = 1523, Mean = 0.02
Cluster 26: Count = 476, Mean = 0.02
Cluster 28: Count = 695, Mean = 0.02
Cluster 10: Count = 1630, Mean = 0.02
Cluster 32: Count = 1522, Mean = 0.02
Cluster 50: Count = 651, Mean = 0.02
Приведен не полный список. Кластеров с отклонением >= 0.1 всего 3. То есть количество меток на бай и селл отличается на 10%.
В остальных кластерах противоположные метки выпали с вероятностью почти что 50%.
Для обучения модели это сущий ад, потому что она не уверена ни в чем.
Посмотрим что там будет за торговля если выбрать, исправить и торговать всего 3 этих кластера:
Ну такое себе, сидеть и выбирать эти кусочки, хоть они и плюсуют на ООС.
А если взять целый пакет кластеров выше некоторого порога вероятности и исправить их:
уже лучше, при пороге 0.03. Немножко подготовил код для основной цели - для расчета правильных комбинаций кластеров.
Ф-я для вывода такой инфы и для исправления кластеров по порогу, а не по количеству лучших:
через чатгпт можно на другие ЯП переписать наверное.
def find_best_clusters_proba(dataset, n_clusters=200, probability_threshold=0.02) -> pd.DataFrame:
# Применяем KMeans для кластеризации
dataset['clusters'] = KMeans(n_clusters=n_clusters).fit(dataset[dataset.columns[1:-1]]).labels_
# Вычисляем среднее значение 'labels' для каждого кластера
cluster_means = dataset.groupby('clusters')['labels'].mean()
# Вычисляем количество элементов в каждом кластере
cluster_counts = dataset.groupby('clusters')['labels'].count()
# Вычисляем абсолютные разности между средними значениями меток и 0.5
abs_diff_from_05 = cluster_means.sub(0.5).abs()
# Выбираем все индексы, значения которых больше или равны порогу вероятности
sorted_clusters = abs_diff_from_05[abs_diff_from_05 >= probability_threshold].index
# Сортируем кластеры по их абсолютным разностям
sorted_clusters_for_print = abs_diff_from_05.sort_values(ascending=False).index
for cluster in sorted_clusters_for_print:
count = cluster_counts[cluster]
mean = abs_diff_from_05[cluster]
print(f"Cluster {cluster}: Count = {count}, Mean = {mean:.2f}")
# Создаем словарь для отображения средних значений в новые значения только для выбранных кластеров
mean_to_new_value = {cluster: 0.0if mean < 0.5else1.0for cluster, mean in cluster_means.items() if cluster in sorted_clusters}
# Применяем изменения к исходным значениям 'labels' только для выбранных кластеров
dataset['labels'] = dataset.apply(lambda row: mean_to_new_value[row['clusters']] if row['clusters'] in mean_to_new_value else row['labels'], axis=1)
# Создаем новый столбец 'meta_labels'
dataset['meta_labels'] = dataset['clusters'].apply(lambda x: 1if x in sorted_clusters else0)
# Удаляем столбец 'clusters'
dataset = dataset.drop(columns=['clusters'])
return dataset
mytarmailS #: по одной функции весь процесс не понять, покажы с данными и моделью, чтобы можно было весь процесс прогнать и осмыслить
Еще больше объяснять придется.. :) ты же знаешь, что будут одни вопросы. Пока что не охото, потому что не доделал все, что хотел. Саму суть идеи пока описываю. Еще сам не обкатал до конца.
На вход любой датасет с метками, на выходе тот же датасет, но уже с исправленными. На нем обучаешься, потом проверяешь на другом (новых данных). Другие модификации функций, более простые, раньше по тексту
Это весь код тогда надо будет расписывать, лучше через статью, потому что долго
Еще больше объяснять придется.. :) ты же знаешь, что будут одни вопросы. Пока что не охото, потому что не доделал все, что хотел. Саму суть идеи пока описываю. Еще сам не обкатал до конца.
На вход любой датасет с метками, на выходе тот же датасет, но уже с исправленными. На нем обучаешься, потом проверяешь на другом (новых данных). Другие модификации функций, более простые, раньше по тексту
Это весь код тогда надо будет расписывать, лучше через статью, потому что долго
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
Сигналы не хочу, хочу хедж фонд. Или просто очень много денег на карте.
)))))))))
зрело
Чтобы увидеть весь ужас, который творится в разметке, распечатал количество элементов в каждом кластере и отклонение среднего меток от 0.5, по убыванию:
Приведен не полный список. Кластеров с отклонением >= 0.1 всего 3. То есть количество меток на бай и селл отличается на 10%.
В остальных кластерах противоположные метки выпали с вероятностью почти что 50%.
Для обучения модели это сущий ад, потому что она не уверена ни в чем.
Посмотрим что там будет за торговля если выбрать, исправить и торговать всего 3 этих кластера:
Ну такое себе, сидеть и выбирать эти кусочки, хоть они и плюсуют на ООС.
А если взять целый пакет кластеров выше некоторого порога вероятности и исправить их:
уже лучше, при пороге 0.03. Немножко подготовил код для основной цели - для расчета правильных комбинаций кластеров.
Чтобы увидеть весь ужас, который творится в разметке
А есть полный код, начиная с загрузки данных и заканчивая тестом модели
Потом скину, когда доделаю вероятности
статью может
Ну и понятно, что чем на большее кол-во кластеров разбивать, тем больше можно найти хороших, но кол-во сэмплов в них будет маленькое.
По сути большинство датасетов - мусор. И часто даже исправление не помогает, либо мало сделок.
В примере разбил на 500 кластеров, выведены лучшие. Вручную их объединять и комбинировать не имеет никакого смысла.
Ф-я для вывода такой инфы и для исправления кластеров по порогу, а не по количеству лучших:
через чатгпт можно на другие ЯП переписать наверное.
по одной функции весь процесс не понять, покажы с данными и моделью, чтобы можно было весь процесс прогнать и осмыслить
Еще больше объяснять придется.. :) ты же знаешь, что будут одни вопросы. Пока что не охото, потому что не доделал все, что хотел. Саму суть идеи пока описываю. Еще сам не обкатал до конца.
На вход любой датасет с метками, на выходе тот же датасет, но уже с исправленными. На нем обучаешься, потом проверяешь на другом (новых данных). Другие модификации функций, более простые, раньше по тексту
Это весь код тогда надо будет расписывать, лучше через статью, потому что долгоЕще больше объяснять придется.. :) ты же знаешь, что будут одни вопросы. Пока что не охото, потому что не доделал все, что хотел. Саму суть идеи пока описываю. Еще сам не обкатал до конца.
На вход любой датасет с метками, на выходе тот же датасет, но уже с исправленными. На нем обучаешься, потом проверяешь на другом (новых данных). Другие модификации функций, более простые, раньше по тексту
Это весь код тогда надо будет расписывать, лучше через статью, потому что долгокак раз полный код исключит все вопросы