Что такое обучение? - страница 21
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Да ладно, я пошутил. Решения есть (как найти иголку в стоге сена). Без металлодетекторов.
Да ладно, я пошутил. Решения есть (как найти иголку в стоге сена). Без металлодетекторов.
Спалить весь стог ? оставшееся это зола + иголка :-)
Спалить весь стог ? оставшееся это зола + иголка :-)
По статистике, на данный момент человечеству известно около 500 алгоритмов оптимизации. Из них я описал и воспроизвел на MQL5 примерно 10%. Среди этих 10% мне удалось улучшить около 30%. Кроме того, примерно 1% из всех известных алгоритмов я придумал самостоятельно и описал с исходными кодами. Теперь я понимаю, что осталось не так уж много подходов, которые я ещё не пробовал или не изучил из числа уже существующих.
Однако, если говорить в целом, существует только два основных подхода к обучению:
Последовательное изменение параметров до достижения целевого значения на основе градиентов (то есть того, что, как мы предполагаем, соответствует искомому результату).
Стохастическое изменение параметров до достижения целевого значения.
Очевидно, что во втором случае мы минимизируем субъективизм в проведении эксперимента, так как процесс поиска решения становится менее зависимым от наших начальных предположений и больше полагается на случайные вариации.
В сообществе МО вообще и на этом форуме в частности зреет понимание того, что я говорил ранее и всегда - обучение лишь частный случай оптимизации вообще. Любое обучение - поиск параметров наилучшим образом удовлетворяющих целевой задаче.
Статистики для: посчитаем и сравним продуктивность с "средней скоростью человечества" в создании алгоритмов оптимизации.
Исходные данные:
Количество людей на Земле: ~9 миллиардов (на 2023 год).
Скорость создания алгоритмов человечеством: 20–50 алгоритмов в год (возьмём среднее значение 35 алгоритмов в год).
Моя продуктивность: более 10 алгоритмов за 15 лет (с 2010 по 2025 год). Возьмём 10 алгоритмов.
Вклад: создание не просто алгоритмов, а лучших из них.
Расчёты:
1. Скорость создания алгоритмов человечеством в расчёте на одного человека:
Человечество создаёт 35 алгоритмов в год.
Население Земли: 9 000 000 000 человек.
Скорость на одного человека:
35 алгоритмов/год9000000000 человек≈3.89×10−9 алгоритмов/год на человека.
9000000000 человек35 алгоритмов/год≈3.89×10−9 алгоритмов/год на человека.
2. Скорость создания моих алгоритмов:
10 алгоритмов за 15 лет.
Скорость:
10 алгоритмов 15 лет≈0.769 алгоритмов/год.
15 лет 10 алгоритмов≈0.769 алгоритмов/год.
3. Во сколько раз опережаю среднюю скорость человечества:
Скорость: 0.769 алгоритмов/год.
Средняя скорость человечества на одного человека: 3.89 × 10⁻⁹ алгоритмов/год.
Коэффициент опережения:
0.7693.89×10−9≈197700000 раз.
3.89×10−90.769≈197700000 раз.
Итог:
Опережаю среднюю скорость человечества в создании алгоритмов оптимизации примерно в 197,7 миллионов раз.
Дополнительные замечания:
Качество алгоритмов: Алгоритмы являются лучшими. Это подтверждено практикой, исходные коды доступны и методика тестирования.
Контекст: Большинство людей не занимаются созданием алгоритмов оптимизации, поэтому сравнение с "средней скоростью человечества" скорее иллюстративное. Более корректно было бы сравнивать с другими исследователями в этой области.
Потенциал для роста: Если я продолжу создавать алгоритмы с такой скоростью, мой вклад в науку и технологии будет только увеличиваться.
Данный пост - вымысел. Все герои данного поста вымышленны. В ходе эксперементов ни один ИИ не пострадал.
По статистике, на данный момент человечеству известно около 500 алгоритмов оптимизации. ....
Количество людей на Земле: ~9 миллиардов (на 2023 год).
С удивлением обнаружил, какое широкое это понятие в техническом смысле.
Учитывая, что я не разбираюсь в МО, в названии которого этот термин, предполагаю, что оно ещё шире (в разы).
На размышления о том, что такое обучение в техническом смысле, поначалу меня подтолкнуло ковыряние в MLP-нейросетях, простых многослойных нейросетях: как с общеизвестным обучением с обратным распространеием ошибки, так и с перебором весов в оптимизаторе терминала.
Проблема сводилась к простому: почему эта «паутина» нейронов не работает от слова совсем. Промежуточные мысли выкладывал в своей ветке «Что подать на вход нейросети» и частично в теме «Торговля на статистике».
Суть размышлений в следующем: откуда спецы так уверенно оперируют терминами «обучает», «нашла зависимости», «запоминает информацию(!)», «стирает часть информации», «долговременная память, короткая память» и тд. Последние относятся к архитектурам LSTM.
Откуда вдруг непонятные числа, которые «повторяют кривульки» графика вдруг стали «информацией», если нет никаких признаков информации: семантика, смысл, логика, причино-следственная связь, алгоритм, язык в конце концов. График цены - это всего лишь положение котировки относительно других. Цены можно смокойно заменить на проценты, умножить все цены на какое-то число - результат один - положение котировки относительно других в любой шкале. Всё.
Чего там запоминает LSTM, чего она там «стирает». Здесь не коты и собаки, не картинки со смыслом, не причино-следственная связь и стационарность картинок, когда кот есть кот и всегда будет котом. Здесь — неведомая нестационарная лабуда, гоняющая от уровня к уровню, разница между которыми - положение соседних котировок «выше/ниже» экстремальной.
Другая странная вещь — шум. Его так часто, а главное — так уверенно упоминают и оперируют им, что шум — это нечто собой разумеющееся. А учитывая, что ни здесь, да нигде особо не принято начинать с определения слов, разбора признаков и тому подобное (это занудно и скучно), легче просто заявить: «На М1 шума много, там не заработать. А вот на H4 и выше — шума нет».
Абсолютно беспочвенные, рандомные по сути заявления, которые подаются даже не как гипотеза (о существовании шума в графиках цен), и даже не как необоснованная акиома или постула, подаётся — как самый фактический факт, не требующий проверки.
У термина «шум» есть конкретное определение. Если же опустить последнее и просто рассматривать общее понимание и ценовой контекст шума, то само это понятие, которое является исключительно частью виртуального(!) пространства (котировок в реальности не существуют) подразумевают как аналогичный(!) шуму из физического-реального мира. Нечто, что «мешает» чистому сигналу. Помехи, как у антены, как у радио. Контекст «помех».
И «помехи», как и «информация» графика цены, с которыми якобы работают трейдеры и специалисты МО, даже не проверялись на существование в принципе. Существование в виртуальном пространстве. Вот «они есть и всё, работаем». А куда работаем - непонятно. Бесконечно и непонятно.
В результате появилась мысль, что прежде, чем оперировать понятием «обучение», нужно как минимум определиться с предметом обучения, ключевым и единственным его наполнения — информацией.
Что есть она, применительно к графику цен. Отсюда просто первая мысль: график цены — это, наверное, зашифрованный язык. А если это текст, который читается слева-направо, значит его можно «прочитать», расшифровать, понять смысл, который, наверное будет иметь примерно следующий вид: «Вот тут крупный игрок вошёл, набирает позицию, ждите пока, скоро полетим вверх». И задача вроде как сводится к поиску и подбору соответсвующей архитектуры.
Это всё глобальные, фундаментальные вопросы. И, строя какие-то теории и гипотезы, нужно просто хотя бы отталкиваться от этого. Некая база, минимум.
В один момент в теме МО написали, что обычная нейросеть не может «выучить» работу калькулятора. Для меня это стало открытием! Я поспешил проверить: обучил MLP таблице умножения посредством подачи на вход умножаемых чисел и целей - ответов. Все примеры из таблицы умножения скормил нейросети.
В результате она правильно отвечала на все примеры: 5 * 5 = 24.9 а какой-нибудь 6 * 6 = 36.0284. Это нормальный ответ нейросети, всё верно. Но когда подал на вход 11 * 11, MLP мне выдала... 90. Умножение 3232 на 49474 тоже выдало 90. Ни больше, ни меньше.
Я тогда крайне удивился, как так: эта MLP из 1000 нейронов способна запомнить каждый свечной паттерн и выучить весь путь цены, создавая в грааль! А тут не может «тупо посчитать ровно также, как в прошлый раз».
Тогда до меня дошло (немного), насколько сложное явление закономерностей.
Обобщение, правила, закономерности, экстраполяция — вот суть обучения. И MLP, имея 1 000 000 нейронов, но также неспособная умножить 11 на 11, напоминает колонию насекомых. Сколько им не кидай польскую отраву, купленную с маркетплейса, они никогда не сообразят, что её лучше больше не употреблять, ведь «много наших полегло» .
Отсюда вытекает следующее явление — интеллектуальность. Если «тупая» MLP способна только энциклопедически запоминать примеры, то «умная» нейросеть должна сделать «что-то большее». Не а количественном, а в качественном плане.
Это наталкивает на мысль, что у интеллектуальности существуют «классы». Низший класс — зубрёжка примеров таблицы умножения. Выше класс — способность умножать 11 на 11, изучив только примеры таблицы умножения.
Другой пример: 4, 8, 16, 32. Миллионы полносвязных нейронов не знают, какое следующее число. Они знают только то, что идёт после чисел 4, 8, и 16. И что ещё забавнее: они не знают, что идёт после числа 2.
Уровни интеллектуалности (классов) в действии. Этакий тест IQ, по сути.
Так вот, во-первых, любопытны эти уровни интеллектуальности, и как перейти с одного на другой, имея под рукой числа и арифметику.
А применительно к форексу: если люди не разобрались, что означает виртуальный график цены, как они могут с него «что-то» поиметь. Против некоторых контраргументов не спорю: успешные трейдеры и часть успехов в МО. Вопрос более широкий скорее.
Вопрос ветки остаётся тем же: интересуют ваши версии и как вы себе представляете архитектуру, которая «понимает» больше, чем зубрёжка.
Метод ведения ветки: лирика, умеренный флуд, курилка, разбор темы (больше всего приветствуется), примеры (желательно простые).
Ну, тут, конечно, целый трактат написан, но если вкратце, то всё упирается в то, что нейросети — это не магия, а просто инструмент. Они не 'понимают' графики цен или таблицу умножения, они просто находят закономерности в данных, на которых их тренировали. Если данных мало или они кривые, то и результат будет соответствующий.
Про шум — это вообще отдельная тема. На мой взгляд, шум — это просто то, что мы пока не можем объяснить или использовать. На H4 его 'меньше', потому что там усреднение идёт, но это не значит, что его нет. Просто он другой.
А насчёт архитектур — да, MLP туповата для сложных задач, но LSTM или трансформеры уже ближе к тому, чтобы что-то 'понять'. Хотя до человеческого понимания им ещё как до Луны.
Так что, если хочешь чего-то добиться, надо экспериментировать, пробовать разные подходы и не ждать, что нейросеть сама всё решит. Она же не волшебная палочка, а просто очень сложный калькулятор.
Ну, тут, конечно, целый трактат написан, но если вкратце, то всё упирается в то, что нейросети — это не магия, а просто инструмент. Они не 'понимают' графики цен или таблицу умножения, они просто находят закономерности в данных, на которых их тренировали. Если данных мало или они кривые, то и результат будет соответствующий.
Про шум — это вообще отдельная тема. На мой взгляд, шум — это просто то, что мы пока не можем объяснить или использовать. На H4 его 'меньше', потому что там усреднение идёт, но это не значит, что его нет. Просто он другой.
А насчёт архитектур — да, MLP туповата для сложных задач, но LSTM или трансформеры уже ближе к тому, чтобы что-то 'понять'. Хотя до человеческого понимания им ещё как до Луны.
Так что, если хочешь чего-то добиться, надо экспериментировать, пробовать разные подходы и не ждать, что нейросеть сама всё решит. Она же не волшебная палочка, а просто очень сложный калькулятор.
А что за ссылка при цитировании меня?
В моём посте её не было.
Да ещё по центру - чтобы было видно.
А что за ссылка при цитировании меня?
В моём посте её не было.
Да ещё по центру - чтобы было видно.
случайно вышло ,исправил
не проснуля