Обсуждение статьи "Популяционные алгоритмы оптимизации: Алгоритм растущих деревьев (Saplings Sowing and Growing up — SSG)" - страница 13
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
уже попробовал. к сожалению, а может быть и к счастью, бот не генерирует новой информации, а ту, что общедоступна, часто искажает. думаю это связано с механизмами интерполяции информации. привирает, придумывает несуществующие аббревиатуры алгоритмов, даже имена авторов придумывает на ходу и даты появления алгоритма)). очень осторожно нужно относится к такой информации.
как помощник в редактировании текста, стилистических правок и получения справки при написании статей - да, незаменимый помощник.
Спасибо. Косвенно нахожу локальные через принудительное прерывание оптимизации при задействовании большого количества ядер. Грубо говоря, в Тестере 20 агентов, прерываю оптимизацию после 2000 проходов.
Пример получающихся сетов при таком прерывании. Если не прерывать, то на картинках по ссылке были бы все 20 сетов одинаковые. А с прерыванием можно видеть разное поведение сетов, среди которых вполне могут попасться те, что проходят OOS.
Если же найти 20 локальных экстремумов (предлагал методом постепенного выброса), то отображение этих экстремумов на подобной картинке даст наиболее объективную визуальную оценку ТС.
Для самообразования, какая зависимость сложности от измерений?
признаюсь - не знаю. знаю только что растёт нелинейно быстро.
тут Aleksey Nikolavev появлялся, может быть он знает точный ответ на этот вопрос. подзабыл каким способом можно звать пользователя форума.
Точное знание вряд ли здесь вообще возможно, только некие прикидки.
1) Рост числа сёдел по отношению к числу экстремумов. Предположим гладкий случай (разрывный вариант всегда можно с некоторой точностью приблизить гладким). Экстремум находится в точках с вырождением градиента и определяется знаками собственных чисел гессиана. Пусть размерность N и (допустим для простоты) каждый из знаков собственных чисел гессиана определяется случайным выбором с равными вероятностями 0.5, тогда вероятность того что все знаки одинаковы (значит это экстремум) будет равна 2/(2^N)=2^(1-N) . Для двумерного случая она будет равна 0.5 (50%), что хорошо и вполне заметно на картинках - число сёдел примерно равно числу экстремумов. В 10-мерном случае экстремумов будет уже меньше чем 0.2%.
2) По сути, любой алгоритм поиска экстремумов создаёт динамическую систему, которые имеют тенденцию быть всё хаотичнее при росте размерностей. Можно вспомнить, что множество Мандельброта возникает в динамической системе, которая возникает при итерационном поиске корня квадратичной функции в двумерном случае) Большое число сёдел только способствует ещё большей хаотизации системы.
Точное знание вряд ли здесь вообще возможно, только некие прикидки.
1) Рост числа сёдел по отношению к числу экстремумов. Предположим гладкий случай (разрывный вариант всегда можно с некоторой точностью приблизить гладким). Экстремум находится в точках с вырождением градиента и определяется знаками собственных чисел гессиана. Пусть размерность N и (допустим для простоты) каждый из знаков собственных чисел гессиана определяется случайным выбором с равными вероятностями 0.5, тогда вероятность того что все знаки одинаковы (значит это экстремум) будет равна 2/(2^N)=2^(1-N) . Для двумерного случая она будет равна 0.5 (50%), что хорошо и вполне заметно на картинках - число сёдел примерно равно числу экстремумов. В 10-мерном случае экстремумов будет уже меньше чем 0.2%.
2) По сути, любой алгоритм поиска экстремумов создаёт динамическую систему, которые имеют тенденцию быть всё хаотичнее при росте размерностей. Можно вспомнить, что множество Мандельброта возникает в динамической системе, которая возникает при итерационном поиске корня квадратичной функции в двумерном случае) Большое число сёдел только способствует ещё большей хаотизации системы.
Довольно пессимистический получается расчет для многомерных вариантов.
Довольно пессимистический получается расчет для многомерных вариантов.
В целом, да. Поэтому обычно в многомерных случаях задача полного исследования устройства поверхности функции потерь не ставится. Не ставится и задача поиска глобального экстремума. По сути, ограничиваются просто поиском достаточно хороших точек. Ну, может быть за исключением случаев, где можно самому сконструировать функцию потерь с хорошими свойствами, как в МО, например.