Обсуждение статьи "Методы оптимизации библиотеки Alglib (Часть II)" - страница 5
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Есть же ситуации, когда полный перебор не найдет оптимум, потому что узлы сетки перебора не попадают на него.
Maxim Dmitrievsky #:
1. Какой-нибудь конкретный критерий оценки кач-ва оптимизации есть?)
2. если алгоритму нужно больше итераций это плохо?
1. Лимит в 10 000 обращений взят не "с потолка". В MetaTrader 5 в оптимизаторе используется это число как оптимальное с практической точки зрения. Это число и используется как эталонная граница практической целесообразности. Можно и больше делать обращений, но зачем тратить время и ресурсы, когда можно взять более мощный алго и достичь тех же результатов быстрее. Это число пороговое и используется при сравнении разных алго.
Тут описаны качества алгоритмов, которые следует учитывать:
Точность сходимости
Повторяемость результатов (устойчивость)
Масштабируемость (способность продолжать эффективно работать с увеличением размерности задачи).
2. Если использовать случайную генерацию точек, то разве будет плохо, что требуется огромное количество обращений к ФФ?
3. Если количество обращений к ФФ при полном переборе лежит в разумных пределах, то его и следует использовать. Зачем нужен AO, если требуется, например, всего 200 обращений?
Есть же ситуации, когда полный перебор не найдет оптимум, потому что узлы сетки перебора не попадают на него.
Совершенно верно. А уменьшение сетки будет приводит к степеному увеличению обращений к ФФ. Тут то и начинается область практической применимости AO при временных и ресурсных ограничениях в реальной жизни.
1. Ещё не факт, что правильно используются оптимизаторы из алглиба.
1. Можно ставить под сомнение всё что угодно, но всегда гораздо конструктивнее разговаривать с позиции полных исходных кодов и правильных воспроизводимых тестов.
2. Оптимальный результат можно получить на двумерном Мегасити если попросить 9 млрд человек случайно тыкнуть пальцем в чистый лист бумаги, за которым скрыта поверхность функции (кто-то из них обязательно окажется очень близко к глобалу и будет говорить, что именно он успешно решил задачу). Но нужно найти оптимальное решение не за 9 млрд попыток методом случайного тыка, а за 10 000 используя стратегию.
Чем выше получится средний результат за серию независимых испытаний (устойчивость, повторяемость результатов), тем выше тестируемый метод находится по сравнению со случайным тыком для конкретного типа задач (для одних задач некоторые методы мало отличимы от случайного тыка, а для других они очень эффективны).
В этом и смысл тестирования и сравнения разных алго, для которых взяты в качестве бенчмарков не просто одна кака-то тестовая функция, а три разных, с разными свойствами, чтобы можно было четко видеть применимость разных алго на различных задачах, их ограничения и возможности на различных задачах. Это позволяет осмысленно подходить к решению задач оптимизации.
В дальнейшем предпочитаю отвечать на конкретные вопросы по содержанию статьи и по кодам.
Берем методы для локальной оптимизации, применяем к задаче глобальной и сравниваем с методами для глобальной. Так что ли.
Я веду разговор о том, как можно адаптировать эти методы для глобальной оптимизации. Самым простым вариантом является увеличение кол-ва инициализаций.
Если я правильно понял, Адам и т.п. заточены на скорость, а не на качество.
Интересно глянуть рейтинг при ограничении по времени, а не количеству итераций.
Если я правильно понял, Адам и т.п. заточены на скорость, а не на качество.
Интересно глянуть рейтинг при ограничении по времени, а не количеству итераций.
Семейство алгоритмов ADAM (AdamW, RAdam, AdaBelief и другие) а так же SGD, SGRAD и прочие (их много) разработаны как современная замена классическим градиентным методам и задуманы для решения задач больших размерностей без знаний аналитической формулы, зачастую для обучения нейронных сетей (все они имеют свои достоинства и недостатки). Так же есть интересные методы Lion от Google (2023) и некоторые другие прям очень свежие. Эта тема очень интересная для изучения, в особенности в контексте обучения нейронных сетей, где будет полезно и познавательно построить на каком нибудь простом примере (а может быть и сложном) поверхность целевой и провести эксперименты (с разбором их внутренностей, с глубоким изучением свойств методов, тщательной оценкой их возможностей - всё как мы любим).
При ограничении по времени не к чему привязываться. У одного пользователя за 1 минуту будет произведено 1 млн обращений к целевой, а у другого 1 млрд. Как сравнивать в таких условиях алго между собой? Поэтому используем лимит по количеству обращений и сравниваем эффективность в рамках этого лимита.
При ограничении по времени не к чему привязываться. У одного пользователя за 1 минуту будет произведено 1 млн обращений к целевой, а у другого 1 млрд. Как сравнивать в таких условиях алго между собой? Поэтому используем лимит по количеству обращений и сравниваем эффективность в рамках этого лимита.
Привязка к ПК автора. Взять за базу время 10000 итераций ANS.
Мои результаты по коду fxsaber'а:
PS объем кода, как дополнительная метрика (на сколько сложна реализация алгоритма)