Обсуждение статьи "Популяционные алгоритмы оптимизации: строим защиту от читеров"

 

Опубликована статья Популяционные алгоритмы оптимизации: строим защиту от читеров:

Проведён повторный прогон алгоритмов на обновлённых функциях и предложен метод быстрой проверки их «честности». Составной тест объединяет пять разных ландшафтов и исключает выигрыш за счёт геометрии отдельных задач, позволяя быстро оценить реальную поисковую способность алгоритма. Прилагается скрипт для предварительной валидации алгоритмов перед применением к оптимизации торговых стратегий.

В предыдущей статье мы обнаружили, что отдельные алгоритмы способны получать завышенные оценки не за счёт качества поиска, а за счёт случайного совпадения своей внутренней механики с геометрией тестовых функций. Мы выявили природу явления, сформулировали критерии диагностики и скорректировали тестовые функции Forest и Megacity. Это устранило возможность выигрыша вследствие перемещения поисковых агентов по «диагонали» в двумерной плоскости. Статья завершилась планом: прогнать все алгоритмы на обновлённом стенде и пересчитать рейтинг.

Данная статья — выполнение этого плана. Все 45 алгоритмов из рейтинговой таблицы были протестированы заново на скорректированных тестовых функциях. Помимо пересчёта, разработан составной тест на «читерство». Вместо одной функции с повторяющимися координатами агент одновременно оптимизирует пять различных функций с разными ландшафтами. Алгоритм с искусственным направленным смещением не способен одновременно «угадать» оптимум на пяти разных поверхностях, тогда как честный поисковый механизм покажет очень близкие результаты как на обновлённых тестовых функциях, так и на новой мульти-функции. Его задача — быстро и однозначно определить, обладает ли алгоритм реальной поисковой способностью, до запуска полного тестового стенда. Это своего рода входной фильтр, отсеивающий «пустышки» на раннем этапе. Речь идёт не о пересмотре методологии, а об устранении нескольких исключений, которые эксплуатировали конкретное расположение экстремумов.

Автор: Andrey Dik