Обсуждение статьи "Внедряем систему непрерывной адаптации LLM для алгоритмического трейдинга"

[MetaQuotes]

Опубликована статья Внедряем систему непрерывной адаптации LLM для алгоритмического трейдинга:

SEAL (Self-Evolving Adaptive Learning) — система непрерывной адаптации LLM для алгоритмического трейдинга, решающая проблему быстрой деградации моделей на меняющихся рынках. Вместо периодического переобучения, которое занимает часы и стирает старые паттерны, SEAL учится на каждой закрытой сделке, сохраняя приоритетную память важных примеров и автоматически запуская инкрементальный файнтьюнинг при падении точности или смене рыночного режима.

Когда я впервые начал использовать Llama 3.2 для предсказания валютных пар, процесс выглядел элегантно: собираем исторические данные за три месяца, файнтьюним модель на 2000 примеров, получаем отличные результаты. Через две недели модель начинает давать сбои. Не катастрофические — просто уверенность падает, точность скатывается к рандому, а самое неприятное: модель продолжает быть уверенной в своих прогнозах, хотя они уже не работают.

Классическое решение — переобучить модель на свежих данных. Звучит логично, пока не начинаешь считать. Файнтьюнинг Llama 3.2:3b на 2000 примеров занимает около 40 минут на RTX 3090. Если делать это каждую неделю, мы получаем 160 минут в месяц чистого простоя. Добавим сюда подготовку данных, валидацию, тестирование — выходит полдня работы. И это при условии, что мы вообще успели заметить деградацию модели до серьёзных потерь.

Но главная проблема не во времени. Главная проблема в том, что при переобучении модель забывает старые паттерны. Рынок циклический: то, что не работало последние две недели, может вернуться через месяц. Стандартный файнтьюнинг работает по принципу перезаписи: новые знания вытесняют старые. Мы получаем модель, которая отлично работает на текущем рыночном режиме и полностью беспомощна при смене режима.

Автор: Yevgeniy Koshtenko