Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
https://youtu.be/4yrp71kAZxU
И что же тут интересного?
при обучении нейронок на сколько уверены, что она не застряла где то локально?
в нейронках разделение на батчи помогает избегать
в других алгоритмах оптимизации тоже несколько раз запускать или делить на батчи полезно, вроде
плюс настройка шага градиента и прочие примочки
вс равно надо исследовать окрестности оптимума потом через изменение гиперпараметров, посмотреть насколько живучая системав нейронках разделение на батчи помогает избегать
в других алгоритмах оптимизации тоже несколько раз запускать или делить на батчи полезно, вроде
плюс настройка шага градиента и прочие примочки
вс равно надо исследовать окрестности оптимума потом через изменение гиперпараметров, посмотреть насколько живучая системастесняюсь спросить, а что такое батчи?
не, я имел ввиду, как вообще можно быть уверенным, что нейронка не застревает где то? как то тестируется на устойчивость к застреванию?
стесняюсь спросить, а что такое батчи?
не, я имел ввиду, как вообще можно быть уверенным, что нейронка не застревает где то? как то тестируется на устойчивость к застреванию?
тестируется на новых данных, через ранний останов например
когда на обучающих ошибка падает, а на новых начинает расти. Пока не начала расти на новых, значит не застряли пока еще
батчи это пакеты дынных для обучения: не обязательно сразу учить всему датасету, можно разделить данные на пакеты и дообучать на каждой итерации
поскольку оптимумы в каждом пакете будут скакать, среднее будет нечтОм оптимальным для всех
тут как бы сложно судить что такое оптимум в принципе. А если выборка смещена, что делать? как в смещенной подвыборке найти этот самый глобальный оптимум
ну если вопрос в принципе про алгоритмы оптимизации, то ты справедливо спрашиваешь. Но там потом начинается смещение выборок, что создает больше проблем чем этот вопрос.
это если от теории немного к практике :)
тестируется на новых данных, через ранний останов например
когда на обучающих ошибка падает, а на новых начинает расти. Пока не начала расти на новых, значит не застряли пока еще
батчи это пакеты дынных для обучения: не обязательно сразу учить всему датасету, можно разделить данные на пакеты и дообучать на каждой итерации
поскольку оптимумы в каждом пакете будут скакать, среднее будет нечтОм оптимальным для всех
тут как бы сложно судить что такое оптимум в принципе. А если выборка смещена, что делать? как в смещенной подвыборке найти этот самый глобальный оптимум
ну если вопрос в принципе про алгоритмы оптимизации, то ты справедливо спрашиваешь. Но там потом начинается смещение выборок, что создает больше проблем чем этот вопрос.
это если от теории немного к практике :)
а, ну значит я правильно понял твой первый ответ. никак не проверяется устойчивость к застреванию.
то, про что говоришь "на обучающих ошибка падает а на новых начинает расти", так это не проверка на застревание, а просто критерий останова обучения.
мой вопрос касается про алгоритмы оптимизации, которые тут народ использует для обучения нейронок а не про повышение устойчивости нейронок на новых данных, что является уже вторым этапом. ну а первый то этап вообще никак тут ещё пока не обсуждался))
а, ну значит я правильно понял твой первый ответ. никак не проверяется устойчивость к застреванию.
то, про что говоришь "на обучающих ошибка падает а на новых начинает расти", так это не проверка на застревание, а просто критерий останова обучения.
мой вопрос касается про алгоритмы оптимизации, которые тут народ использует для обучения нейронок а не про повышение устойчивости нейронок на новых данных, что является уже вторым этапом. ну а первый то этап вообще никак тут ещё пока не обсуждался))
Ну как бы да, не обсуждался. В нейронках что там самое популярнее - Adam алгоритм оптимизации. Может можешь его как-то протестировать тоже
вот вот, никак не обсуждался.
на практике это означает, что нейронка будет недообученной, то есть, ошибка на новых данных начнет расти раньше, чем если бы использовался более устойчивый к застреваниям AO.