Что подать на вход нейросети? Ваши идеи... - страница 57

[Andrey Dik]

Ivan Butko #:

Вы чего такие ранимые

я бы сказал - предсказуемые. 

это как если лить воду возле спящего и он обязательно обоссытся....

[Andrey Dik]

хорошо.

если обучение - это процесс, направленный на познание некоторой системы заданной темы, то какой должен быть результат? нужно как-то оценивать результат, насколько он хорош.

[mytarmailS]

Что один что второй вместо того чтобы читать спец. литературу по теме , пользуться чатом гпт и считают свой подход к изучению глубоким :-О 

Поколение пепси мать его ))))

[Ivan Butko]

mytarmailS #:

Что один что второй вместо того чтобы читать спец. литературу по теме , пользуться чатом гпт и считают свой подход к изучению глубоким :-О 

Поколение пепси мать его ))))

Пепси вкуснее колы, я не против

Хотя, когда меня проверяли с закрытыми глазами, я не смог отличить одну от другой

Уверен, мне тогда налили две колы

[[Удален]]

Если продолжить этот увлекательнейший разговор, то те, кто льют воду, опять сами обосцутся, уже традиция 😁 Ведь их кто-то этому научил, иначе бы откуда они узнали. 

Это называется переоптимизацией - принятием желаемого за действительное. Когда вроде бы чему-то научился, но потом все никак не фартит :)

Получается зубрежка вместо обучения. Потому что в процесс обучения входит ещё и практика.

[Sergey Pavlov]

Andrey Dik #:

Прикольно. Смысл заменить стандартный BB в том, чтобы получить значения раньше?

Заменить стандартный цели не было - это проверка качества нейросети, а цель = узнать заранее начало и конец флета.

[Aleksei Kuznetsov]

Про обучение...

Пару лет назад встретил такое выражение на обычном (не техническом сайте): базы данных на основе нейросетей.
В общем я с этим термином согласился для себя. Сам деревьями занмаюсь - база данных на основе деревьев тоже применима.
1 лист в дереве  = 1 строке в базе данных.

Отличия:

1 строка в БД содержит только 1 пример из сохраненных в БД данных.

1 лист содержит:

1) 1 пример и все точно такие же примеры (при делении дерева по максимуму до последнего отличия)

или

2) 1 пример и точно такие же примеры + наиболее похожие примеры, если деление останавливается раньше. Это называется обобщением примеров.
Похожие примеры определяются разными алгоритмами по разному при выборе сплитов дерева.

Преимущества деревьев перед БД: обобщение и быстрый поиск нужного листа - не надо перебирать миллион строк, до листа можно добраться, через несколько сплитов.

Кластеризация тоже обобщает. Kmeans - по близости примеров к центру кластера, др. методы по другому. Тоже можно поделить на макс число кластеров = числу примеров и получится аналог БД/листьев без обобщения.

Нейросети более сложно понять и осознать, но по сути тоже база данных, хоть и не такая очевидная, как листья и кластеры.

В итоге: обучение дерева = это запоминание/запись примеров, как в базе данных. Если остановили деление/обучение раньше максимально точного запоминания, то запомнили с обобщением.

Андрей конечно хочет подвести к тому, что обучение это оптимизация. Нет - это запоминание. Но оптимизация тоже присутствует. Можно оптимизацией перебрать варианты с глубиной обучения, методы сплитов и т.д. На каждом шаге оптимизации будет происходить обучение отдельной модели. Но обучение не есть оптимизация. Это запоминание.

[[Удален]]

Forester #:

Про обучение...

Пару лет назад встретил такое выражение на обычном (не техническом сайте): базы данных на основе нейросетей.
В общем я с этим термином согласился для себя. Сам деревьями занмаюсь - база данных на основе деревьев тоже применима.
1 лист в дереве  = 1 строке в базе данных.

Отличия:

1 строка в БД содержит только 1 пример из сохраненных в БД данных.

1 лист содержит:

1) 1 пример и все точно такие же примеры (при делении дерева по максимуму до последнего отличия)

2) 1 пример и точно такие же примеры + наиболее похожие примеры, если деление останавливается раньше. Это называется обобщением примеров.
Похожие примеры определяются разными алгоритмами по разному при выборе сплитов дерева.

Преимущества деревьев перед БД: обобщение и быстрый поиск нужного листа - не надо перебирать миллион строк, до листа можно добраться, через несколько сплитов.

Кластеризация тоже обобщает. Kmeans - по близости примеров к центру кластера, др. методы по другому. Тоже можно поделить на макс число кластеров = числу примеров и получится аналог БД/листьев без обобщения.

Нейросети более сложно понять и осознать, но по сути тоже база данных, хоть и не такая очевидная, как листья и кластеры.

В итоге: обучение дерева = это запоминание/запись примеров, как в базе данных. Если остановили деление/обучение раньше максимально точного запоминания, то запомнили с обобщением.

Андрей конечно хочет подвести к тому, что обучение это оптимизация. Нет - это запоминание. Но оптимизация тоже присутствует. Можно оптимизацией перебрать варианты с глубиной обучения, методы сплитов и т.д. На каждом шаге оптимизации будет происходить обучение отдельной модели. Но обучение не есть оптимизация. Это запоминание.

Переобучение - запоминание. Запоминание и обобщение - ближе к обучению :)

[Aleksei Kuznetsov]

Maxim Dmitrievsky #:
Переобучение - запоминание. Запоминание и обобщение - ближе к обучению :)

Обобщение - скорее недообучение. Т.е. запомнили, но не абсолютно точно (еще и соседей туда приобщили...). Почти, как школьник - троечник))

Но если запоминаем что-то определяемое законом (например Ома), то переобучения не будет, легче получить недообучение, если примеров будет мало, а их бесконечное число.

Для трейдинга, где закономерности почти отсутствуют и зашумлены, абсолютно точное запоминание вместе с шумам приведет к проигрышу.
Почему-то это назвали переобучением. Точное запоминание само по себе не вредно, как в случае обучения закономерностям. А вот запоминание шума/мусора - пользы не приносит.

[[Удален]]

Forester #:

Обобщение - скорее недообучение. Т.е. запомнили, но не абсолютно точно (еще и соседей туда приобщили...). Почти, как школьник - троечник))

Но если запоминаем что-то определяемое законом (например Ома), то переобучения не будет, легче получить недообучение, если примеров будет мало, а их бесконечное число.

Для трейдинга, где закономерности почти отсутствуют и зашумлены, абсолютно точное запоминание вместе с шумам приведет к проигрышу.
Почему-то это назвали переобучением. Точное запоминание само по себе не вредно, как в случае обучения закономерностям. А вот запоминание шума/мусора - пользы не приносит.

Обобщение - это баланс между недо и пере :) Грубый пример из жизни: хорошо выучили формулу Максвелла, но не смогли её применить в реальности на практике, это переобучение. Знали, что существует формула Максвелла, но не помнили как она записывается, но на практике вспомнили про нее, прочли заново и применили. Это обобщение (обучение) и не зря потраченные годы в универе.