Что подать на вход нейросети? Ваши идеи... - страница 65

[Удален]  

Нет отдельной метрики качества "запоминания" в МО. Меморизация и обобщение - это два связанных элемента одного и того же процесса, две стороны одной медали, у которых одна общая метрика, например логлосс.

Ценные специалисты могли бы почитать уже наконец теорию МО.

 
Andrey Dik #:

возможно я вас не понял сразу, мы о чем говорим? у вас есть способ избежать интеграций и получить сразу готовый результат 100% запоминания?
Я просто не согласен с мнением, что запись становится запоминанием только после оценки.
Записывая данные в базу данных (или в дерево, или в модель кластеризации с масимальным обучением), она просто их записывает как есть, без лишних действий. БД понятия не имеет, что ей дают для запоминания (таблица умножения, закон Ома, другая формула или рыночный почти рандом). Что ей дают запомнить/записать, то она и сохраняет с строках БД, листьях, кластерах.
[Удален]  
После обучения, а точнее после тренировки, можно сделать декомпозицию модели на обобщающую и запоминающую компоненты.
[Удален]  
Ivan Butko #:

Прежде чем говорить о прикладном виде (алгоритме) обучения, и даже теории обучения, хотелось обратить внимание на полную картину локального сабжа (обучения). От и до.

Исходя из некоторых ответов, 
Обучение — это постепенное осваивание способа взаимодействия с миром, где обучение становится не столько процессом накопления знаний, сколько постоянной адаптацией, пониманием закономерностей и возможностью их применять на практике в новом контексте.

Обучение - это накопление знаний или опыта, маэстро :))
[Удален]  
Встречный вопрос к специалистам: чем отличается получение знаний от запоминания?
 
Forester #:
Я просто не согласен с мнением, что запись становится запоминанием только после оценки.
Записывая данные в базу данных (или в дерево, или в модель кластеризации с масимальным обучением), она просто их записывает как есть, без лишних действий. БД понятия не имеет, что ей дают для запоминания (таблица умножения, закон Ома, другая формула или рыночный почти рандом). Что ей дают запомнить/записать, то она и сохраняет с строках БД, листьях, кластерах.

вы говорите про запись, а не запоминание. запоминание - это принципиально иной процесс, запись никак не может стать запоминанием.
 
Maxim Dmitrievsky #:
Встречный вопрос к специалистам: чем отличается получение знаний от запоминания?
Чтобы им ответить на этот вопрос им для начала надо не путать базу данных и базу знаний...   Но видать не в этой жизни 
 
Andrey Dik #:

вы говорите про запись, а не запоминание. запоминание - это принципиально иной процесс, запись никак не может стать запоминанием.
Компьютер и др. электронное устройство с памятью (ОЗУ,HDD,SSD,ленты,перфокарты) запоминает моментально.
Это для людей нужно многократное повторение для установления связей между нейронами. Но есть и люди с отличной памятью.
Да и установление связи между нейронами можно назвать записью. Если записалось, хоть и не с 1-го раза как в компьютере - значит запомнилось.
 
Forester #:
Компьютер и др. электронное устройство с памятью (ОЗУ,HDD,SSD,ленты,перфокарты) запоминает моментально.
Это для людей нужно многократное повторение для установления связей между нейронами. Но есть и люди с отличной памятью.
Да и установление связи между нейронами можно назвать записью. Если записалось, хоть и не с 1-го раза как в компьютере - значит запомнилось.

Запись - сохранение на носитель, сколько информации имеется (сжатая или нет), столько и будет записано. Не важно, с первого раза или с десятого, не имеет значения. Т.е., взяли информацию и положили на носитель, на носителе информация будет храниться в неизмененном виде и может быть считана в том же виде - в этом смысл записи.

Запоминание имеет принципиально другую природу и смысл. Если взять человека (или любое другое живое существо), то это не флешка, невозможно записать информацию в определённые произвольные участки мозга и хранить в неизмененном виде. Мозг может только запомнить, т.е. сформировать новые связи между нейронами. Количество нейронов при запоминании не изменяется, изменяются только связи между ними. При запоминании мозг не может, не имеет возможности заранее знать, как нужно создать новые связи между нейронами, чтобы запомнить информацию, это итерационный процесс. У кого-то это происходит за меньшее количество итераций, у других за гораздо большее, но никогда четко за одну операцию как это происходит при записи на носитель. Этим и отличается просто запись от запоминания, в то время как запись гарантированно (с малой погрешностью, что обычно решается техническими приёмами как коррекция ошибок на жестких носителях и специальных буферов) сохраняет информацию на носитель, запоминание имеет смысл процесса формирования связей между логическими структурами (в мозге это нейроны).

В нейронных сетях тот же самый принцип запоминания, как и в живом мозге. Это не просто запись значений в переменные весов, это формирование нужных связей между искусственными нейронами, заранее никогда не возможно знать, какие именно нужны связи для запоминания, поэтому процесс запоминания так же итерационный, как и в живом мозге.

 Итог, то что и было сказано ранее. Запись - сохранение информации на носитель (независимо от природы носителя), запоминание - создание связей между логическими узлами.

Запись не означает наличие запоминания, в то время как запоминание обязательно предполагает операции записи в переменные. Можно сказать, что запоминание более высокий уровень абстракции, включающий в себя операции записи, требующий итерационной проверки качества запоминания.

Демонстрацией механизма запоминания у человека может служить пример использования техники якорных ассоциаций, когда процесс запоминания происходит быстрее, надёжнее и за меньшее количество итераций. Так устроен мозг, вся информация и знания могут хранится только в виде многочисленных связей между нейронами. По такому же принципу работают нейронные сети, хотя и в очень упрощенном виде.

Надеюсь, теперь понятен смысл и разница между записью и запоминанием.

 
Andrey Dik #:

Запись - сохранение на носитель, сколько информации имеется (сжатая или нет), столько и будет записано. Не важно, с первого раза или с десятого, не имеет значения. Т.е., взяли информацию и положили на носитель, на носителе информация будет храниться в неизмененном виде и может быть считана в том же виде - в этом смысл записи.

Запоминание имеет принципиально другую природу и смысл. Если взять человека (или любое другое живое существо), то это не флешка, невозможно записать информацию в определённые произвольные участки мозга и хранить в неизмененном виде. Мозг может только запомнить, т.е. сформировать новые связи между нейронами. Количество нейронов при запоминании не изменяется, изменяются только связи между ними. При запоминании мозг не может, не имеет возможности заранее знать, как нужно создать новые связи между нейронами, чтобы запомнить информацию, это итерационный процесс. У кого-то это происходит за меньшее количество итераций, у других за гораздо большее, но никогда четко за одну операцию как это происходит при записи на носитель. Этим и отличается просто запись от запоминания, в то время как запись гарантированно (с малой погрешностью, что обычно решается техническими приёмами как коррекция ошибок на жестких носителях и специальных буферов) сохраняет информацию на носитель, запоминание имеет смысл процесса формирования связей между логическими структурами (в мозге это нейроны).

В нейронных сетях тот же самый принцип запоминания, как и в живом мозге. Это не просто запись значений в переменные весов, это формирование нужных связей между искусственными нейронами, заранее никогда не возможно знать, какие именно нужны связи для запоминания, поэтому процесс запоминания так же итерационный, как и в живом мозге.

 Итог, то что и было сказано ранее. Запись - сохранение информации на носитель (независимо от природы носителя), запоминание - создание связей между логическими узлами.

Запись не означает наличие запоминания, в то время как запоминание обязательно предполагает операции записи в переменные. Можно сказать, что запоминание более высокий уровень абстракции, включающий в себя операции записи, требующий итерационной проверки качества запоминания.

Демонстрацией механизма запоминания у человека может служить пример использования техники якорных ассоциаций, когда процесс запоминания происходит быстрее, надёжнее и за меньшее количество итераций. Так устроен мозг, вся информация и знания могут хранится только в виде многочисленных связей между нейронами. По такому же принципу работают нейронные сети, хотя и в очень упрощенном виде.

Надеюсь, теперь понятен смысл и разница между записью и запоминанием.

Ничего нового вы не сказали, т.к. вкратце я упомянул про отличие человеческой памяти от машинной. Можете делать приставку запоминание людьми и запоминание машиной. У них свои особенности.

БД, леса и и модели кластеризации записывают = запоминают сразу. Без итераций и повторений.