Уравнение регрессии - страница 4

 
А что у нас по поводу выбора полинома?
 
j21 20.09.2010 02:32 А что у нас по поводу выбора полинома?

я так думаю, что если с числом степеней свободы не напряжно и вид зависимости априори понятен - о чём вопрос?

Prival:


З.Ы. а вот необитаемый остров я видно пропустил. ссылкой не поделитесь. почитать хочеться, что нить толковое...

не знаю, но этот остров похоже плывёт в ноосфере...

И население заблуждается в своём бессмертии.

Имхо.

 
FreeLance:

А можно поподробней?

МНК позиционируется в т.ч. как метод оценки подбора лучших параметров для функции априорно выбранной исследователем.

для множества функций выведены формулы вычисления этих параметров, минимизирующих квадрат отклонения фактических данных от апроксимирующей функции.

Где толстые хвосты возникают?

Просветите пжл...

Толстые хвосты могут возникать если модель выбранная исследователем не адекватна реальному ряду. Стандартная проверка адекватности любой модели регрессии реальным данным - это распределение остатков. Остатки это и есть отклонение реальных данных от модельных. Если модель адекватная, то распределение остатков д.б. нормальное. МНК минимизирует сумму этих отклонений, но распределение остатков не обязательно будет нормальным, хотя на отдельных участках ряда может и быть. Линейная регрессия имеет смысл для модели СБ с сносом или на отдельных участках ряда удовлетворяющих этой модели. Если вы умеете определять такие участки еще до их окончания, то линейная регрессия имеет практический смысл. А МНК только параметры выбранной модели подбирает - он не гарантирует адекватности самой модели. Поэтому МНК не виноват - важен подбор адекватной модели и ее правильной параметризации. А модель м.б. какая угодно - стационарная/нестационарная или сумма различных распределений например. имха

Подробно https://www.mql5.com/go?link=http://emm.ostu.ru/lect/lect6_2.html[hash]vopros11 "Проверка адекватности модели регрессии"

 
Avals:

Толстые хвосты могут возникать если модель выбранная исследователем не адекватна реальному ряду. Стандартная проверка адекватности любой модели регрессии реальным данным - это распределение остатков. Остатки это и есть отклонение реальных данных от модельных. Если модель адекватная, то распределение остатков д.б. нормальное. МНК минимизирует сумму этих отклонений, но распределение остатков не обязательно будет нормальным, хотя на отдельных участках ряда может и быть. Линейная регрессия имеет смысл для модели СБ с сносом или на отдельных участках ряда удовлетворяющих этой модели. Если вы умеете определять такие участки еще до их окончания, то линейная регрессия имеет практический смысл. А МНК только параметры выбранной модели подбирает - он не гарантирует адекватности самой модели. Поэтому МНК не виноват - важен подбор адекватной модели и ее правильной параметризации. А модель м.б. какая угодно - стационарная/нестационарная или сумма различных распределений например. имха

Подробно https://www.mql5.com/go?link=http://emm.ostu.ru/lect/lect6_2.html[hash]vopros11 "Проверка адекватности модели регрессии"

Вы это мне написали? o)

Я об этом и говорил давеча...

FreeLance 19.09.2010 15:52
Mathemat:
Ну возьмите и получите эмпирическое распределение ошибок при аппроксимации полиномом. И сравните его с нормальным. Особое внимание обратите на хвосты, а не на центральную часть.

Мы говорим о выборе лучших (в смысле МНК) параметров полинома?

Или выборе их же - но лучших в другом смысле?

Или о правильности выбора полинома для апроксимации?

Я попросил разьяснить мне неэффективность МНК для вычисления параметров заранее выбранной функции (ведь причина толстохвостости может быть в неудачной функции :).

И если есть такие же простые процедуры определения этих параметров - радостно с ними ознакомлюсь.

Но меня удивляет постановка вопроса: раз в ошибках есть хвосты - не годится МНК...

;)

Тут же другую идею толкают -

Mathemat:

Такая целевая функция - сумма квадратов ошибок - как раз и является оптимальной только тогда, когда само распределение ошибок нормально.

;)

 
FreeLance:

Вы это мне написали? o)

Я об этом и говорил давеча...

FreeLance 19.09.2010 15:52

я не против цитируемого написал, а даже за :)

 
Avals:

я не против цитируемого написал, а даже за :)

Благодярю за помощь в дискуссии.

Но вопрос/ответ Алексея остается открытым.

Применять МНК только при наличии уверенности в нормальности будущего распределения ошибок?

Типа - знать прикуп...

;)

 
FreeLance:

Применять МНК только при наличии уверенности в нормальности будущего распределения ошибок?

;)

похоже что да (судя по тому что выдает гугл :)), МНК оптимален если ошибка измерений распределена нормально. Для других распределений ошибок есть метод наименьших модулей (ошибки распределены по Лапласу) и метод максимального правдоподобия (в общем, если распределение ошибок известно). МНК не всегда лучший оказывается :)

Правда в нашем случае распределение ошибки все равно неизвестно...

 

FreeLance:

Применять МНК только при наличии уверенности в нормальности будущего распределения ошибок?


Да, и я согласен в Алексеем в том, что МНК в гауссовом случае эквивалентен методу максимального правдоподобия. При других же распределениях он дает худшие и даже гораздо худшие результаты. Помню, еще в институте на занятиях по матстатистике стандартной фразой преподавателей, которая всегда вызывала у меня недоумение, была: "Поскольку нам так проще делать вычисления(!!!!), примем, что распределение ошибок гауссовское". При этом мало кто задумывается, что даже сами основоположники этих методов (Эйлер, в частности) предостерегали исследователей относительно опасности жертвования логикой рассуждений в угоду простоте вычислений. В результате математический аппарат альтернативных методик мало разработан, и приходится наполовину все делать и придумывать самому. Хорошо, что родители отправили меня учиться на инженера:)))

j21,

По поводу выбора полинома, лично я дальше третьей-четвертой степени не вижу смысла лезть.

 
Avals:

похоже что да (судя по тому что выдает гугл :)), МНК оптимален если ошибка измерений распределена нормально. Для других распределений ошибок есть метод наименьших модулей (ошибки распределены по Лапласу) и метод максимального правдоподобия (в общем, если распределение ошибок известно). МНК не всегда лучший оказывается :)

Правда в нашем случае распределение ошибки все равно неизвестно...

Это значит лишь то, что мы должны апроксимировать "правдоподобную" функцию, а не попадя что...

четвертой степени.

;)

 

позволю себе в пояснение дать рисунок


P.S. На всякий случай поясню: этот рисунок наглядно показывает, что может сделать с МНК один сильный выброс. Выброс конечно здесь совсем уж выдающийся, видимо для наглядности.

Причина обращения: