Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 208

 
Quantum:
Правильно. Теперь рассчитаем pgamma от 0+eps. Чему будет оно равно? Бесконечности из-за dgamma(0,0.5,1)=inf. Так?

Если вы ищите pgamma(0+eps, 0.5, 1) то и сравнивать стоит не с dgamma(0, 0.5, 1), а dgamma(0+eps, 0.5, 1)

Я сегодня с утра был ответивши какраз про это, вы пропустили:

Dr.Trader:
Давайте возьмём более простой пример:
x=1*10^(-90)
Число очень маленькое, не ноль, и нету никаких неопределённостей.
> dgamma(1*10^(-90), 0.5, 1)
[1] 5.641896e+44
> pgamma(1*10^(-90), 0.5, 1)
[1] 1.128379e-45

Вольфрам, результат совпадает:
PDF[GammaDistribution[0.5,1], 1*10^(-90)]
5.6419×10^44
CDF[GammaDistribution[0.5,1], 1*10^(-90)]
1.12838×10^-45

Теперь, перефразируя ваш вопрос, без всяких бесконечностей в формулах:
Как можно интегрируя dgamma, которая возвращает такие большие числа как 5.641896e+44, получить в итоге очень маленкое число 1.128379e-45 ?

Вас должно устраивать что при X->0  dgamma будет очень большой, стремиться к бесконечности, а pgamma очень маленькой стремящеся к нулю. Это видно даже в вольфраме. Как же в таком случае получается что интегрирование даёт небольшой результат? 
Я взял 1e-90 потому что вольфрам мельче не умеет. В R можете посмотреть на результат при x=1e-300 - будет огромный результат в dgamma, и незначительный в pgamma. 

А разгадка одна - вы видимо пытаетесь найти pgamma делая интегрирование суммированием в цикле с небольшим шагом, и Inf вам бы очень мешало. А в R делают это по какой-то формуле, не используя напрямую результат dgamma().
Вы где-то что-то не так интегрируете.

 

Я поискал работы, где упоминается плотность гаммы распределения в нуле при различных alpha & beta.

 

Вот одна из них: http://journals.ametsoc.org/doi/pdf/10.1175/1520-0442(1990)003%3C1495%3AMLEFTG%3E2.0.CO%3B2 

Исследователь прямо говорит о том, что плотность максимизируется в точке ноль. И ничего, живет, не страдает...

Когда господин Quantum признает, что заявление об ошибке - преувеличение или еще что-то, то есть, не корректно, тогда мои сомнения в его проф.компетенции как бы будут рассеяны. Пока, вижу с его стороны религиозные споры, а со стороны главы MQ его выгораживание.

Пока. 

 
Quantum:

Как разработчики R объяснят свои результаты:

dgamma(0,0.5,1)=inf

pgamma(0,0.5,1)=0

если у них  точка 0 включается (как видели в определении), дает бесконечную плотность в точке x=0, и далее при интегрировании в pgamma(x,0.5,1) бесконечность считается нулем, словно не было ее.

Quantum:
Теперь рассчитаем pgamma от 0+eps. Чему будет оно равно? Бесконечности из-за dgamma(0,0.5,1)=inf. Так?

http://www.wolframalpha.com/input/?i=integrate[pdf[gammadistribution[0.5,1],x]+,{x,0,1*10^(-90)}]

Интеграл это площадь фигуры закрашенной синеньким цветом. Как видите, левая сторона закрашенной фигуры стремится в бесконечность. Даже при том что wolfram не включает точку x=0 в функцию pdf, там всё равно нету конечной "самой высокой точки", можете считать левую часть фигуры бесконечно растущей вверх. Логично предположить что если левая сторона фигуры бесконечно растёт вверх, то и её площадь будет тоже стремится в бесконечность. Но на самом деле это не мешает получить не-бесконечный результат при определении площади этой фигуры. Математика.

 

 
Кстати, кто-то думал, можно ли вообще использовать гамма и родственные ему распределения на рынке? Это просто вопрос...

Гамма, экспоненциальное, пуассона. Все они рядом, и они для независимых процессов. Если величина событий в этих процессах также удовлетворяет i.i. d. то сумма событий нормальна....

В общем, я пока не вижу применения. Нормальность еще можно притянуть для, например, суммы величин независимых сделок... И это кстати полезное свойство. Я показывал ранее распределение кумулят сделок. При большом количестве выборок статистика приближается к нормальному.
 
mytarmailS:
5 страниц спора про мнимую ошибку в функции которая в этой ветке никому нафиг не нужна, в ветке про машинное обучение, что то явно не так в этом мире...

Вы просто не умеете читать между строк, не понимаете скрытой цели такой псевдонаучной демагогии.  Проиллюстрирую на выдуманном примере.

 

Возьмем к примеру добычу нефти, предположим что в узких кругах успешных нефтедобытчиков постепенно накапливается опыт исследований, по поиску месторождений нефти на основе косвенных, внешних признаков, таких как химический состав образцов грунта, паттерна растительности  и тп. Накапливаются сами признаки, со временем как и опыт их трансформации в прогнозы вероятности наличия нефти на глубине. Естественно всё это держится в строжайшей тайне, а новичкам бурильщикам вскармливается всякая ПРАВДОПОДОБНАЯ информация, что то очевидное с мелкими модификациями, но не работающее или вообще деза но которую сложно проверить, кроме как попробовав и разоривщись, с подачи “авторитетов”.  Время идет, люди есть люди, информация постепенно просачивается и пришло время, когда  уже скрыть технологию в общих чертах не возможно, она стала ОЧЕВИДНА и ПРАВДОПОДОБНА, что делать?

Первое что приходит в голову, как и в любой игре, когда противник узнал про “секретный приём” это разного рода диверсии нацеленные на усложнение постижения им этого секретного знания, например мокнуть его болото деталей подробностей, в гигантский слабо структурированный поток информации, которую физически не способен переварить мозг и за 100 жизней, чтобы ОТВЛЕЧЬ ОТ СУТИ,  Вы хотите разобраться как работает персептрон, а Вам рекомендуют разобраться с теорией чисел, хотя бы на уровне  аспиранта, затем с матаном, с линейной алгеброй, причем всё это не по сути а именно В ПОДРОБНОСТЯХ, затем нужно прочесть все дисеры, статьи и тп. Вы хотите почитать о том как разрабатывать какое нибуть веб приложение, а на Вас выливают тонны рассуждений про ошибки и паттерны програмирования.

Второе это разного рода фэйки, подмены, когда Вас ловко перемешают на своё поле, где игра идёт уже не по Вашим правилам. Нужен персептрон? Какой “идиот” в конце 2016го будет писать его самостоятельно? Ахахаха))) Велосипедист позорный))) Есть же куча библиотек! Купи феррари лошара! Ковыряйся в чужих библах и функциях как настоящий “ученый”! Не нужно понимать как и что там устроено, нужно просто перебирать варианты которые предоставили Вам разработчики!

 

Ну и так далее и так далее, надеюсь вы поняли про что я :)

Играйте на своём поле и по своим правилам. 

 
Alexey Burnakov:
Кстати, кто-то думал, можно ли вообще использовать гамма и родственные ему распределения на рынке? Это просто вопрос...

Гамма, экспоненциальное, пуассона. Все они рядом, и они для независимых процессов. Если величина событий в этих процессах также удовлетворяет i.i. d. то сумма событий нормальна....

В общем, я пока не вижу применения. Нормальность еще можно притянуть для, например, суммы величин независимых сделок... И это кстати полезное свойство. Я показывал ранее распределение кумулят сделок. При большом количестве выборок статистика приближается к нормальному.
Длина тренда по ЗЗ в барах на глаз падает по Пуассону для небольших альфа. Точнее не вникал, так как нет идей по использованию
 
СанСаныч Фоменко:
Длина тренда по ЗЗ в барах на глаз падает по Пуассону для небольших альфа. Точнее не вникал, так как нет идей по использованию
В смысле, распределение длины тренда? Пуассон же для количества событий за дельту времени. Или тут тоже можно натянуть? Я просто не уловил физического контекста применения...
 
Alexey Burnakov:
В смысле, распределение длины тренда? Пуассон же для количества событий за дельту времени. Или тут тоже можно натянуть? Я просто не уловил физического контекста применения...
Берем расстояние между разворотами ЗЗ в барах и строим гистограмму. На глаз пуассон.
 
СанСаныч Фоменко:
Берем расстояние между разворотами ЗЗ в барах и строим гистограмму. На глаз пуассон.
Подумаю над этим... Поэкспериментирую.
 
Я начал получать ответы на свой вопрос в R. пробиться к R Core мне удалось, так я не член команды... Порекомендовали написать в рассылку r-devel. Этот уровень более технически глубокий, чем просто R-help. привожу первый ответ. Читайте и думайте. Мое дело изложить.

Re: [Rd] dgamma density values in extreme point
DM
Duncan Murdoch
13 ноября в 22:28
английскийрусскийПеревести

On 13/11/2016 1:43 PM, Alexey Burnakov wrote:

 Dear R-Devel group,

 My name is Alexey, a data scientist from Moscow, currently working for
 Align Technology Inc.

 We have recently had a discussion of the results that the dgamma
 function (stats) returns for an extreme point (x == 0).


 <dgamma(0,1,1,log = FALSE)

 [1] 1


 and

 <dgamma(0,0.5,1,log = FALSE)
 [1] Inf

 Density appears to be defined in point zero for the distribution with
 the said parameters.

 It looks like the returned value is a limit of f(x) where x --> inf.


It's the limit as x --> 0.

Скрыть цитату

 Although several other "big" statistics engines like Wolfram and Matlab
 return 0 (zero) for gamma density with the same function parameters
 where x == 0. Which looks like a convention rather than exact answer, in
 our opinion. Is this a correct assumption?

 When studies scrupulously, it appears that the density is undefined when
 we get x^0 where x == 0, for example.

 As I could not have reached the author of the code for dgamma, could you
 comment on this behavior of the dgamma function in zero? Is it safe to
 use the function given such behaviour. Is it prudent to report density =
 inf in zero? Is there a preferable way to estimate the gamma density in
 zero otherwise?


Using the limit is the most sensible method. Having a discontinuity in 
the density will cause more problems, e.g. if the density is used in 
quadrature.

As to the "correctness", we all know that the value of a density at any 
particular point is irrelevant. Only the integrals of densities have 
any meaning.

Duncan Murdoch

Причина обращения: