Обсуждение статьи "Третье поколение нейросетей: "Глубокие нейросети"" - страница 3

Новый комментарий
 

Продолжу.

 4. Affinity propagation (AP) clustering, see http://dx.doi.org/10.1126/science.1136800 

> library(apcluster)
> d.apclus <- apcluster(negDistMat(r=2), x)
> cat("affinity propogation optimal number of clusters:", length(d.apclus@clusters), "\n")
affinity propogation optimal number of clusters: 34 (!?)
> heatmap(d.apclus)

 

 

5. Gap Statistic for Estimating the Number of Clusters. See also some code for a nice graphical

output . Trying 2-10 clusters here:

> library(cluster)
> clusGap(x, kmeans, 10, B = 100, verbose = interactive())
Clustering k = 1,2,..., K.max (= 10): .. done
Bootstrapping, b = 1,2,..., B (= 100)  [one "." per sample]:
.................................................. 50 
.................................................. 100 
Clustering Gap statistic ["clusGap"].
B=100 simulated reference sets, k = 1..10
 --> Number of clusters (method 'firstSEmax', SE.factor=1): 6

 6. Для высокоразмерных данных

#10 Also for high-dimension data is the pvclust library which calculates 
#p-values for hierarchical clustering via multiscale bootstrap resampling.
library(pvclust)
library(MASS)
> x.pc <- pvclust(x)
Bootstrap (r = 0.5)... Done.
Bootstrap (r = 0.6)... Done.
Bootstrap (r = 0.7)... Done.
Bootstrap (r = 0.8)... Done.
Bootstrap (r = 0.9)... Done.
Bootstrap (r = 1.0)... Done.
Bootstrap (r = 1.1)... Done.
Bootstrap (r = 1.2)... Done.
Bootstrap (r = 1.3)... Done.
Bootstrap (r = 1.4)... Done.
> plot(x.pc)
> lines(x.pc)
> pvrect(x.pc)
> seplot(x.pc, type="au")

 

> pvpick(x.pc)
$clusters
$clusters[[1]]
[1] "DX"  "ADX"

$clusters[[2]]
 [1] "DIp"    "ar"     "cci"    "cmo"    "macd"   "osma"  
 [7] "rsi"    "fastK"  "fastD"  "slowD"  "SMI"    "signal"

$clusters[[3]]
[1] "chv" "vol"


$edges
[1] 11 12 13

 В результате получил разные результаты от 2 до 34 (!?). В последнем расчете с pvclust мне кажется наиболее правдоподобные результаты. Теперь нужно определиться что с этим делать 

 

vlad1949 

 В результате получил разные результаты от 2 до 34 (!?). В последнем расчете с pvclust мне кажется наиболее правдоподобные результаты. Теперь нужно определиться что с этим делать 

 Уважаемый Vlad!

Продраться через изложенный Вами код мне не удалось.  Поэтому, если можно по шагам.

Цель кластеризации.

Из некоторого набора предикторов отобрать такие, которые имеют отношение, влияют на конкретную целевую переменную. Более того, каждая целевая переменная, подчеркиваю, каждая, а не их совокупность, имеют предсказательную способность для значения внутри класса. Т.е. для класса "ллонг-шорт" часть значений предикторов имеет большее отношение к примеру к лонгам, а часть - к шортам. Уже писал, что для класса "положительное приращение цены - отрицательное приращение цены" не удалось найти ни одного предиктора, который имел бы такое свойство.

Из этого следует, что кластеризация должна разделять на кластеры отдельный предиктор, причем это кластеризация с учителем. Кластеризация без учителя не интересна. 

ПС.

Эта постановка проблемы имеет сходство с величиной inportance, которая генерируется пакетами, например rf, но все без исключения аналогичные величины использовать не удается. Все эти алгоритмы прекрасно работают на наборах предикторов, которые не обладают селективной предсказательной способностью каждого значения в классе.

Как-то так. 

 
vlad1949:

Не вижу проблем с мультивалютником. Если эксперт мультивалютный, то даже удобнее, так как имеются ограничения с индикаторами в мультивалютнике, а в советнике их нет. Если это много советников, то вызов R из каждого советника создаст новый экземпляр R, а всего таких пар в МТ4 32 штуки - до бровей.

Тестирование. Удачно. Правда очень медленно. 

 
Каждый может оценить одну из наилучших на сегодняшний момент реализацию применения глубоких нейросетей здесь на примере классификации изображений.
MetaMind Vison Labs - General Image Classifier
MetaMind Vison Labs - General Image Classifier
  • www.metamind.io
This demo allows you to use a state-of-the-art classifier that can classify (automatically label) an unseen image into one of 1000 pre-defined classes. How can I use this? Just drag and drop your images into the "Upload Your Image" button or click it to select a file from your computer. You can also simply copy and paste the url of an...
 
А нельзя ли сравнить то, что здесь, с тем, что здесь? У Решетова?
 

faa1947:
А нельзя ли сравнить то, что здесь, с тем, что здесь? У Решетова?

После этого (Но VMR уже гораздо сильнее человека) пассажа я не читал дальше. 

Да и сравнивать пока не с чем. Всемирнонеизвестную теорию и  VMR(!?)  я  не встречал ни на просторах интернета ни в статьях.

 

vlad1949:


После этого (Но VMR уже гораздо сильнее человека) пассажа я не читал дальше.

Пастернака не читал, но осуждаю © Народная поговорка

Ну дык, никто насильно и не принуждает читать, если что-то вдруг не понравиться. Интернет ведь, а не обязательная школьная программа по литературе.

Поэтому, вовсе не обязательно отчитываться перед кем-то о том, чего Вы не прочли. Ведь ежели каждый начнёт публиковать подобные отчёты, дык никакой движок форума этого не выдержит.

vlad1949:

Да и сравнивать пока не с чем. Всемирнонеизвестную теорию и  VMR(!?)  я  не встречал ни на просторах интернета ни в статьях.

Тяжёлый случай. Примите мои соболезнования.
 
Reshetov:

Поэтому, вовсе не обязательно отчитываться перед кем-то о том, чего Вы не прочли. Ведь ежели каждый начнёт публиковать подобные отчёты, дык никакой движок форума этого не выдержит.

это 5! более тонкого юмора сложно себе представить. :)
 

faa1947:
А нельзя ли сравнить то, что здесь, с тем, что здесь? У Решетова?

 

Если серьезно. Тему  "Глубокое обучение" сравнивать с тем, что приведено в блоге и гордо названо "Теорией" несерьезно. Первая - разработана и продолжает развиваться усилиями двух крупных университетов. Есть удачные практические реализации. Проверена многими на реальных практических проектах. Есть реализация в R. Для меня как пользователя это самое важное.

Вторая - разработка одиночки (возможно талантливого программиста) еще не доведенная до практической реализации.  Идеи озвученные в блоге могут быть продуктивными, но это работа для исследователей, не для пользователей (трейдеров). По комментариям видно, что его обижает непонимание его великой теории. Это нормально. Все изобретатели сталкиваются с этим (непониманием). Кстати, не имел намерения кого то обидеть.

Предложение такое: Тему Решетова обсуждать в его блоге или в отдельной ветке (если он ее организует).

Здесь приветствуются мнения и соображения по теме статьи - "Глубокие нейросети".

Без обид.

Удачи 

 
vlad1949:
Погорячился. Снимаю свое предложение.
12345678910
Новый комментарий