Обсуждение статьи "Глубокие нейросети (Часть VI). Ансамбль нейросетевых классификаторов: bagging" - страница 2

Новый комментарий
 
elibrarius:

Версия

работает. При каждом запуске выдает одинаковые веса сети. Сравнивал по второй сети. Выводил env$Ens[2], а потом плагином в notepad++ сравнивал.

С многопоточностью не получилось:

Ошибка в setMKLthreads(2) :не могу найти функцию "setMKLthreads"

Что за функция такая? В коде 4 и 6 статей ее нет. Как ее подключить?

ПС: Удобнее было если бы Вы сессию R со всеми функциями и исходными данными выложили.

Я же выложил котировки, все функции и исполняемые скрипты. Последовательно выполняете копируя или из статьи или из GIThub. 

функцию "setMKLthreads" можно посмотреть 

 
Забыл спросить у Вас установлен MRO 3.4.3 ?
 
Vladimir Perervenko:
Забыл спросить у Вас установлен MRO 3.4.3 ?
У меня (R-3.4.3 for Windows) отсюда установлено https://cloud.r-project.org/
 
elibrarius:
У меня (R-3.4.3 for Windows) отсюда установлено https://cloud.r-project.org/

Просто закоментируйте строки с установкой количества потоков. С чистым R библиотека Intel MKL не идет. 

 
Vladimir Perervenko:

Просто закоментируйте строки с установкой количества потоков. С чистым R библиотека Intel MKL не идет. 

так и сделал. Для проверки дважды запускал оптимизацию, получил одинаковый результат

    numFeature r nh fact Value
1          11 8 19    4 0.768
2           8 8 18    4 0.754
3          11 8 15    4 0.753
4          11 9 13    8 0.750
5          12 8 15    4 0.750
6           9 8 39    4 0.748
7          10 8  6    3 0.745
8          11 8 20    6 0.743
9          10 8 14    3 0.743
10          8 9 40    7 0.743

Чуть похуже чем у вас, но думаю это просто менее удачная комбинация ГСЧ оказалась.

 
Vladimir Perervenko:

 С чистым R библиотека Intel MKL не идет. 

Хотел скачать MKL.. Попросили зарегистрироваться, - сделал, и вывели сообщение:
    Thank you for registering for Intel® Performance Libraries.
    Please check your email for instructions to download your product. Note that this may take up to two business days.

За 20 минут так и не пришла ссылка на скачивание. Они серьезно про 2 дня?

 
elibrarius:

так и сделал. Для проверки дважды запускал оптимизацию, получил одинаковый результат

    numFeature r nh fact Value
1          11 8 19    4 0.768
2           8 8 18    4 0.754
3          11 8 15    4 0.753
4          11 9 13    8 0.750
5          12 8 15    4 0.750
6           9 8 39    4 0.748
7          10 8  6    3 0.745
8          11 8 20    6 0.743
9          10 8 14    3 0.743
10          8 9 40    7 0.743

Чуть похуже чем у вас, но думаю это просто менее удачная комбинация ГСЧ оказалась.

Я всегда применяю при использовании foreach пакет doRNG (очень стабильный ГСЧ). 

Так не должно быть. При каждом новом запуске оптимизации должны получаться разные результаты! 

 

Я сейчас запустил оптимизацию и получил 

 Best Parameters Found: 
Round = 18      numFeature = 8.0000     r = 1.0000      nh = 34.0000    fact = 10.0000  Value = 0.7700 
> evalq({
+   OPT_Res %$% History %>% dplyr::arrange(desc(Value)) %>% head(10) %>%
+     dplyr::select(-Round) -> best.init
+   best.init
+ }, env)
   numFeature  r nh fact Value
1           8  1 34   10 0.770
2           7  1 15   10 0.766
3          11  2 15   10 0.765
4           9  1 36   10 0.765
5           3  7 13    5 0.761
6           7  8  8   10 0.748
7          11  6 29   10 0.748
8           3 10 49    1 0.748
9           7  7 23   10 0.746
10          3  1  1   10 0.745

если Вы запустите оптимизацию с полученными 10 лучшими  параметрами, то получите дополнительные варианты. Вот так

#---Optim Ensemble-----
evalq(
  OPT_Res <- BayesianOptimization(fitnes, bounds = bonds,
                                  init_grid_dt = best.init, init_points = 10, 
                                  n_iter = 20, acq = "ucb", kappa = 2.576, 
                                  eps = 0.0, verbose = TRUE)
  , envir = env)

Можно продолжить необходимое количество раз.

Удачи

 
Vladimir Perervenko:

Я всегда применяю при использовании foreach пакет doRNG (очень стабильный ГСЧ). 

Так не должно быть. При каждом новом запуске оптимизации должны получаться разные результаты! 

Попробовал ваш вариант 2 раза запустить - получились разные результаты .
Мне кажется, что воспроизодимость/повторяемость при перезапусках даже лучше.

 
elibrarius:

Попробовал ваш вариант 2 раза запустить - получились разные результаты .
Мне кажется, что воспроизодимость/повторяемость при перезапусках даже лучше.

Теперь чувствуете разницу? Просто внимательно читайте статью. Я специально подчеркнул эту особенность  байесовской оптимизации.

Удачи в экспериментах

1234
Новый комментарий
Причина обращения: