Вопрос разработчикам - использование всех вычислительных ядер при оптимизации - страница 10

 
Boris Egorov:

3. Проблема "одно ядро - одно задание" не решена и наверно решаться не будет.

Для облака это неэффективно, задания надо передавать пакетами, поэтому не будут. Частично ситуацию улучшить можно, раздавая только часть заданий, а затем добрасывая освободившимся агентам мини-пакеты. А вот для локальных агентов и фермы надо бы давать по одному заданию, тут хозяин-барин, и трафик ему рояли не играет.

 
Edgar Akhmadeev:

Для облака это неэффективно, задания надо передавать пакетами, поэтому не будут. Частично ситуацию улучшить можно, раздавая только часть заданий, а затем добрасывая освободившимся агентам мини-пакеты. А вот для локальных агентов и фермы надо бы давать по одному заданию, тут хозяин-барин, и трафик ему рояли не играет.

Вы правы прям абсолютно

 
Edgar Akhmadeev:

Для облака это неэффективно, задания надо передавать пакетами, поэтому не будут. Частично ситуацию улучшить можно, раздавая только часть заданий, а затем добрасывая освободившимся агентам мини-пакеты. А вот для локальных агентов и фермы надо бы давать по одному заданию, тут хозяин-барин, и трафик ему рояли не играет.

Так сейчас и происходит - пакеты добавляются, если освободились агенты, а другие заняты, то нагружаются освободившиеся и если они быстрей справились, то ранее выданные задания отменяются. Это если много заданий, если единицы, то возможно этого не происходит.

 
Aleksey Vyazmikin:

Так сейчас и происходит - пакеты добавляются, если освободились агенты, а другие заняты, то нагружаются освободившиеся и если они быстрей справились, то ранее выданные задания отменяются. Это если много заданий, если единицы, то возможно этого не происходит.

наверно я как раз говорю что подобная схема (пакетная) неадекватна для локальных агентов ....

потому как постоянно висят занятыми 1-5 ядер а остальные десятки простаивают .... причом у этих 1-5 ядер нужно просчитать много заданий ....

плюс вы меня услышьте наконец:

более быстрые ядра просчитают сейчас в 3-4 раза больше заданий за тот же промежуток времени ... потому и расчет ускориться в десятки раз

и потому нельзя давать более одного задания ядру

 
Boris Egorov:

наверно я как раз говорю что подобная схема (пакетная) неадекватна для локальных агентов ....

потому как постоянно висят занятыми 1-5 ядер а остальные десятки простаивают .... причом у этих 1-5 ядер нужно просчитать много заданий ....

плюс вы меня услышьте наконец:

более быстрые ядра просчитают сейчас в 3-4 раза больше заданий за тот же промежуток времени ... потому и расчет ускориться в десятки раз

и потому нельзя давать более одного задания ядру

У Вас ядра простаивают при любом типе оптимизации или только на генетике?

 
Aleksey Vyazmikin:

Так сейчас и происходит - пакеты добавляются, если освободились агенты, а другие заняты, то нагружаются освободившиеся и если они быстрей справились, то ранее выданные задания отменяются. Это если много заданий, если единицы, то возможно этого не происходит.

Пакеты раздавались почти все сразу. Только остаток от деления общего количества заданий на количество агентов оставался в резерве для раздачи (на мой взгляд). Это сделали, по-моему, весной. С тех пор что-то изменилось? Я особо не следил, мой советник оптимизируется с равномерной нагрузкой, облаком пока уже не пользуюсь, и ситуация с простоем локальных агентов сейчас менее актуальна для меня.

 
Edgar Akhmadeev:

Пакеты раздавались почти все сразу. Только остаток от деления общего количества заданий на количество агентов оставался в резерве для раздачи (на мой взгляд). Это сделали, по-моему, весной. С тех пор что-то изменилось? Я особо не следил, мой советник оптимизируется с равномерной нагрузкой, облаком пока уже не пользуюсь, и ситуация с простоем локальных агентов сейчас менее актуальна для меня.

Последние наблюдения у меня не выявляют такой проблемы.

 
Aleksey Vyazmikin:

У Вас ядра простаивают при любом типе оптимизации или только на генетике?

я использую полный перебор

 
Renat Fatkhullin:
Перестройка тестера для нас сейчас приоритетная задача. Многое перепишем заново.

Проблему с рациональным диспетчером задач решим.

Подтверждаю проблему с простаиванием ядер. Вопрос к разработчикам: когда будет обновление и есть ли какое-то временное решение данной ПРОБЛЕМЫ? Обещали решить, посты смотрю с начала 20года.. уже 21!


генетический алгоритм использую для опта


в итоге опт занимающий пару тройку часов растягивается на более суток..

 
Boris Egorov:

я использую полный перебор

удалось ли найти решение по данному вопросу? пробовал отключать ядра с последующим запуском, последнее из работающих не отключается, в итоге все ждут одного..


ядра использую только своего проца из пк, без сетевых


из 12 ядер большинство в простое..

Причина обращения: