Вопрос разработчикам - использование всех вычислительных ядер при оптимизации - страница 3

 
Renat Fatkhullin:
Перестройка тестера для нас сейчас приоритетная задача. Многое перепишем заново.

Проблему с рациональным диспетчером задач решим.

Очень хочется понять сроки исправления ошибки, просим как можно скорее ... Дайте пож-та хоть какую то оценку сроков, когда ждать?

 
Maksim Emeliashin:

Много раз писал про эту проблему, но меня отправляли читать, как работает генетический алгоритм. Я правда знаю, как он работает, а на 4 курсе университета даже реализовывал его самостоятельно в качестве лабы.

У меня ситуация еще хуже была, вот скриншот:


С версией 2286 стало получше, такого явного косяка уже нет, но периодически все же половина агентов отваливается навсегда. Я знаю, как можно это победить, хоть и муторно.

Опишите проблему!

Чем старше поколение, тем меньше ядер нужно для расчёта.

Как для 3-4-5 уникальных наборов параметров в очередном поколении использовать 18 агентов?

Вы же говорите, что знаете, как работает генетика - давайте Ваши предложения

 
Boris Egorov:

Очень хочется понять сроки исправления ошибки, просим как можно скорее ... Дайте пож-та хоть какую то оценку сроков, когда ждать?

Какую ошибку Вы имеете в виду?

Вы читали, как работает гентический алгоритм оптимизации?

 
Slava:

Опишите проблему!


Я опишу решение, которое не требует знаний алгоритма.

1. Отключаем одно процессорное ядро во время возникновения такой ситуации (отвалилась половина локальных или сетевых агентов). Важно отключить то ядро, которое в данный момент работает.

2. Включаем ядро снова.

И, внезапно, все остальные локальные и сетевые агенты включаются в работу и прекрасно работают уже до самого конца.

 
Maksim Emeliashin:

Я опишу решение, которое не требует знаний алгоритма.

1. Отключаем одно процессорное ядро во время возникновения такой ситуации (отвалилась половина локальных или сетевых агентов). Важно отключить то ядро, которое в данный момент работает.

2. Включаем ядро снова.

И, внезапно, все остальные локальные и сетевые агенты включаются в работу и прекрасно работают уже до самого конца.

Да, я даже подозреваю, почему возникает "ошибка" и почему данный лайфхак ее "исправляет". Но, не видя перед глазами исходников реализации конкретно у MQ, рассуждать об этом бессмысленно.

Но даже видя перед собой черный ящик можно предположить, что проблема кроется в распределении пакетов заданий между агентами.

 
Slava:

Какую ошибку Вы имеете в виду?

Вы читали, как работает гентический алгоритм оптимизации?

не надо мне знать алгоритм, хотя знаю 

а вам не надо из себя умника строить, ибо не похоже 

если не читали предыдущих постов и не смотрели картинки - не лезьте и не показывайте свою не образованность

ошибка это .... в предыдущих версиях ее не было и это бесспорно 

поражает иногда, воткнутся всякие из ниоткуда, ничего не прочитают, напишут хрень и типа они умные 

СЛАВА - читайте мои предыдущие посты с картинками, там все подробно описано, я сам программист но такие тупости не делаю, про поколения вы пишете полнейшую чушь ... объяснять вам бесполезно если вы не читаете предыдущие посты с картинками, кроме того считаю что вы сами алгоритм не знаете

>Чем старше поколение, тем меньше ядер нужно для расчёта. 

>Как для 3-4-5 уникальных наборов параметров в очередном поколении использовать 18 агентов?

оно со старта так работает во втором поколении, в моем случае считать еще 70-80 тыс вариантов... причём МНОЖЕСТВО заданий дает ТОЛЬКО локальным агентам а сетевым не дает ВООБЩЕ НИКОГДА, по сути отключили полностью все сетевые агенты, оптимизация не работает от слова ПОЛНОСТЬЮ, ошибка КРИТИЧЕСКАЯ и требует немедленного решения

 
Boris Egorov:

не надо мне знать алгоритм, хотя знаю 

а вам не надо из себя умника строить, ибо не похоже 

если не читали предыдущих постов и не смотрели картинки - не лезьте и не показывайте свою не образованность

ошибка это .... в предыдущих версиях ее не было и это бесспорно 

поражает иногда, воткнутся всякие из ниоткуда, ничего не прочитают, напишут хрень и типа они умные 

СЛАВА - читайте мои предыдущие посты с картинками, там все подробно описано, я сам программист но такие тупости не делаю, про поколения вы пишете полнейшую чушь ... объяснять вам бесполезно если вы не читаете предыдущие посты с картинками, кроме того считаю что вы сами алгоритм не знаете

Вы показали один скриншот. Без каких-либо описаний, кроме "не все ядра загружены"

По этому скриншоту можно понять, что работает генетика, расчёт второго поколения. Каково минимальное и максимальное время выполнения одного задания - неизвестно. Каково среднее время выполнения тоже неизвестно - нужное место скриншота просто закрыто.

Опять же догадка - среднее время выполнения очень мало. Поэтому механизм перераспределения заданий ещё не включился.

С предыдущих версий механизм перераздачи не менялся. Как минимум полгода. Похоже на то, что большинство случайно выбранных параметров для данной стратегии не годны, поэтому большинство проходов закончилось очень быстро.

Это - просто диагноз по одному неполному скриншоту. Без каких-либо предоставленных логов.

 
Slava:

Вы показали один скриншот. Без каких-либо описаний, кроме "не все ядра загружены"

По этому скриншоту можно понять, что работает генетика, расчёт второго поколения. Каково минимальное и максимальное время выполнения одного задания - неизвестно. Каково среднее время выполнения тоже неизвестно - нужное место скриншота просто закрыто.

Опять же догадка - среднее время выполнения очень мало. Поэтому механизм перераспределения заданий ещё не включился.

С предыдущих версий механизм перераздачи не менялся. Как минимум полгода. Похоже на то, что большинство случайно выбранных параметров для данной стратегии не годны, поэтому большинство проходов закончилось очень быстро.

Это - просто диагноз по одному неполному скриншоту. Без каких-либо предоставленных логов.

я использую полный перебор и четко написал - что раньше оптимизация занимала 3 часа теперь 11 с половиной ... - это вам ответ

>Каково минимальное и максимальное время выполнения одного задания - неизвестно. Каково среднее время выполнения тоже неизвестно - нужное место скриншота просто закрыто.

это вообще вам знать не надо

>С предыдущих версий механизм перераздачи не менялся. Как минимум полгода. Похоже на то, что большинство случайно выбранных параметров для данной стратегии не годны, поэтому большинство проходов закончилось очень быстро.

все началось после последних обновлений, у меня программа не менялась, я по сути только расчеты веду с разными параметрами, вам говорю что одна и та же программа (без перекомпиляции) с одними и теми же параметрами раньше оптимизировалась 3 часа, теперь 11 с гаком, и вам говорю - отключились по факту все сетевые агенты .... так что не стоит говорить про то что не менялся механизм раздачи - он точно поменялся

 
Boris Egorov:

я использую полный перебор и четко написал - что раньше оптимизация занимала 3 часа теперь 11 с половиной ... - это вам ответ

>Каково минимальное и максимальное время выполнения одного задания - неизвестно. Каково среднее время выполнения тоже неизвестно - нужное место скриншота просто закрыто.

это вообще вам знать не надо

>С предыдущих версий механизм перераздачи не менялся. Как минимум полгода. Похоже на то, что большинство случайно выбранных параметров для данной стратегии не годны, поэтому большинство проходов закончилось очень быстро.

все началось после последних обновлений, у меня программа не менялась, я по сути только расчеты веду с разными параметрами, вам говорю что одна и та же программа (без перекомпиляции) с одними и теми же параметрами раньше оптимизировалась 3 часа, теперь 11 с гаком, и вам говорю - отключились по факту все сетевые агенты .... так что не стоит говорить про то что не менялся механизм раздачи - он точно поменялся

Вы не предоставили никаких логов.

Почему Ваши удалённые агенты не считают? Почему у них билд 2214? Клиентский терминал тоже 2214 билда?

 
Slava:

Вы не предоставили никаких логов.

Почему Ваши удалённые агенты не считают? Почему у них билд 2214? Клиентский терминал тоже 2214 билда?

2286

если вам нужны логи то тут трудно, проще вам самим запустить любой советник с большим набором для оптимизации

но если скажете конкретно в каком месте забрать логи попробую выложить 

просто мт не понимает что логи через какое то время превышают все мыслемые размеры, а отключать или ограничивать их никак не хочет, потому приходиться их чистить

могу только через приблизительно 12 часов когда запущю новый расчет

вышеприведенный совет по отключению одного из рабочих ядер кстати работает :-) что подтверждает ошибку в алгоритме раздачи