75000 вариантов - 4GB оперативки и 4GB дискового кэша мало??? - страница 4

 
sane:
Mak:
ГО на порядки быстрее,
Есть просто глюк в программе.
Для генетической оптимизации в любом пространстве параметров памяти практически не требуется.

то же самое, только прогонов написал вместо 21600 34440, а памяти жрет раз в 10 больше - за 215 прогонов(за 8м22сек) 494Мб. неужели мы с тобой первые это видим?
А чем, по Вашему должен питаться терминал, перепахивая огромные объемы данных?

Кстати, Вы так и не выложили тут полный код эксперта (это не Ваш код). Я не зря прошу полные данные для повторения теста, но Вы все никак не хотите их предоставить и нацелены на задавание вопросов вместо получения точного ответа.
 
Renat писал (а):
А чем, по Вашему должен питаться терминал, перепахивая огромные объемы данных?

Кстати, Вы так и не выложили тут полный код эксперта (это не Ваш код). Я не зря прошу полные данные для повторения теста, но Вы все никак не хотите их предоставить и нацелены на задавание вопросов вместо получения точного ответа.


Теперь уже я что-то не понимаю.
Да, это совсем не мой код. Я где-то написал что он мой? Он опубликован в открытом источнике и на нем есть копирайт.
Человек сделал открытый шаблон и раздал его всем желающим.
Я гонал те тесты о которых мы говорим именно на нем именно с теми параметрами которые вставлены несколько постов назад.
Свой код я не смогу оттестировать в тестере с таким расходом памяти и ресурсов однозначно.

Хотя проходов тестера примерно в 50 раз меньше, сам мой код - это то что я Вам прислал ^2 (в квадрате) т.е. одно по всем результатам другого. давайте пока без квадрата разберемся. или вы почту не получили? выкладываю здесь теперь. надеюсь допишу оптимизацию прямо у себя в советнике.

Сколько памяти надо поставить? 40 гигабайт? зачем? потом 400? Данные на которых я тестирую занимают в текстовом файле 1.5 мб. в бинарном виде - как минимум в 5 раз меньше т.е. 300кб. разумный максимум для истории тестера 300кб в ^2 - ок 90мб.
Дело не в этом. дело в том что отличная стабильня программа наверняка написанная на низкоуровневом языке а не на яве или нете в данный момент имеет уязвимость и становится нестабильной. программа превосходит метасток, велс, омегу и еще бог знает что по стабильности, скорости и портабельности.
хорошо надо ей 40гб. но я не могу "на лету" вставлять чипы. пускай она хоть пишет эти гигабайты куда-то, а не вылетает даже не попрощавшись.

дальше. о том куда я нацелен Вы можете у меня прямо спросить и не утверждать это за меня.
Для того чтоб получить ответ надо задать вопрос.
Вопросов на пред 2х страницах я задал под 10 штук. ответов не получил. нет проблем, я прекрасно понимаю, что заказчик (если он есть) - дц, а я для Вас виртуальный ник который "всплыл" и того гляди сейчас туда же нырнет откуда всплыл.

p.s. если вас не устраивает тон или содержание пожалуйста прямо мне укажите каким он/оно должны быть здесь.

Алексей
тел 89262090000
2090000 эт gmail.com
 
Спасибо за ссылку на эксперта - теперь у меня есть возможность самостоятельно его запустить и проверить.
Сегодня я это сделаю и опубликую результаты.
 
Да, на самом деле этот эксперт в тесте потребляет чрезмерно много памяти и падает. Будем разбираться.
Спасибо за предоставленный код.
 
Renat:
Mak:
Renat:
Выложили обновленный 197 билд: в нем еще "подрезали" реальное выделение памяти в тяжелых случаях. Но вытянуть 57 млрд никак не получится.

sane, скачайте обновленный 197 билд и попробуйте еще раз, пожалуйста.

Ренат, я просто не понимаю проблемы ....
Все очень просто - кто-то считает "в уме", а кто-то делает целый комплекс с визуализацией, доступным хранением, графической отрисовкой и контролем массы параметров, а не единичного final balance. Ну и все в GUI для удобного и своевременного показа пользователю всего процесса.

В генетике прокрутить в NN млрд проходов область покрытия - это не проблема. Проблема в множественной визуализации результатов и доступной памяти.

В любом случае - разгон параметров на десятки миллиардов не имеет никакого отношения к реальным задачам оптимизации. Наша задача - при нормальных задачах (область перебора до 2 млрд вариантов) провести свою работу с полными расчетами и обязательной табличной и графической визуализацией так, чтобы любой зрительно воспринял результаты и мог получить доступ к любому прогону мышкой.

Продемонстрируйте результаты прогона своего генетического тестера прямо здесь с теми же параметрами, что Вы указали на простейшем эксперте MACD Sample. Уверен, что для Вас не составит труда перевести код в Easy Language и показать свои результаты.
Ренат, почему с вами любое обсуждение постепенно переходит в плоскость "Я умный - Ты дурак" ?

Есть много способов решения описанных вами проблем (собственно и проблем то нет).
Но нет смысла говорить о них тут в форуме, тем более, что вы сразу встаете в опозицию.
Ну нехотите вы свой продукт сделать лучше, мне то это зачем . . ?

"разгон параметров на десятки миллиардов не имеет никакого отношения к реальным задачам оптимизации"
Странно, а мужики то не знают .. и решают себе всякие задачи оптимизации в пространстве 10^100..0

Например Нейро Сети.
Обучение НС - это и есть оптимизация функции с тысячами и десятками тысяч вещественных параметров (веса на входах нейронов).

провести свою работу с полными расчетами и обязательной табличной и графической визуализацией
А в чем проблема с визуализацией?
В хранении многомерной разреженной матрицы?
Если да, то есть много разных методов компактного представления таких матриц в памяти.
(в том числе с очень быстрым доступом к ячейке).

Продемонстрируйте результаты прогона своего генетического тестера прямо здесь с теми же параметрами, что Вы указали на простейшем эксперте MACD Sample. Уверен, что для Вас не составит труда перевести код в Easy Language и показать свои результаты.

Зачем и что показать?
Зачем это нужно вам? (вы мне не верите?)
Зачем это нужно мне, тратить половину выходных на бессмысленную для меня работу?
(а с учетом объяснения результатов, и скажем вы захотите увидеть результат на EURUSD Н1, и мне придется их где то добывать для Омеги, может уйти и не один день).

Поверте, ради теста я гонял оптимизатор на системе с несколькими сотнями вещественных параметров (600 - 800).
Наши клиенты иногда оптимизируют по несколько десятков параметров.
И кстати, критерии оптимизации у нас не "final balance" (точнее критерий у нас вычисляет сам пользователь).
А в разрабатываемой сейчас версии будет оптимизация сразу по множеству критериев.

Только какое отношение все это имеет к обсуждаемой теме?
________________________________________________________

PS.
1. Все сказанное выше является просто моим частным мнением.
Просто я так думаю, и я не собираюсь тратить свое время на бессмысленные доказательства ...

2. Единственной моей целью в этом обсуждении было помочь вам сделать МТ еще лучше и снять ненужные ограничения.
Но если вы сами этого не хотите, мне это тем более не нужно.

3. Если вы не хотите называть это глюком, будем считать это фичей ...
Я не хочу с вами ссориться, давайте считать эту тему закрытой.
 
Mak, вероятно Вы забыли о моей постоянной позиции - "не нужно слов - они для публики, давайте чистый и повторяемый код и чистые доказательства".
Когда человек ставит вопросы, да еще с уклоном в теоретику, то ответы только одни - "давайте перейдем к практике и реальным расчетам".

Просьба только вести общение с четкими практическими привязками.
Многие критики на вопрос "дайте практические доказательства" вот именно так и реагируют:

Зачем и что показать?
Зачем это нужно вам? (вы мне не верите?)
Зачем это нужно мне, тратить половину выходных на бессмысленную для меня работу?

В последний раз такое произошло с mandor'ом, который только на словах делал заявления.
Вас, кстати, уже банили именно за непредоставление доказательств своих слов.

Четко докажите практическую корректность своих слов. Но не на словах, на на полной выкладке с доказательствами. Мы же в открытую ведем свою работу и публично отстаиваем свои идеи, тратим силы. Постарайтесь и Вы.
 
Ренат,
сформулируйте предельно конкретно,
что вы хотите от меня услышать.

Доказательство ЧЕГО,
и в КАКОМ виде.
 
Mak:
Ренат,
сформулируйте предельно конкретно,
что вы хотите от меня услышать.

Доказательство ЧЕГО,
и в КАКОМ виде.


Как я просил ранее:

Продемонстрируйте результаты прогона своего генетического тестера прямо здесь с теми же параметрами, что Вы указали на простейшем эксперте MACD Sample. Уверен, что для Вас не составит труда перевести код в Easy Language и показать свои результаты.

После чего можно продолжить обсуждение. Но продолжить именно после публикации Ваших результатов.
 
В каком виде привести результаты прогона?
Мой оптимизатор не похож на ваш.

И что вы там хотите увидеть?
Сам факт прогона?
 
Mak:
В каком виде привести результаты прогона?
Мой оптимизатор не похож на ваш.

И что вы там хотите увидеть?
Сам факт прогона?
Покажите в виде, близком к нашему. С таблицами, с визуальностью прогонов и тд ближе к виду MetaTrader.
Я не зря говорил "кто-то считает в уме, а кто-то все показывает".
Причина обращения: