Скачать MetaTrader 5

вопрос со скачиванием страницы с MQL5

Авторизуйтесь или зарегистрируйтесь, чтобы добавить комментарий
Храни исходные коды в MQL5 Storage. Это безопасно!
Eugeny Kotovschikov
1070
Eugeny Kotovschikov 2016.10.07 19:35 
Нужно скачать страницу с сайта, пробую с использованием WebRequest и внешними Wget, не получается, все упирается в запрос логина и пароля, дальше не идет, есть ли какие-то возможности/альтернативы для того чтобы скачать страницу, и почему не получается, что за защита?
Maxim Kuznetsov
9807
Maxim Kuznetsov 2016.10.07 19:48  
Eugeny Kotovschikov:
Нужно скачать страницу с сайта, пробую с использованием WebRequest и внешними Wget, не получается, все упирается в запрос логина и пароля, дальше не идет, есть ли какие-то возможности/альтернативы для того чтобы скачать страницу, и почему не получается, что за защита?

если не секрет, что за раздел сайта где без авторизации никак ? статьи,сигналы,маркет,форум точно открыты и индексируемы..

Eugeny Kotovschikov
1070
Eugeny Kotovschikov 2016.10.07 20:10  
Maxim Kuznetsov:

если не секрет, что за раздел сайта где без авторизации никак ? статьи,сигналы,маркет,форум точно открыты и индексируемы..

да нет, я авторизоваться не против, но не могу.... качается только страница авторизации, если использовать пример webrequest, тоже не работает... раздел сигналы
Maxim Kuznetsov
9807
Maxim Kuznetsov 2016.10.07 20:21  
Eugeny Kotovschikov:
да нет, я авторизоваться не против, но не могу.... качается только страница авторизации, если использовать пример webrequest, тоже не работает... раздел сигналы

imho там авторизации требует только информация по текущим сделкам

рядовая инфа по сигналу должна легко браться wget`ом - ограничьте глубину, чтобы он внутрь не лез. Или используйте curl по одной странице чтобы было легче разбирать ошибки

ах да! таймауты ещё надо выдерживать - частые запросы могут приводить к разнообразным последствиям :-)

Eugeny Kotovschikov
1070
Eugeny Kotovschikov 2016.10.07 21:27  
Maxim Kuznetsov:

imho там авторизации требует только информация по текущим сделкам

рядовая инфа по сигналу должна легко браться wget`ом - ограничьте глубину, чтобы он внутрь не лез. Или используйте curl по одной странице чтобы было легче разбирать ошибки

ах да! таймауты ещё надо выдерживать - частые запросы могут приводить к разнообразным последствиям :-)

и нужна информация по тек.сделкам)))) минута не слишком часто?)
fxsaber
4507
fxsaber 2016.10.07 21:28  
Eugeny Kotovschikov:
минута не слишком часто?)
10 секунд норм - проверял.
Eugeny Kotovschikov
1070
Eugeny Kotovschikov 2016.10.07 22:11  
fxsaber:
10 секунд норм - проверял.
все-таки подскажите пилюлю как качнуть страницу с тек.сделками и авторизоваться?
fxsaber
4507
fxsaber 2016.10.07 22:21  
Eugeny Kotovschikov:
все-таки подскажите пилюлю как качнуть страницу с тек.сделками и авторизоваться?

Стейты сигналов содержатся в CSV. Так что никаких страниц закачивать не нужно. Проблема авторизации появилась недавно.

Решение предложено такое

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

функция WebRequest возвращает ошибку.

Sergey Dzyublik, 2016.09.20 14:12

Если WebRequest адекватно возвращает redirect - то можно реализовать рабочую версию и под текущую структуру сайта.

1) Перенос алгоритма генирации аnti-CSRF cookies при авторизации из javascript в mql.
2) Переход по redirect, получение auth cookie.
3) Парсинг аnti-CSRF token для публикации на пользовательской стене.

Для меня это китайская грамота.

Eugeny Kotovschikov
1070
Eugeny Kotovschikov 2016.10.07 22:29  
fxsaber:

Стейты сигналов содержатся в CSV. Так что никаких страниц закачивать не нужно. Проблема авторизации появилась недавно.

Решение предложено такое

Для меня это китайская грамота.

блин, я тоже через раз понял((((
Maxim Kuznetsov
9807
Maxim Kuznetsov 2016.10.07 23:27  
fxsaber:

Стейты сигналов содержатся в CSV. Так что никаких страниц закачивать не нужно. Проблема авторизации появилась недавно.

Решение предложено такое

Для меня это китайская грамота.

2) Переход по redirect, получение auth cookie.

вкратце: http вам вернул код - редирект и направил на форму авторизации где предлагается ввести логин+пароль и если всё ок, то получите cookie с которым можно ходить по страницам.(то есть надо будет его цеплять с каждым запросом к сайту)

вообще стоит прежде чем идти в защищённую область самому (роботом) посетить эту страницу (auth_login если память не изменяет) и авторизоваться

то есть протокол http таки придётся изучить :-) а не просто тыкать WebRequest

fxsaber
4507
fxsaber 2016.10.07 23:35  
Maxim Kuznetsov:

2) Переход по redirect, получение auth cookie.

вкратце: http вам вернул код - редирект и направил на форму авторизации где предлагается ввести логин+пароль и если всё ок, то получите cookie с которым можно ходить по страницам.(то есть надо будет его цеплять с каждым запросом к сайту)

вообще стоит прежде чем идти в защищённую область самому (роботом) посетить эту страницу (auth_login если память не изменяет) и авторизоваться

то есть протокол http таки придётся изучить :-) а не просто тыкать WebRequest

Раньше так и авторизовывался. Сейчас - что-то сломалось. Не копал тему.
12
Авторизуйтесь или зарегистрируйтесь, чтобы добавить комментарий