Скачать MetaTrader 5

вопрос со скачиванием страницы с MQL5

Авторизуйтесь или зарегистрируйтесь, чтобы добавить комментарий
Eugeny Kotovschikov
1757
Eugeny Kotovschikov  
Нужно скачать страницу с сайта, пробую с использованием WebRequest и внешними Wget, не получается, все упирается в запрос логина и пароля, дальше не идет, есть ли какие-то возможности/альтернативы для того чтобы скачать страницу, и почему не получается, что за защита?
Maxim Kuznetsov
11819
Maxim Kuznetsov  
Eugeny Kotovschikov:
Нужно скачать страницу с сайта, пробую с использованием WebRequest и внешними Wget, не получается, все упирается в запрос логина и пароля, дальше не идет, есть ли какие-то возможности/альтернативы для того чтобы скачать страницу, и почему не получается, что за защита?

если не секрет, что за раздел сайта где без авторизации никак ? статьи,сигналы,маркет,форум точно открыты и индексируемы..

Eugeny Kotovschikov
1757
Eugeny Kotovschikov  
Maxim Kuznetsov:

если не секрет, что за раздел сайта где без авторизации никак ? статьи,сигналы,маркет,форум точно открыты и индексируемы..

да нет, я авторизоваться не против, но не могу.... качается только страница авторизации, если использовать пример webrequest, тоже не работает... раздел сигналы
Maxim Kuznetsov
11819
Maxim Kuznetsov  
Eugeny Kotovschikov:
да нет, я авторизоваться не против, но не могу.... качается только страница авторизации, если использовать пример webrequest, тоже не работает... раздел сигналы

imho там авторизации требует только информация по текущим сделкам

рядовая инфа по сигналу должна легко браться wget`ом - ограничьте глубину, чтобы он внутрь не лез. Или используйте curl по одной странице чтобы было легче разбирать ошибки

ах да! таймауты ещё надо выдерживать - частые запросы могут приводить к разнообразным последствиям :-)

Eugeny Kotovschikov
1757
Eugeny Kotovschikov  
Maxim Kuznetsov:

imho там авторизации требует только информация по текущим сделкам

рядовая инфа по сигналу должна легко браться wget`ом - ограничьте глубину, чтобы он внутрь не лез. Или используйте curl по одной странице чтобы было легче разбирать ошибки

ах да! таймауты ещё надо выдерживать - частые запросы могут приводить к разнообразным последствиям :-)

и нужна информация по тек.сделкам)))) минута не слишком часто?)
fxsaber
7658
fxsaber  
Eugeny Kotovschikov:
минута не слишком часто?)
10 секунд норм - проверял.
Eugeny Kotovschikov
1757
Eugeny Kotovschikov  
fxsaber:
10 секунд норм - проверял.
все-таки подскажите пилюлю как качнуть страницу с тек.сделками и авторизоваться?
fxsaber
7658
fxsaber  
Eugeny Kotovschikov:
все-таки подскажите пилюлю как качнуть страницу с тек.сделками и авторизоваться?

Стейты сигналов содержатся в CSV. Так что никаких страниц закачивать не нужно. Проблема авторизации появилась недавно.

Решение предложено такое

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

функция WebRequest возвращает ошибку.

Sergey Dzyublik, 2016.09.20 14:12

Если WebRequest адекватно возвращает redirect - то можно реализовать рабочую версию и под текущую структуру сайта.

1) Перенос алгоритма генирации аnti-CSRF cookies при авторизации из javascript в mql.
2) Переход по redirect, получение auth cookie.
3) Парсинг аnti-CSRF token для публикации на пользовательской стене.

Для меня это китайская грамота.

Eugeny Kotovschikov
1757
Eugeny Kotovschikov  
fxsaber:

Стейты сигналов содержатся в CSV. Так что никаких страниц закачивать не нужно. Проблема авторизации появилась недавно.

Решение предложено такое

Для меня это китайская грамота.

блин, я тоже через раз понял((((
Maxim Kuznetsov
11819
Maxim Kuznetsov  
fxsaber:

Стейты сигналов содержатся в CSV. Так что никаких страниц закачивать не нужно. Проблема авторизации появилась недавно.

Решение предложено такое

Для меня это китайская грамота.

2) Переход по redirect, получение auth cookie.

вкратце: http вам вернул код - редирект и направил на форму авторизации где предлагается ввести логин+пароль и если всё ок, то получите cookie с которым можно ходить по страницам.(то есть надо будет его цеплять с каждым запросом к сайту)

вообще стоит прежде чем идти в защищённую область самому (роботом) посетить эту страницу (auth_login если память не изменяет) и авторизоваться

то есть протокол http таки придётся изучить :-) а не просто тыкать WebRequest

fxsaber
7658
fxsaber  
Maxim Kuznetsov:

2) Переход по redirect, получение auth cookie.

вкратце: http вам вернул код - редирект и направил на форму авторизации где предлагается ввести логин+пароль и если всё ок, то получите cookie с которым можно ходить по страницам.(то есть надо будет его цеплять с каждым запросом к сайту)

вообще стоит прежде чем идти в защищённую область самому (роботом) посетить эту страницу (auth_login если память не изменяет) и авторизоваться

то есть протокол http таки придётся изучить :-) а не просто тыкать WebRequest

Раньше так и авторизовывался. Сейчас - что-то сломалось. Не копал тему.
12
Авторизуйтесь или зарегистрируйтесь, чтобы добавить комментарий