WebRequest & ddos protection by cloudflare - Общее обсуждение

TheXpert 2018.02.07 13:25 #1

Sergey Zhukov:

Мва-ха-ха ))

Konstantin Kotlov 2018.02.07 13:39 #2

Sergey Zhukov:

Здравствуйте!

Еще совсем недавно бот работал через WebRequest на бирже, но теперь там установили защиту от DDOS атак.

Если подключаюсь через браузер, то получаю сообщение:

Checking your browser before accessing yobit.net.
This process is automatic. Your browser will redirect to your requested content shortly.
Please allow up to 5 seconds…
DDoS protection by CloudFlare
Ray ID: 2f5e908241e33798

и через 5 сек. загружается страница биржи.

А вот через WebRequest попадаю каждый раз только на страницу указанную выше.

Помогите пожалуйста как-нибудь решить эту проблему, может кто уже сталкивался с этим?

Здравствуйте, а на какой сайт?

Sergey Zhukov 2018.02.07 13:41 #3

Konstantin Kotlov:
Здравствуйте, а на какой сайт?

https://yobit.net/ru/

Sergey Dzyublik 2018.02.07 13:59 #4

Попробуйте добавить в запрос от WebRequest куки для cloudflare из браузера (__cfduid, cf_clearance):

С cloudflare не работал, когда экспайрятся и как обновляются эти куки не знаю.
Пробуйте, проверяйте, добавляйте тестовые исходники, что бы было желание вам помочь.

Авторизация на https://www.mql5.com из Хранилище работает ? Советники: News EA Template

Sergey Zhukov 2018.02.07 14:17 #5

Sergey Dzyublik:

Попробуйте добавить в запрос от WebRequest куки для cloudflare из браузера (__cfduid, cf_clearance):

С cloudflare не работал, когда экспайрятся и как обновляются эти куки не знаю.
Пробуйте, проверяйте, добавляйте тестовые исходники, что бы было желание вам помочь.

Спасибо за наводку, попробую кукис браузера может сработает.

P.S.Думаю, другие тоже по идее должны были бы столкнуться с этим. может все таки кто-то уже сделал?

Sergey Zhukov 2018.02.08 09:36 #6

Sergey Dzyublik:

Попробуйте добавить в запрос от WebRequest куки для cloudflare из браузера (__cfduid, cf_clearance):

С cloudflare не работал, когда экспайрятся и как обновляются эти куки не знаю.
Пробуйте, проверяйте, добавляйте тестовые исходники, что бы было желание вам помочь.

Попробовал я как вы советуете:

   cookie = "GET / HTTP/1.1\r\n"
   "Cookie: cf_clearance=941b7eff6c3208923e37deeaaa5cf60a4369d002-1518075369-86400; __cfduid=d95e819930edcadf7706b3ef9f25ac8dd1518075273\r\n"
   "User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.2.8) Gecko/20100722 AdCentriaIM/1.7 Firefox/33.1.1 ( .NET CLR 3.5.30729) WebMoney Advisor MRA 5.7 (build 03796)\r\n";
   res=WebRequest("GET",google_url,cookie,NULL,timeout,post,0,result,headers);

ни какого эффекта, что не так?

[Удален] 2018.02.08 10:05 #7

Sergey Zhukov:

Попробовал я как вы советуете:

ни какого эффекта, что не так?

По идеи нужно более точно "представиться" серверу. Я бы начал с того что указал тип браузера (мол я через него работаю), скажем можно "закосить" под Мозиллу или Оперу.

Тут я говорю о необходимости (возможной необходимости) добавить в тело запроса строки "Host" и "User-Agent".

На счет куков. Они могут быть динамическими и сервер ожидает определенных куков + на мой взгляд странно высылать куки при первом коннекте.

PS

По хорошему стоит проанализировать обмен пакетами между браузером и сервером, в роде в Моззилое был подобный плагин.

По форуму: длина строки Обсуждение статьи "Создание эксперта, Изучаем и пишем вместе

Sergey Dzyublik 2018.02.08 10:29 #8

Sergey Zhukov:

Попробовал я как вы советуете:

ни какого эффекта, что не так?

1. Это явно лишнее - "GET / HTTP/1.1\r\n"

2. Добавляйте тестовые исходники, что бы было желание вам помочь.
Додумывать куда вы там отправляете запросы и дописывать код, что бы он хотя бы откомпелировался - ни какого желания нет.

MQL4 Обнуление буфера Как выиграл bobsley? От теории к практике

[Удален] 2018.02.08 10:53 #9

Sergey Dzyublik:

1. Это явно лишнее - "GET / HTTP/1.1\r\n"

2. Добавляйте тестовые исходники, что бы было желание вам помочь.
Додумывать куда вы там отправляете запросы и дописывать код, что бы он хотя бы откомпелировался - ни какого желания нет.

По идеи вместо "GET" в качестве первого параметра нужно использовать "GET / HTTP/1.1" (или что-то в этом роде). Из куков действительно эту строку лучше выкинуть.

Кода формирования запроса вполне хватит, хотя стоит посмотреть что с ним далее происходит.

На мой взгляд гораздо важней понимать - чем отличаются запросы от робота и из браузера.

Скорость выполнения функций ceil(),round(),floor() Советники: News EA Template Мультитаймфреймовые индикаторы

Sergey Dzyublik 2018.02.08 11:06 #10

Vladimir Batrudinov:

По идеи вместо "GET" в качестве первого параметра нужно использовать "GET / HTTP/1.1" (или что-то в этом роде).

Бред.