WebRequest & ddos protection by cloudflare

Авторизуйтесь или зарегистрируйтесь, чтобы добавить комментарий
Sergey Zhukov
370
Sergey Zhukov  

Здравствуйте!

Еще совсем недавно бот работал через WebRequest на бирже, но теперь там установили защиту от DDOS атак.

Если подключаюсь через браузер, то получаю сообщение:

Checking your browser before accessing yobit.net.
This process is automatic. Your browser will redirect to your requested content shortly.
Please allow up to 5 seconds…
DDoS protection by CloudFlare
Ray ID: 2f5e908241e33798

и через 5 сек. загружается страница биржи.

А вот через WebRequest попадаю каждый раз только на страницу указанную выше.

Помогите пожалуйста как-нибудь решить эту проблему, может кто уже сталкивался с этим?

TheXpert
17397
TheXpert  

Sergey Zhukov:

Мва-ха-ха ))

Konstantin Kotlov
3573
Konstantin Kotlov  
Sergey Zhukov:

Здравствуйте!

Еще совсем недавно бот работал через WebRequest на бирже, но теперь там установили защиту от DDOS атак.

Если подключаюсь через браузер, то получаю сообщение:

Checking your browser before accessing yobit.net.
This process is automatic. Your browser will redirect to your requested content shortly.
Please allow up to 5 seconds…
DDoS protection by CloudFlare
Ray ID: 2f5e908241e33798

и через 5 сек. загружается страница биржи.

А вот через WebRequest попадаю каждый раз только на страницу указанную выше.

Помогите пожалуйста как-нибудь решить эту проблему, может кто уже сталкивался с этим?

Здравствуйте, а на какой сайт?
Sergey Zhukov
370
Sergey Zhukov  
Konstantin Kotlov:
Здравствуйте, а на какой сайт?
https://yobit.net/ru/
Sergey Dzyublik
4012
Sergey Dzyublik  

Попробуйте добавить в запрос от WebRequest куки для cloudflare из браузера (__cfduid, cf_clearance):




С cloudflare не работал, когда экспайрятся и как обновляются эти куки не знаю.
Пробуйте, проверяйте, добавляйте тестовые исходники, что бы было желание вам помочь.

Sergey Zhukov
370
Sergey Zhukov  
Sergey Dzyublik:

Попробуйте добавить в запрос от WebRequest куки для cloudflare из браузера (__cfduid, cf_clearance):




С cloudflare не работал, когда экспайрятся и как обновляются эти куки не знаю.
Пробуйте, проверяйте, добавляйте тестовые исходники, что бы было желание вам помочь.

Спасибо за наводку, попробую кукис браузера может сработает.

P.S.Думаю, другие тоже по идее должны были бы столкнуться с этим. может все таки кто-то уже сделал?

Sergey Zhukov
370
Sergey Zhukov  
Sergey Dzyublik:

Попробуйте добавить в запрос от WebRequest куки для cloudflare из браузера (__cfduid, cf_clearance):




С cloudflare не работал, когда экспайрятся и как обновляются эти куки не знаю.
Пробуйте, проверяйте, добавляйте тестовые исходники, что бы было желание вам помочь.

Попробовал я как вы советуете:

   cookie = "GET / HTTP/1.1\r\n"
   "Cookie: cf_clearance=941b7eff6c3208923e37deeaaa5cf60a4369d002-1518075369-86400; __cfduid=d95e819930edcadf7706b3ef9f25ac8dd1518075273\r\n"
   "User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.2.8) Gecko/20100722 AdCentriaIM/1.7 Firefox/33.1.1 ( .NET CLR 3.5.30729) WebMoney Advisor MRA 5.7 (build 03796)\r\n";
   res=WebRequest("GET",google_url,cookie,NULL,timeout,post,0,result,headers);
ни какого эффекта, что не так?
Interesting
4236
Interesting  
Sergey Zhukov:

Попробовал я как вы советуете:

ни какого эффекта, что не так?

По идеи нужно более точно "представиться" серверу. Я бы начал с того что указал тип браузера (мол я через него работаю), скажем можно "закосить" под Мозиллу или Оперу.

Тут я говорю о необходимости (возможной необходимости) добавить в тело запроса строки "Host" и "User-Agent".

На счет куков. Они могут быть динамическими и сервер ожидает определенных куков + на мой взгляд странно высылать куки при первом коннекте.

PS

По хорошему стоит проанализировать обмен пакетами между браузером и сервером, в роде в Моззилое был подобный плагин.

Sergey Dzyublik
4012
Sergey Dzyublik  
Sergey Zhukov:

Попробовал я как вы советуете:

ни какого эффекта, что не так?

1. Это явно лишнее - "GET / HTTP/1.1\r\n"

2. Добавляйте тестовые исходники, что бы было желание вам помочь.
Додумывать куда вы там отправляете запросы и дописывать код, что бы он хотя бы откомпелировался  - ни какого желания нет.

Interesting
4236
Interesting  
Sergey Dzyublik:

1. Это явно лишнее - "GET / HTTP/1.1\r\n"

2. Добавляйте тестовые исходники, что бы было желание вам помочь.
Додумывать куда вы там отправляете запросы и дописывать код, что бы он хотя бы откомпелировался  - ни какого желания нет.

По идеи вместо "GET" в качестве первого параметра нужно использовать "GET / HTTP/1.1" (или что-то в этом роде). Из куков действительно эту строку лучше выкинуть.

Кода формирования запроса вполне хватит, хотя стоит посмотреть что с ним далее происходит.

На мой взгляд гораздо важней понимать - чем отличаются запросы от робота и из браузера.

Sergey Dzyublik
4012
Sergey Dzyublik  
Vladimir Batrudinov:

По идеи вместо "GET" в качестве первого параметра нужно использовать "GET / HTTP/1.1" (или что-то в этом роде).

Бред.

12
Авторизуйтесь или зарегистрируйтесь, чтобы добавить комментарий