Webrequest

Авторизуйтесь или зарегистрируйтесь, чтобы добавить комментарий
Dmitiry Ananiev
9278
Dmitiry Ananiev  
поигрался с этой функцией. запустил совтеник и на каждом тике стал парсить этот сайт. получил блокировку. Теперь только через прокси могу зайти. Надолго ли эта блокировка? как часто можно парсить этот сайт ? ! раз в 5 минут не получу бан  от сервера ?  
Vladimir Karputov
Модератор
182150
Vladimir Karputov  
Dmitiry Ananiev:
поигрался с этой функцией. запустил совтеник и на каждом тике стал парсить этот сайт. получил блокировку. Теперь только через прокси могу зайти. Надолго ли эта блокировка? как часто можно парсить этот сайт ? ! раз в 5 минут не получу бан  от сервера ?  

Первый раз бан по IP вроде на час.

Как часто можно парсить - это скрытая информация. Безопасность. 

fxsaber
16758
fxsaber  
Dmitiry Ananiev:
как часто можно парсить этот сайт ?
Раз в 10 секунд - точно можно. К сожалению CSV-стейты Сигналов через WebRequest не понятно, как вытянуть.
Sergey Dzyublik
4369
Sergey Dzyublik  
Vladimir Karputov:

Как часто можно парсить - это скрытая информация. Безопасность. 

К сожалению это бред, а не безопасность.

Пол года назад было 100 запросов (предположительно в минуту) до бана.
Потом, на сколько замечал, стало 50 запросов.
Dmitiry Ananiev
9278
Dmitiry Ananiev  
ну если я 1 раз в 2 минуты буду парсить не забанят ? 
Vladimir Karputov
Модератор
182150
Vladimir Karputov  
Каждый следующий бан по IP идёт по возрастающей. Кто хочет - может и дальше испытывать судьбу.
Sergey Dzyublik
4369
Sergey Dzyublik  
Vladimir Karputov:
Каждый следующий бан по IP идёт по возрастающей. Кто хочет - может и дальше испытывать судьбу.
С домашнего банов 4 точно ловил за ддос.
Последний раз менее недели назад, автосняли за 2 часа +-.
Sergey Dzyublik
4369
Sergey Dzyublik  
Dmitiry Ananiev:
ну если я 1 раз в 2 минуты буду парсить не забанят ? 
Sergey Dzyublik
4369
Sergey Dzyublik  
fxsaber:
Раз в 10 секунд - точно можно. К сожалению CSV-стейты Сигналов через WebRequest не понятно, как вытянуть.
Опишите конкретно что нужно, не думаю что это так трудно.
fxsaber
16758
fxsaber  
Sergey Dzyublik:
Опишите конкретно что нужно, не думаю что это так трудно.
Через сабж выкачать CSV-стейт, зная его точный адрес. CSV без авторизации не доступен.
Maxim Kuznetsov
12957
Maxim Kuznetsov  
шёл 2017 год, но web-мастера так и неначились делать API.
12
Авторизуйтесь или зарегистрируйтесь, чтобы добавить комментарий