Навигация сайта
Категории
Статьи
Новые фильмы
Топ новостей
Афоризмы
Опрос
Поиск
Форум
Игры на сайте
Случайный анекдот
Облако тегов
Статистика
| Главная » Статьи » Интернет |
| Компания SmartWeb, владеющая проектами-каталогами UAProm.net и RUProm.net, вынуждена была забанить сумасшедшего робота «Яндекса», который выкачивал десятки страниц в секунду. "Сегодня наш сервер переполнил количество соединений с СУБД из-за излишней прожорливости YandexSomething-бота", - сообщается в блоге компании 15 июня. Далее говорится, что в этот день между 20 и 21 часами робопаук выкачал 19238 страниц на серверах UAProm.net и RUProm.net, доходя до 12 страниц в секунду. В «твиттере» той же компании говорится уже про 20-30 запросов в секунду. Бот YandexSomething описывается в разных источниках как робот, "индексирующий новостные потоки партнеров «Яндекс-Новостей»". Однако, судя по обсуждениям в форумах, он донимает не только новостные сайты. В связи с высокой нагрузкой владельцы сайтов RUProm.net и UAProm.net забанили этого бешеного бота через robots.txt. Но 19 июня они выяснили, что это приводит к мстительному эффекту — «Яндекс» вообще перестал индексировать их сайт. Пришлось заменить полный запрет бота (Disallow) на уменьшение частоты доступа (Crawl-delay). Стоит заметить, что уже не первый случай сумасшествия поисковых пауков. В начале мая хостинг-компания «Мастерхост» перестала пускать роботов «Яндекса» на сайты своих клиентов, так как эти роботы тоже производили эффект DoS-атаки. Представители робота отмазались весьма стандартно: Александр Садовский заявил, что это связано всего лишь с переносом обхода сайтов ботами с ночного времени на дневное, и назвал DoS-защиту «Мастерхоста» несложной — дескать, это она ошиблась, а вовсе не «Яндекс». Ровно те же аргументы использовала в 2006 году Webalta, чей робот создавал перегрузки у провайдеров. Представители поисковика тоже говорили тогда, что во всем виноваты вебмастера, которые не легли под робота именно в той позе, которую захотел робот в этот день. | |
| Просмотров: 986 | Рейтинг: 4.0/1 |
| Всего комментариев: 0 | |




![Пир [Пиршество] / Feast [UNRATED] (2005) HDRip-AVC](http://warexx.ru/_nw/93/77263650.jpg)





![Warlock: Master of the Arcane [v 1.1.2.26 + 1 DLC] (2012/PC/RUS/RePack от Fenixx)](http://warexx.ru/_nw/94/03439291.jpeg)


2
2
0