Навигация сайта

Категории

Статьи

Новые фильмы

Топ новостей

Афоризмы

Большому пакету – большое зависание.

Опрос

За чем вы пришли на сайт?
Всего ответов: 91

Поиск

Форум

Игры на сайте

Случайный анекдот

Если у человека нет отпечатков пальцев – он программист!

Облако тегов

Статистика

Зарег. на сайте
Всего: 5326
Новых за месяц: 29
Новых за неделю: 2
Новых вчера: 0
Новых сегодня: 0
Из них
Администраторов: 1
Модераторов: 0
Журналистов: 19
Проверенных: 21
Обычных юзеров: 5285
Из них
Парней: 5159
Девушек: 167
Кто сегодня нас посетил: Admin, kazay
1
1
0
Главная » Статьи » Интернет

DoS-атака «Яндекса»
Компания SmartWeb, владеющая проектами-каталогами UAProm.net и RUProm.net, вынуждена была забанить сумасшедшего робота «Яндекса», который выкачивал десятки страниц в секунду.

"Сегодня наш сервер переполнил количество соединений с СУБД из-за излишней прожорливости YandexSomething-бота", - сообщается в блоге компании 15 июня. Далее говорится, что в этот день между 20 и 21 часами робопаук выкачал 19238 страниц на серверах UAProm.net и RUProm.net, доходя до 12 страниц в секунду. В «твиттере» той же компании говорится уже про 20-30 запросов в секунду.

Бот YandexSomething описывается в разных источниках как робот, "индексирующий новостные потоки партнеров «Яндекс-Новостей»". Однако, судя по обсуждениям в форумах, он донимает не только новостные сайты.

В связи с высокой нагрузкой владельцы сайтов RUProm.net и UAProm.net забанили этого бешеного бота через robots.txt. Но 19 июня они выяснили, что это приводит к мстительному эффекту — «Яндекс» вообще перестал индексировать их сайт. Пришлось заменить полный запрет бота (Disallow) на уменьшение частоты доступа (Crawl-delay).

Стоит заметить, что уже не первый случай сумасшествия поисковых пауков. В начале мая хостинг-компания «Мастерхост» перестала пускать роботов «Яндекса» на сайты своих клиентов, так как эти роботы тоже производили эффект DoS-атаки. Представители робота отмазались весьма стандартно: Александр Садовский заявил, что это связано всего лишь с переносом обхода сайтов ботами с ночного времени на дневное, и назвал DoS-защиту «Мастерхоста» несложной — дескать, это она ошиблась, а вовсе не «Яндекс».

Ровно те же аргументы использовала в 2006 году Webalta, чей робот создавал перегрузки у провайдеров. Представители поисковика тоже говорили тогда, что во всем виноваты вебмастера, которые не легли под робота именно в той позе, которую захотел робот в этот день.

Категория: Интернет | Добавил: Admin (10.10.2009)
Просмотров: 948 | Рейтинг: 4.0/1
Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
ремонт сотовых телефонов нокиа ремонт телефонов нокия в москве хороший сервисный центр в москве