Навигация сайта

Категории

Статьи

Новые фильмы

Топ новостей

Афоризмы

Большому пакету – большое зависание.

Опрос

Оцените мой сайт
Всего ответов: 224

Поиск

Форум

Игры на сайте

Случайный анекдот

Мышечная память – это когда веб-страница еще не загрузилась, а ты уже поставил мышку на то место, куда надо кликнуть.

Облако тегов

Статистика

Зарег. на сайте
Всего: 5446
Новых за месяц: 25
Новых за неделю: 2
Новых вчера: 0
Новых сегодня: 0
Из них
Администраторов: 1
Модераторов: 0
Журналистов: 20
Проверенных: 21
Обычных юзеров: 5404
Из них
Парней: 5275
Девушек: 171
Кто сегодня нас посетил: Admin, poporo, zenj68
2
2
0
Главная » Статьи » Интернет

DoS-атака «Яндекса»
Компания SmartWeb, владеющая проектами-каталогами UAProm.net и RUProm.net, вынуждена была забанить сумасшедшего робота «Яндекса», который выкачивал десятки страниц в секунду.

"Сегодня наш сервер переполнил количество соединений с СУБД из-за излишней прожорливости YandexSomething-бота", - сообщается в блоге компании 15 июня. Далее говорится, что в этот день между 20 и 21 часами робопаук выкачал 19238 страниц на серверах UAProm.net и RUProm.net, доходя до 12 страниц в секунду. В «твиттере» той же компании говорится уже про 20-30 запросов в секунду.

Бот YandexSomething описывается в разных источниках как робот, "индексирующий новостные потоки партнеров «Яндекс-Новостей»". Однако, судя по обсуждениям в форумах, он донимает не только новостные сайты.

В связи с высокой нагрузкой владельцы сайтов RUProm.net и UAProm.net забанили этого бешеного бота через robots.txt. Но 19 июня они выяснили, что это приводит к мстительному эффекту — «Яндекс» вообще перестал индексировать их сайт. Пришлось заменить полный запрет бота (Disallow) на уменьшение частоты доступа (Crawl-delay).

Стоит заметить, что уже не первый случай сумасшествия поисковых пауков. В начале мая хостинг-компания «Мастерхост» перестала пускать роботов «Яндекса» на сайты своих клиентов, так как эти роботы тоже производили эффект DoS-атаки. Представители робота отмазались весьма стандартно: Александр Садовский заявил, что это связано всего лишь с переносом обхода сайтов ботами с ночного времени на дневное, и назвал DoS-защиту «Мастерхоста» несложной — дескать, это она ошиблась, а вовсе не «Яндекс».

Ровно те же аргументы использовала в 2006 году Webalta, чей робот создавал перегрузки у провайдеров. Представители поисковика тоже говорили тогда, что во всем виноваты вебмастера, которые не легли под робота именно в той позе, которую захотел робот в этот день.

Категория: Интернет | Добавил: Admin (10.10.2009)
Просмотров: 986 | Рейтинг: 4.0/1
Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
ремонт сотовых телефонов нокиа ремонт телефонов нокия в москве хороший сервисный центр в москве