Как Google обрабатывает в выдаче страницы с ошибками 404 и 410

В новом обучающем видео Мэтт Каттс, глава команды по борьбе с поисковым спамом Google, объясняет, в чём для поискового робота разница между кодами состояния HTTP 404 (Not Found) и 410 (Gone).
И 404 и 410 коды ошибок веб-страницы свидетельствуют о ее недоступности.

Однако ошибка 404 обозначает, что запрошенному URL не соответствует никакая страница сайта. Этому могут быть две причины: ссылка неверна или ранее существовавшая страница была удалена. Код 404 также не сообщает, была или появится ли страница в будущем или она исчезла навсегда.

410 код состояния http-сервера определяется как «удален». Т.е. затребованный URL был, но больше не существует и навсегда удален с сервера.

Таким образом, Google относится к двум кодам немного по-разному. В случае кода ошибки 404 Google будет «защищать» страницу и не пометит ее как удаленную в течение 24 часов. И спустя некоторое время робот снова обращается к странице и перепроверяет ее.

Если Google-бот находит на странице 410 ошибку, он автоматически помечает ее в результатах выдачи как удаленную.

Если страницы больше нет, и вы думаете, что это временно, используйте код ошибки 404. Если страницы больше нет, и вы не знаете другую страницу, которой можно было бы заменить ее, и вы знаете, что эта страница больше никогда не появится, используйте код ответа сервера 410.

Google получила запрос от RIAA на удаление 50 миллионов пиратских ссылок Мобильные пользователи втрое уязвимее для фишинговых атак Браузер Opera дебютирует на программной платформе Nokia X Сервис обещает избавить Интернет от "сломанных" ссылок Аниме-ресурс закрыт Роскомнадзором за порнографию Рейтинг информационных угроз за август Роскомнадзор внес в черный список 46 тысяч ссылок на сайты В отчете McAFEE LABS за IV квартал сообщается о методах, использованных в резонансных случаях хищения данных Компания Opera, выпустившая осенью прошлого года минималистичный браузер Coast для планшетников Apple, адаптировала приложение для iPhone. Обозреватель включает в себя экспресс-панель Speed Dial для быстрого доступа к сайтам, синхронизацию с iPad-версией Google накрыла волна запросов на удаление ссылок на пиратский контент. Ежеминутно компания получает 1500 таких требований.