robots.txt

Robots.txt на mozg.by - работа над ошибками для Гены

Robots.txt - работа над ошибкамиИногда я слежу за новыми комментариями к своим статьям. Вчера зашел проверить, что новенького появилось к моему посту Убираем дубликаты страниц Drupal из поисковиков.

С момента публикации (21 июня) прошло 2 недели (сегодня 6 июля), поэтому я решил глянуть, что новенького с индексацией дубликатов на mozg.by. Увиденное поразило меня больше, чем отказ полумифического Дона Маула участвовать в конкурсе Ночлежка. Несмотря на изменения в robots.txt, картина индексации mozg.by абсолютно не изменилась. После того, как мои увеличенные в три раза глаза с трудом вернулись в прежнее состояние, почесав затылок и достав из холодильника рюмку молока, я сел разбираться.

Убираем дубликаты страниц Drupal из поисковиков

Составляем robots.txtЭтот материал содержит информацию о том, как закрыть от поисковиков малозначимые страницы сайта на Drupal в случае, если анонимным юзерам запрещено размещать комментарии.

Drupal - весьма мощная CMS и позволяет настраивать вид сайта практически как угодно. Однако при этом следует учитывать интересы поисковиков, иначе можно получить санкции со стороны Яндекса и Гугла, а это потеря посетителей и дохода, в том числе в системе sape.

Подпишись на RSS