Ереван

Лондон

Вашингтон

Телеканал

Настройка robots.txt правильно

Опубликовал: azaryan75 в О Рекламе - Вт, 08 октября 2019

В файле robots.txt представлена информация о детальной настройке методов индексации сайта специализированными ботами поисковых систем Google и Яндекс. Итак, что же такое robots.txt? Это текстовый файл, который расположен в  корневой директории сайта. В случае верного размещения файла, ссылка на него будет выглядеть следующим образом: site.ru/robots.txt


Управление индексацией – важно ли это?


Да, это действительно необходимо, поскольку в индекс поисковых систем, если не уделить особое внимание данному вопросу, попадают страница, не несущие никакой пользы пользователям.  Вроде бы, что тут такого криминального? Дело в том, что к таким ресурсам снижается доверие поисковых систем, а значит и выдача будет не такая, какую бы хотелось видеть.


Какие страницы необходимо закрывать в robots.txt?


1 Корзину магазина и страницы оформления заказов


2 Страницы сравнения и сортировки товаров


3 Страницы регистрации пользователей и их авторизации


4 Фильтры, языковые версии и теги, если они не оптимизированы и модерированы


5 Личный кабинет и профили пользователей


6 Лэндинги акций и распродаж


7 Системные файлы и каталоги


8 Версии для печати и пустые страницы сайта


9 Прочие страницы, которые не полезны, не готовы и не проработаны


Влияние файла robots.txt на «Яндекс»  и «Google»


Поисковая система «Яндекс» описанные в файле правила считает приоритетными и пока не индексирует страницы, указанные в нем. А вот поисковая система «Google» решает самостоятельно какие же страницы индексировать, но стоит учесть, что используя  robots.txt снижается вероятность попадания в Google ненужных страниц.


В связи с особенностями работы Google предлагаем воспользоваться мета-тег robots:


« <html>


<head>


<meta name=“robots” content=“noindex,nofollow”>


<meta name=“description” content=“ страница ….”>


<title>…</title>


</head>


<body> »


Не стоит использовать онлайн-генераторы, поскольку выхлопа от их работы совершенно нет.


Как правильно настроить robots.txt?


По своей структуре файл robots.txt содержит несколько пронумерованных указаний робота, в которых прописываются директивы для выполнения и дополнительные опции. В зависимости от вида директивы прописывается различная система работы.


Итак, директива User-agent: в ней необходимо указать наиболее актуальные правила.


Наиболее часто встречаются записи:



  • User-agent: * (для всех роботов);

  • User-agent: Yandex (для всех роботов Яндекса).


Советуем использовать в работе обе записи как для роботов Яндекса, так и для все остальных.


Для Яндекса лучше использовать следующие юзер-агенты:



  • YandexBot (основной робот для индексации)

  • YandexMetrika (робот Яндекс.Метрики)

  • YandexDirect и YaDirectFetcher (роботы по подбору релевантной рекламы)

  • YandexMarket (робот Яндекс.Маркета)

  • YandexNews (робот Яндекс.Новостей)

  • YandexImages (робот Яндекс.Картинок)

  • YandexDirectDyn (робот динамических баннеров)

  • YandexBlogs (робот постов и комментариев)

  • YandexCalendar (робот Яндекс.Календаря)

  • YandexMedia (робот мультимедийных данных).


Для поисковой системы Google используются иные юзер-агенты:


Для поисковой системы Google используются иные юзер-агенты:



  • Googlebot (анализатор контента сайта)

  • AdsBot-Google (робот для веб-страниц на компьютерах)

  • Googlebot-Mobile (робот для индексации работы сайта на мобильных устройствах)

  • Mediapartners-Google (робот AdSense)

  • AdsBot-Google-Mobile (робот для определения качества рекламы, демонстрируемой на Android и IOS)

  • Googlebot-Image (робот изображений и картинок)

  • Googlebot-News (робот Google новостей)

  • Googlebot-Video (робот Google видео).


Директива Disallow наиболее часто используется в robots.txt, поскольку именно она позволяет качественно закрыть ненужные для индексации страницы.


Директива Host указывается в конце файла robots.txt. Наиболее часто встречаются записи:


User-agent: Yandex


Disallow: /cgi-bin


Host: site.ru


Директива Sitemap прописывается в корне сайта. Важным фактором является то, что необходимо указывать абсолютный путь в виде: https://site.ru/site_structure/my_sitemaps1.xml


Директива Clean-param применяется в случаях, когда на сайте есть динамические параметры, не влияющие на содержимое страницы.


Просмотров: 95

Коммментарии:




Архив Новостей

«    Декабрь 2019    »
ПнВтСрЧтПтСбВс
 1
2345678
9101112131415
16171819202122
23242526272829
3031 


Нас интересует

What media do you trust

TV
RADIO
NEWSPAPER
JOURNAL
INTERNET

 

Законодательство

Рекламных Кампаний

Мы провели 2352 рекламных кампаний c 2003 по 2019 год

Маркетиновых Исследований

Мы провели 383 Исследования c 2003 по 2019 год

Презентации