Персональные теги robots для заголовков

Персональные теги robots для заголовков

Персональные теги robots для заголовков, хороший способ увеличить трафик для блога Blogspot. Используя персональные теги заголовков, можно запретить сканирование роботам, некоторые страницы на сайте.


Главная страница
Архив и страницы поиска (очень актуально для Blogspot)
Страницы по умолчанию

Зайдите в “Панель управления” – “Настройки” – “Настройки поиска” – “Поисковые роботы и индексация”. Новая функция теги robots для заголовков, похожа на файл customrobots.txt, только в отличие от него действует глобальней. Допустим, установив галочку nofollow для главной, можно запретить роботам поисковых систем, учитывать вообще все ссылки находящиеся на главной странице. Запрет на переход по ним.

Примечательно, что если функцию включить, то можно задавать теги robots для отдельных страниц или сообщений при их написании.

Теги позволяют задать настройку на индексирование поисковым роботам. По умолчанию для страниц стоят значения "index, follow" ( то же "all").


Основные теги для заголовков и страниц: noindex: ставит запрет на индексирование страницы
nofollow: запрещает роботам переходить по всем ссылкам страницы
nosnippet: устанавливает запрет на показывание фрагмента в результатах поиска (Актуально для Гугл)
noodp: не дает использовать описание из каталога ODP/DMOZ
noarchive: запрет на показывание ссылки в результате поиска “Сохранено в КЭШе”
unavailable_after:[date]: дает возможность указать дату и время, когда можно прекратить индексирование и сканирование страницы
noimageindex: служит тегом для всех картинок на странице. Запрещает указывать страницу как источник картинки, в поиске.