Проверка Meta name robots.

Мета тег robots предоставляет информацию для робота поисковой системы о том, следует ли индексировать текущую страницу, а также следует ли переходить по ссылкам на ней. Например:

<meta name="robots" content="all"/> - даёт понять роботу, что можно индексировать текст на странице и переходить по ссылкам
<meta name="robots" content="index, follow"/> - работает аналогично
<meta name="robots" content="noindex"/> - запрещает поисковому роботу индексировать текст на странице
<meta name="robots" content="nofollow"/> - запрещает поисковому роботу переходить по ссылкам на странице, а следовательно, вес ссылки не будет передан
<meta name="robots" content="none"/> - запрещает поисковому роботу переходить по ссылкам на странице и индексировать текст
<meta name="robots" content="noindex, nofollow"/> - работает аналогично предыдущему
<meta name="robots" content="noarchive"/> - запрещает показывать ссылку на сохраненную копию на странице выдачи поисковой системы
<meta name="robots" content="noyaca"/> - запрещает Яндексу показывать в выдаче описание из Яндекс.Каталога
<meta name="robots" content="noodp"/> - запрещает Яндексу показывать в выдаче описание из DMOZ

Здесь стоит отметить, что если на странице meta тегом robots разрешено следовать по ссылкам, но на странице в ссылке указан атрибут тега rel="nofollow" - переход по ссылке не будет осуществлен. То есть, преимущество перед тегом имеет атрибут nofollow. Аналогично и для тега <noindex> , используемого поисковой системой Яндекс. Текст находящийся между <noindex></noindex> не будет проиндексирован, даже если мета-тегом robots он разрешен к индексации.