× ⚙️ Check CMS 🗺️ Sitemap Links check 🏷️ Check Meta Tags 📝 Word_To_html 🔄 HtmlEntities Converter 📶 Status Code Checker 🔗 Canonical Check 🚫 Check 404 🔗 Get Page Links 📑 Список CMS,конфиги,дубли 📚 Manuals 🤖 Правильные robots для CMS 🔄 Редиректы 🔤 Транслиттератор URL 🖼️ Image To Base64 📊 Сравнение текстов

Правильные robots.txt для CMS

Правильные robots.txt для CMS

Amiro

Bitrix

DLE

Drupal

InstantCMS

ImageCMS

HostCMS

Joomla

LiveStreet

Magento

MODx

NetCat

Opencart

PHPShop

Simpla

Typo3

UMI CMS

UCOZ

WebAsyst

Wordpress


Файл robots.txt – это текстовый файл, который лежит в корне сайта. В файле содержатся различные инструкции для поисковых и не только роботов. Они могут запрещать к индексации некоторые разделы, категории, каталоги или страницы сайта; показать поисковым роботам, какое зеркало сайта является главным; указать путь к карте сайта; задать желательный интервал для робота между скачиванием документов, страниц с сервера сайта и т.д.

Здесь мы можете посмотреть стандартные и правильные robots.txt для представленного списка популярных CMS.



На главную