Проверить заголовок Last-Modified

HTTP заголовок Last-Modified, (последние изменения) передает клиенту время последнего изменения документа (веб-страницы). Благодаря last modified, мы показываем для робота только новые страницы (или обновленные). Робот приходит на сайт и берет сперва то, что нужно, а потом все остальное. Как и sitemap xml, заголовки last-modified являются рекомендацией, а не руководством к действию и поисковые роботы все равно будут индексировать даже старые страниц, но уже в другом порядке.