Метка: robots.txt

Robots — правила для поисковых роботов

Robots.txt — правила (директивы, инструкции) для поисковых роботов. Файл Robots.txt — что необходимо знать. Где находится таинственный файл robots.txt. Robots.txt  — это текстовый файл с описанием команд (директив) для управления индексацией веб-страниц/веб-сайта поисковыми машинами,  robots.txt находится в главной (корневой) папке сайта (при наличие поддоменов файл обязан находиться в корневом каталоге каждого из них). Он также доступен для…

Автор Редакция 02.01.2019 0