Создаем файл Robots.txt

Создаем файл Robots.txt Сегодня создадим файл Robots.txt. Думаю многие уже знают для чего он нужен! Ну а кто не знает вот для вас вводная часть! У нас на блоге кроме файлов которые обязательно должен индексировать поисковый бот, есть так же файлы движка, которые ну никак не должны быть интересны боту. И мы должны в специально [...]
Подробнее