Создаем файл Robots.txt

Создаем файл Robots.txt

Сегодня создадим файл Robots.txt. Думаю многие уже знают для чего он нужен! Ну а кто не знает вот для вас вводная часть!

У нас на блоге кроме файлов которые обязательно должен индексировать поисковый бот, есть так же файлы движка, которые ну никак не должны быть интересны боту. И мы должны в специально предусмотренном для этого файле «Robots.txt» прописать команды этому роботу что индексировать, куда не лезть, как добраться до карты сайта. В общем все что нужно.

Я знаю два варианта создания этого файла первый вариант это ручками, второй способ создания установить плагин.

Первый способ это создание руками нам понадобится Notepad++ и любой ftp клиент, нам нужно создать файл с названием robot и форматом txt.

Вот примерное содержимое вашего файла ( я считаю его оптимальным для вашего блога/сайта под поисковики яша и гоша или яндекс и гугл):

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: сайт.ru
Sitemap: http://сайт.ru/sitemap.xml.gz
Sitemap: http://сайт.ru/sitemap.xml

только если будете копировать его то замените на свой домен, и чуть не забыл вам сказать если на вашем сайте не настроить ЧПУ, то возможны проблемы с нашим робот текст. Копируем файл, редактируем и после этого загоняем его по ftp в корень. Все наш файл работает это вы можете проверить в яндекс вебмастер.

Второй способ это установить плагин DL Robots.txt плагин состоит из форму куда вам необходимо будет вписать содержимое файла и нажать «Сохранить изменения» и файл будет создан. примерное содержимое вашего файла смотрите выше.

Как устанавливать плагины на вордпресс я уже описывал, скачать вы его может вот здесь . Или из каталога wordpress через админ панель.

Когда активируете плагин перейдете в настройки которые найдет по названию плагина.

Если хотите удалить от индексации комментарии достаточно добавить вот это

Disallow: */comments Disallow: /comments

Так как на нашем сайте путем тегов мы создаем дубли страниц а поисковики этого не любят в нашем файле мы запретили роботу их индексировать

Disallow: /tag

Ну вот мы с вами создали наш файл и теперь можем ждать больше активности от поисковиков.

Вопросы задавайте в комментариях.

Поделитесь в соц. сетях:



Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *