Оптимизируем robots.txt под WordPress
Очень часто мне приходят от читателей письма, в которых меня просят рассказать о настройке robots.txt. Как правило, людей интересует оптимизация этого файла под конкретные движки, типа DLE, Joomla и WordPress. На основании этого я и написал данное руководство, в котором буду отвечать на популярные вопросы.
Что такое robots.txt?
robots.txt – это файл, который размещен в корне Вашего сайта на хостинге. Поисковые роботы Яндекса, Гугла и других поисковых систем, когда попадают на Ваш сайт, в первую очередь ищут этот файл, чтобы посмотреть, какие страницы Вы разрешаете проиндексировать, а какие нет.
Для чего нужен robots.txt?
Иногда очень целесообразно запретить роботам индексацию определённых файлов и страниц, дабы избежать ненужных ошибок и дублированного контента. Ведь дублированный контент безжалостно наказывается поисковыми машинами в виде понижения позиций в выдаче.
Зачем использовать robots.txt для WordPress?
В системе WordPress дублированный контент всплывает на страницах рубрик, архивов и тегов, именно их мы будем скрывать от индексации, прописывая нужные команды.
Как создать robots.txt?
Создание этого файла не вызывает особых затруднений. Всё что нам нужно – обычный текстовый редактор, в котором мы будем прописывать команды. Сам файл сохраняется в формате .txt под названием “robots”. Обратите внимание, что все буквы прописываются в нижнем регистре!!!
Как прописать адрес карты сайта в robots.txt?
Как правило, адрес карты прописывается в самом начале файла robots.txt и имеет следующий вид:
User-agent: *
Sitemap: http://www.[url].ru/sitemap.xml
Чуть ниже мы запрещаем индексацию служебных каталогов, чтобы поисковики не допускали ошибок при сканировании контента:
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wpcontent/themes/
Disallow: /wpcontent/plugins/
Disallow: /trackback/
Disallow: /*?*
Disallow: */trackback/
Теперь мы закрываем весь PHP и страницы тегов, рубрик и архивов, т.к. там содержится дублированный контент. Кроме того, прячем фид, т.к. попытки его индексирования приводят к ошибкам.
User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$
Disallow: /*.wmv$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*.php*
Disallow: */trackback*
Disallow: /*?*
Disallow: /category/
Disallow: /tag/
Disallow: /archives/
Disallow: /feed/
Disallow: /wp-*
Allow: /wp-content/uploads/
Теперь открываем доступ к поиску всех картинок в блоге:
# allow google image bot to search all images
User-agent: Googlebot-Image
Allow: /*
Ну вот, вроде бы, и всё… Ах да, если вы крутите в блоге рекламу от Google AdSense, то необходимо будет прописать ещё пару строк:
# allow adsense bot on entire site
User-agent: Mediapartners-Google*
Disallow: /*?*
Allow: /wp-content/
Allow: /tag/
Allow: /category/
Allow: /*.php$
Allow: /*.js$
Allow: /*.inc$
Allow: /*.css$
Allow: /*.gz$
Allow: /*.cgi$
Allow: /*.wmv$
Allow: /*.cgi$
Allow: /*.xhtml$
Allow: /*.php*
Allow: /*.gif$
Allow: /*.jpg$
Allow: /*.png$
Теперь наш robots.txt полностью заточен под наш блог. В целом должен получиться файл с вот таким сожержанием:
User-agent: *
Sitemap: http://www.[url].ru/sitemap.xml
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/themes/
Disallow: /wp-content/plugins/
Disallow: /trackback/
Disallow: /*?*
Disallow: */trackback/User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$
Disallow: /*.wmv$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*.php*
Disallow: */trackback*
Disallow: /*?*
Disallow: /category/
Disallow: /tag/
Disallow: /archives/
Disallow: /feed/
Disallow: /wp-*
Allow: /wp-content/uploads/# allow google image bot to search all images
User-agent: Googlebot-Image
Allow: /*# allow adsense bot on entire site
User-agent: Mediapartners-Google*
Disallow: /*?*
Allow: /wp-content/
Allow: /tag/
Allow: /category/
Allow: /*.php$
Allow: /*.js$
Allow: /*.inc$
Allow: /*.css$
Allow: /*.gz$
Allow: /*.cgi$
Allow: /*.wmv$
Allow: /*.cgi$
Allow: /*.xhtml$
Allow: /*.php*
Allow: /*.gif$
Allow: /*.jpg$
Allow: /*.png$