Robots.txt и плагин XML sitemap необходимы сайту на WordPress

Robots.txt, XML Sitemap

При создании нового сайта на WordPress надо знать и помнить о том, что необходимо ему прежде всего. Это счётчик посещаемости, который можно установить благодаря сервису LiveInternet, форма рассылки новых статей для посетителей, желающих получать новости на свою почту. Также необходим плагин социальных кнопок, чтобы можно было процитировать статью в соц. сетях, а автор мог аннонсировать её.

Но совершенно необходимы для сайта вещи, помогающие технической стороне функционирования. Без них сайт на WordPress просто не обходится. Во-первых, это плагин XML Sitemap  - карта сайта. С помощью этой карты поисковый робот ориентируется в содержимом сайта.

Для установки плагина надо зайти на сайт WordPress.org в дирректорию плагинов  (Plugin Directory).   Адрес дирректории:

wordpress.org/extend/plugins/google-sitemap-generator/.

Нажимаем оранжевую кнопка «Загрузить версию». Скачиваем файл на компьютер и идём в админ-панель своего сайта. Слева выбираем «Плагины» / Добавить / Загрузить / Выбрать файл / Открыть / Установить / Активировать. Теперь плагин на сайте. Надо сделать настройку. Заходим в раздел «Настройки». Видим там название плагина и нажимаем. Зайдя на страницу настройки, читаем надпись, что карта сайта ещё не построена. Нажимаем надпись «Нажмите здесь». Далее карта сайта будет строиться сама, то есть автоматически.

Название файла карты: Google XML sitemaps.

Ещё одна необходимость сайта на движке WordPress - файл  robots.txt. Он нужен, чтобы исключить двойные страницы. Дубликаты статей появляются из-за того, что сначала статья находится на главной странице, потом в архиве, ещё гд-то и при этом у неё различная ссылка. Для поисковиков в таком случае запись теряет уникальность и может попасть под фильтр.

О файле robots.txt

Файл robots.txt можно прочитать на любом сайте, добавив к адресу этого сайта: /robots.txt. Так что для того, чтобы составить этот файл себе, можно посмотреть, как он выглядит у кого-нибудь образцового. Между прочим, существует плагин, помогающий создать файл Robots.txt. Название плагина — IRobots.Txt.

Поисковый робот в каждом сайте ищет этот файл, по типу — текстовый. У себя на компьютере его можно читать и редактировать только в программе «Блокнот». Готовый файл robots.txt надо загрузить в корневую директорию сайта, то есть на хостинг, в раздел «Файловый менеджер». Далее, находя директорию, открываем папку public.html.

О содержимом файла robots.txt

Файл robots.txt состоит из команд, предназначенных поисковому роботу, который в свою очередь при сканировании сайта различает: какие папки надо проверять, а какие — не надо. Происходит управление индексации сайта, от чего зависит ТИЦ и PR. То есть системные папки роботу не предъявляются и они не индексируются. Зато  всё другое, предназначенное для публикации  проиндексируется быстрее.

Файл состоит из команд, например User-agent:*- имя бота,  после чего должно быть написано, для какого поисковика эта команда. Звёздочка означает, что это для всех поисковиков. Команда Яндексу выглядит так:

User-agent: Yandex.

Следующая команда -

Disallow: (wp-admin).

Disallow запрещает индексировать папку, а Allow - разрешает.

Папки wp-admin, themes, plugins, wp-includes - технические или системные. Дубли страниц создаются  такими папками, как category и другие.  Эти папки  надо и целесообразно запрещать.  Так надо отобрать файлы, которые надо разрешить или запретить.

В конце файла надо прописать свой домен:

Host: http://имя домена.ru

Sitemap: http://имя домена.ru/sitemap.xml

Sitemap: http://имя домена.ru/sitemap.xml.gz

- как-то так.  А для написания используется программа блокнот, при этом тип файла -.txt.

Далее надо загрузить файл на хостинг, а именно в раздел «Файловый  менеджер». Найдём папку domains,  затем наш сайт, затем папку public.html

 Плагины для создания robots.txt

 Как упоминалось в начале, данный файл для роботов можно создать с помощью плагинов, например IRobots.txt. Известно, что лишние  плагины нагружают и тормозят сайт. А этот плагин не удалось загрузить с админ-панели сайта,  при вписывании  его в поисковую строку он отсутствовал. Следовательно его надо найти в интернете и загрузить на компьютер, а уже потом в админ-панель.

Плагин PC robots.txt можно загрузить в админ-панели сайта, в строке «Поиск» раздела плагинов «Добавить новый».

После установки и активации плагина его  можно редактировать в админ-панели, сохранив изменения в конце страницы для редактирования.

Другой  подобный плагин - iRobots.txt Seo, судя по отзывам, более предыдущего загружает сервер. Его можно редактировать, проставляя галочки на странице настройки.

  Проверка ошибок

 Правильность файла robots.txt можно проверить на предмет наличия ошибок. Но сервис Яндекса, который этим занимается, вернее Яндекс.Вебмастер, не проверяет фрагменты для других поисковиков.  По фрагментам, касающимся Яндекса он сервис найдёт ошибки, если они есть. На сервисе Яндекс.Вебмастер указываем свой сайт. Заходим в раздел «Настройка индексирования» / «Анализ robots.txt» /  Нажимаем кнопку «Загрузить robots.txt с сайта». / Кнопка «Проверить».

Продолжение следует.

Пишите комментарии, добавляйте в закладки. 

Вы можете оставить комментарий, или ссылку на Ваш сайт.

Оставить комментарий