Зачем и как создать файл роботс (robots.txt)

Файл обязательно нужен и важен для каждого сайта для того, чтобы в поиск не попала служебная информация, которой Вы не собираетесь делиться со всеми пользователями интернета. Например скандалы с попаданием в поиск данных клиентов интернет магазинов или известная история с попаданием в поиск Гугла СМС сообщений, отправленных с сайта Мегафона.

Каждая поисковая система при заходе на сайт первым делом проверяет файл robots.txt и, исходя из директив прописанных в этом простом файле, индексирует (собирает информацию) ваш сайт.

Пример файла роботс Вы сможете посмотреть на любом сайте, подставив в строке браузера после адреса сайта /robots.txt. Например файл robots.txt нашего сайта посмотреть. Файл robots.txt – это простой текстовый файл, размещённый в корневой директории сайта.

Основные директивы используемые при написании:

  • Первая строка файла содержит информацию для какой поисковой машины предназначена данная информация, самый простой и распространенный вариант: User-agent: * (предназначен для всех).
  • Disallow - запрет к индексации отдельной страницы или раздела сайта.
  • Host - указывает на правильный адрес сайта.
  • Sitemap - путь к карте сайта.

Остальные директивы необязательны и носят избирательный характер.

Что нужно закрывать директивой Disallow в файле robots.txt

Пример файла роботс для сайта Интернет магазина на движке Веб Асист:

Мы подписали примечаниями не все закрытые от индексации страницы, но, проведя аналогию со своим проектом, Вы сами решите, что закрывать, а что не стоит. Подход для каждого сайта индивидуальный.

User-agent: * - показывает что для всех поисковиков
Disallow: /*results=* #Закрыты все страницы содержащие в адресе results=
Disallow: /*ukey=*
Disallow: */search/ #Закрыты все страницы содержащие в адресе /search/ (Поиск по сайту, обязательно закрывается)
Disallow: */category_search/ #Закрыты все страницы содержащие в адресе /category_search/ (Поиск по категориям, обязательно закрывается)
Disallow: */auth/
Disallow: */cart/ #Корзина сайта магазина
Disallow: */checkout/
Disallow: */feedback/
Disallow: */installer/ #Служебные скрипты сайта
Disallow: */login/ #Вход под логином и паролем
Disallow: */logout/
Disallow: */order_status* #Статус заказа
Disallow: */order_history*
Disallow: */print_form* #Форма для вывода на печать
Disallow: /*ukey=order_status*
Disallow: /*ukey=order_history*
Disallow: */published/SC/html/scripts/
Disallow: *rssfeed.php
Disallow: */published/wbsadmin/
Disallow: */register/ #Форма регистрации пользователя
Disallow: /*show_all #Посмотреть всё в категориях
Disallow: */all/* #Показать всё
Disallow: */vkontakte/*
Disallow: */facebook/*
Disallow: */index.php?productID*
Disallow: */index.php?categoryID*
Disallow: */index.php?shopping_cart*
Disallow: */admin.php #Панель администратора сайта
Disallow: */en/* #Английский язык
Disallow: /index.php$
Sitemap: Указывает адрес карты сайта
Host: Имя вашего сайта