Два небольших файла решают, что поисковые роботы увидят на сайте. robots.txt говорит, куда роботу ходить не нужно. Карта сайта (sitemap.xml) перечисляет страницы, которые вы хотите видеть в поиске. Ошибка в любом из них может оставить сайт без посетителей из Яндекса и Google, причём внешне сайт будет работать как обычно.
Разберём, что должно быть в этих файлах, какие ошибки встречаются чаще всего и как проверить свой сайт за 15 минут.
Что такое robots.txt
Это текстовый файл в корне сайта, он открывается по адресу ваш-сайт.ru/robots.txt. Поисковый робот читает его первым делом и узнаёт, какие разделы обходить не нужно. Файл состоит из простых строк:
User-agent:к какому роботу относятся правила. Звёздочка значит «ко всем».Disallow:какой путь не обходить.Allow:исключение из запрета.Sitemap:полный адрес карты сайта.Clean-param:директива Яндекса, которая говорит, что параметры в адресе (метки рекламы, сортировка) не меняют содержание страницы.
Простой рабочий пример для сайта услуг:
User-agent: *Disallow: /admin/Disallow: /searchClean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_termSitemap: https://ваш-сайт.ru/sitemap.xml
Важно понимать: robots.txt не защищает страницы. Это просьба к роботам, а не замок. Страница, закрытая в robots.txt, всё равно откроется у любого человека по прямой ссылке, а иногда и попадает в поиск без описания, если на неё ссылаются. Закрытые данные нужно защищать паролем, а не robots.txt.
Что стоит закрыть, а что нет
Обычно закрывают
- Админку и служебные разделы движка.
- Страницы поиска по сайту и результаты фильтров, если их много и они повторяют каталог.
- Корзину, оформление заказа, личный кабинет.
- Тестовые копии и черновые разделы, если они лежат на том же домене.
Нельзя закрывать
- Весь сайт. Строка
Disallow: /закрывает всё. Её ставят на время разработки и забывают убрать после запуска. Это самая частая причина, по которой новый сайт не появляется в поиске. Другие причины разобрали в статье «Почему сайт не находится в Яндексе и что с этим делать». - Стили, скрипты и картинки. Робот должен видеть страницу так же, как человек. Если папки с оформлением закрыты, поиск может решить, что сайт плохо выглядит на телефоне.
- Страницы услуг и статьи. Иногда их закрывают случайно правилом, которое задумывалось для другого раздела. Например,
Disallow: /sзакроет и/search, и/services, и/stati.
robots.txt и noindex: в чём разница
robots.txt запрещает роботу обходить страницу. Метатег noindex в коде страницы разрешает её обойти, но просит не показывать в поиске. Если нужно убрать уже проиндексированную страницу из выдачи, лучше noindex: робот должен зайти на страницу, чтобы увидеть этот тег. Если одновременно закрыть страницу в robots.txt, робот тег не прочитает.
Проверьте, нет ли noindex на страницах, которые должны быть в поиске. Такой тег часто остаётся от тестовой версии или включается галочкой в настройках движка вроде «Скрыть сайт от поисковых систем».
Что такое карта сайта
Карта сайта это файл sitemap.xml со списком адресов страниц, которые вы хотите видеть в поиске. Для каждой страницы можно указать дату последнего изменения. Карта помогает роботу быстрее найти новые страницы и понять, какие из них обновились.
Хорошая карта сайта:
- содержит только рабочие страницы, которые отвечают кодом 200;
- не содержит закрытых в robots.txt и помеченных noindex страниц, черновиков, служебных адресов;
- не содержит адресов, которые перенаправляют на другие;
- использует тот же вариант адресов, что и сайт: https, с www или без, со слэшем или без;
- обновляется сама, когда вы добавляете или убираете страницы.
Последний пункт важен. Карту, сгенерированную один раз онлайн-сервисом и загруженную файлом, через полгода уже нельзя считать актуальной. Лучше, когда её строит движок сайта из базы. На сайте notix-web.ru карта сайта строится именно так: новые страницы и статьи появляются в ней автоматически, а скрытые в неё не попадают.
Дата изменения в карте должна быть настоящей. Если движок ставит всем страницам сегодняшнюю дату при каждом открытии, поиск перестаёт этой дате доверять.
Как проверить свой сайт за 15 минут
- Откройте
ваш-сайт.ru/robots.txt. Файл должен открываться. Найдите строки Disallow и прочитайте каждую: не закрывает ли она нужный раздел. - Убедитесь, что в файле нет строки
Disallow: /без продолжения в секции для всех роботов. - Найдите строку Sitemap и откройте указанный адрес. Должен открыться список адресов, а не ошибка.
- Выберите из карты 5-10 адресов разных типов (услуга, статья, товар) и откройте их. Все должны работать.
- Проверьте, что в карте есть ваши главные страницы: услуги, цены, контакты.
- Откройте код важной страницы (в браузере пункт «Просмотр кода страницы») и поищите слово noindex.
- В Яндекс Вебмастере есть инструмент анализа robots.txt: вставьте адрес страницы и проверьте, разрешена ли она. Там же добавьте карту сайта и посмотрите, сколько адресов из неё принято и есть ли ошибки.
Если сайт недавно переезжал на новый движок или домен, проверка особенно важна: при переносе часто переезжает robots.txt от тестовой версии. Как не потерять позиции при переезде, рассказали в статье «Как перенести сайт и не потерять позиции в поиске».
Частые ошибки
| Ошибка | Чем грозит |
|---|---|
| Disallow: / после запуска | Сайт не индексируется совсем |
| Закрыты папки со стилями и скриптами | Поиск видит страницу сломанной |
| В карте сайта адреса http, а сайт на https | Робот тратит время на перенаправления |
| В карте удалённые страницы | Ошибки в Вебмастере, доверие к карте падает |
| Карта не обновляется | Новые страницы долго не попадают в поиск |
| Слишком широкое правило Disallow | Случайно закрыты услуги или статьи |
| Нет директивы Clean-param | Адреса с метками рекламы считаются отдельными страницами |
robots.txt и карта сайта входят в базовую техническую проверку перед продвижением. Полный список того, что стоит проверить до старта, собран в статье «Как подготовить сайт к продвижению в поиске».
Вопросы и ответы
Нужен ли robots.txt маленькому сайту?
Да. Даже если закрывать нечего, в файле стоит указать адрес карты сайта. Без файла роботы обходят всё подряд, включая служебные адреса движка.
Сколько ждать после того, как я исправил robots.txt?
Робот перечитывает файл регулярно, обычно в течение нескольких дней. Затем ему нужно обойти страницы. Ускорить можно, отправив важные страницы на переобход в Вебмастере.
Можно ли сделать карту сайта вручную?
Можно для сайта из десятка страниц, который почти не меняется. Но придётся помнить о ней при каждом изменении. Если на сайте есть статьи или каталог, карта должна строиться автоматически.
Нужно ли добавлять карту сайта в Google?
Если вам важен поиск Google, да: через Google Search Console, так же, как в Яндекс Вебмастер. Строка Sitemap в robots.txt помогает обоим поисковикам найти карту самостоятельно.
Почему в Вебмастере страниц в поиске меньше, чем в карте сайта?
Карта это приглашение, а не обязательство. Поисковик может не взять страницы, которые считает дублями, слишком короткими или малополезными. Смотрите в Вебмастере причину исключения для каждой страницы.
Нотикс проверяет robots.txt, карту сайта и индексирование в рамках SEO-продвижения и технической поддержки. Если сайт пропал из поиска после переделки, пришлите адрес, и мы посмотрим, в чём причина.
