- Привет, друзья! Рассказываю про robots.txt простыми словами
- Что за зверь такой — robots.txt?
- Зачем нам вообще этот файл?
- Шесть главных команд, которые нужно знать
- 1. User-agent — для кого пишем?
- 2. Disallow — запрещаем
- 3. Allow — разрешаем
- 4. Sitemap — подсказываем путь к карте сайта
- 5. Crawl-delay — просим не спешить
- 6. Clean-param — убираем дубли с рекламными метками
- Два волшебных символа: звёздочка (*) и доллар ($)
- Как полностью закрыть сайт от индексации (на время)
- Как проверить, что вы всё сделали правильно?
- Готовый файл для WordPress (берите и пользуйтесь)
- Самое частое, что спрашивают новички
- Мои советы начинающим (из личного опыта)
- Что в итоге?
Привет, друзья! Рассказываю про robots.txt простыми словами
Меня зовут Татьяна Чернова, я занимаюсь сайтами и SEO уже много лет. И знаете, что я заметила? Когда начинающие вебмастеры слышат слово robots.txt, у многих округляются глаза. Кажется, что это что-то суперсложное, программистское, куда лучше не лезть. Но на самом деле это один из самых простых и полезных файлов на вашем сайте.
Сегодня я хочу вас с ним подружить. Мы разберём всё по полочкам, без страшных терминов, на живых примерах. К концу статьи вы сможете не только понять, что это такое, но и самостоятельно настроить файл под свой сайт. Поехали!
Что за зверь такой — robots.txt?
Давайте представим. У вас есть сайт — это ваш дом. В нём много комнат: гостиная (главная страница), спальни (статьи), кухня (каталог товаров), а ещё есть кладовка, подвал и техническое помещение, куда гостей пускать не стоит.
Поисковые роботы (Яндекс, Google и другие) — это любопытные гости, которые хотят заглянуть в каждую дверь. И вот чтобы они не шастали где попало, вы ставите у входа швейцара. Это и есть файл robots.txt. Он встречает ботов и говорит:
«Сюда проходите, тут интересно. А сюда не надо — там хлам и ничего полезного».
Файл лежит в корневой папке вашего сайта. Чтобы увидеть его, просто напишите в браузере:https://ваш-сайт.ру/robots.txt
Если видите текст — отлично, файл есть. Если нет — создаём. Делается это в любом текстовом редакторе, хоть в обычном «Блокноте». Сохраняете как robots.txt и загружаете в корневую папку на хостинге (обычно это public_html).
Зачем нам вообще этот файл?
Без robots.txt боты бродят по сайту как хотят. Им всё равно, что индексировать: служебные файлы, технические страницы, корзины, фильтры, дубли, результаты внутреннего поиска. В итоге:
- Поисковики тратят своё время на мусор, а не на ваши лучшие статьи и товары.
- В выдачу попадают страницы, которые пользователям не нужны.
- Сайт в глазах роботов выглядит захламлённым и некачественным.
А нам этого не надо, правда? Поэтому мы пишем для ботов инструкцию: что можно, а что нельзя.
Шесть главных команд, которые нужно знать
Запомните их — это весь язык robots.txt. Всего шесть слов!
1. User-agent — для кого пишем?
Здесь мы указываем, какому роботу адресовано правило.
User-agent: Yandex— только для Яндекса.User-agent: Googlebot— только для Google.User-agent: *— для всех роботов сразу.
Я всегда рекомендую звёздочку. Это универсально и проще. Один блок правил работает для всех поисковиков.
2. Disallow — запрещаем
Это команда, которая говорит: «Не ходи сюда, там ничего полезного нет».
Примеры:
Disallow: /— закрыть вообще весь сайт. Используем только если сайт ещё в разработке!Disallow: /cart/— закрыть корзину в интернет-магазине.Disallow: /search/— закрыть страницы с результатами внутреннего поиска.Disallow: /catalog/?sort=— закрыть все страницы каталога с сортировкой (чтобы не плодить дубли).
3. Allow — разрешаем
Эта команда даёт добро на индексацию. Используется, когда вы хотите открыть что-то внутри закрытой папки.
Пример:
Вы закрыли всю папку /wp-content/, но хотите, чтобы боты видели картинки из папки uploads. Тогда пишете:
text
Disallow: /wp-content/ Allow: /wp-content/uploads/
Теперь робот зайдёт только в uploads, а остальные подпапки проигнорирует.
4. Sitemap — подсказываем путь к карте сайта
Это не команда для роботов, а просто подсказка: «Карта сайта лежит вот тут, посмотрите, чтобы ничего не пропустить».
Пишем одну строчку в любом месте файла:
Sitemap: https://ваш-сайт.ру/sitemap.xml
Очень рекомендую её добавлять. Так боты точно найдут карту и быстрее проиндексируют новые страницы.
5. Crawl-delay — просим не спешить
Если ваш сервер слабоват, можно попросить роботов загружать страницы пореже.
Crawl-delay: 5 — означает «загружай следующую страницу не раньше чем через 5 секунд».
Для большинства сайтов эта команда необязательна, но о ней полезно знать.
6. Clean-param — убираем дубли с рекламными метками
Когда вы запускаете рекламу, ссылки часто выглядят так:https://сайт.ру/page?utm_source=facebook&utm_medium=cpc
Для поисковика каждая такая ссылка — это отдельная страница, хотя содержимое то же самое. Чтобы избежать дублей, используйте:
Clean-Param: utm_source&utm_medium&utm_campaign
Теперь боты будут игнорировать эти параметры и индексировать только чистый адрес.
Два волшебных символа: звёздочка (*) и доллар ($)
Они помогают делать правила более гибкими.
*— заменяет любые символы.
Например:Disallow: /catalog/*?sort=— закроет все страницы, в адресе которых есть?sort=.$— означает конец адреса.
Например:Disallow: /page$— закроет только адрес/page, но не/page/1или/page-2.
Понятный пример:
Disallow: /category/$— закрываем только главную страницу категории.Disallow: /category/*— закрываем все страницы внутри категории.
Как полностью закрыть сайт от индексации (на время)
Допустим, вы только купили домен, переносите сайт или доделываете дизайн. Вы не хотите, чтобы вас видели в поиске до полной готовности. Пишем:
text
User-agent: * Disallow: /
И всё. Ни один бот не зайдёт. Но не забудьте потом убрать эту строчку! Я сама однажды забыла — и сайт простоял в тени три недели. Не повторяйте моих ошибок.
Как проверить, что вы всё сделали правильно?
Лично я пользуюсь инструментом «Анализ robots.txt» в Яндекс.Вебмастере. Это бесплатно и очень наглядно.
Как проверить:
- Заходите в Яндекс.Вебмастер.
- Находите этот инструмент.
- Вставляете адрес сайта и содержимое вашего
robots.txt. - Нажимаете «Проверить».
Система покажет все ошибки и предупреждения. А ещё вы можете проверить отдельные страницы — вводите URL, и инструмент скажет, индексируется он или нет, и если нет — то какая именно директива его закрыла.
Готовый файл для WordPress (берите и пользуйтесь)
Я работаю со многими CMS, но чаще всего с WordPress. Вот шаблон, который я использую сама и рекомендую своим ученикам.
Просто скопируйте, замените ваш-сайт.ру на свой домен и загрузите в корень:
text
User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-json/ Disallow: /wp- Disallow: /xmlrpc.php Disallow: /*? Disallow: /?s= Allow: /*.css Allow: /*.js Sitemap: https://ваш-сайт.ру/sitemap.xml
Что здесь закрыто: все служебные папки WordPress, внутренний поиск, файлы API.
Что разрешено: стили и скрипты — чтобы боты видели сайт красивым.
Подсказка: карта сайта, чтобы новые материалы быстрее попадали в поиск.
Самое частое, что спрашивают новички
Ответ: Проверьте название — оно должно быть точно robots.txt (все буквы маленькие). Убедитесь, что вы загрузили его в корневую папку (обычно public_html). Если сомневаетесь — спросите у поддержки вашего хостинга.
Disallow: /. Как теперь вернуть его в поиск? Ответ: Уберите эту строчку, загрузите исправленный файл и подождите. Поисковики придут снова, но не сразу — может пройти от нескольких дней до недели. Главное — больше так не делайте на работающем сайте.
Ответ: Обычно нет. Если вы используете User-agent: *, правила работают для всех. Яндекс и Google понимают стандартные директивы одинаково. Отдельные блоки нужны только в редких случаях, например, для специфических команд Яндекса (но они уже устарели).
/images/, но картинки всё равно видны в выдаче. Ответ: Robots.txt запрещает индексацию новых страниц, но не удаляет уже проиндексированные. Если картинка уже попала в поиск, её нужно удалять через инструменты вебмастера (Яндекс.Вебмастер или Google Search Console).
Sitemap? Ответ: Не обязательно, но я настоятельно рекомендую. Это ускоряет индексацию новых материалов. Особенно полезно, если карта сайта лежит в нестандартном месте.
Ответ: Да! Если вы поставите # в начале строки, боты проигнорируют её. Это удобно для заметок, например:
text
# Закрываем служебные папки Disallow: /wp-admin/
Ответ: Только когда меняется структура сайта. Добавили новый раздел, который нужно закрыть, — обновили. Удалили старые папки — убрали правила. В остальном он статичен. Но раз в полгода я рекомендую его перепроверять — мало ли, что вы там забыли.
Мои советы начинающим (из личного опыта)
Я видела много сайтов, где robots.txt либо отсутствовал, либо был настроен с ошибками. И в большинстве случаев владельцы даже не знали об этом. Поэтому вот вам три простых совета:
- Не бойтесь править файл. Вы ничего не сломаете, если будете проверять себя через Яндекс.Вебмастер.
- Никогда не закрывайте главную страницу и важные разделы. Проверяйте каждое правило, чтобы случайно не убрать из индекса то, что должно там быть.
- Используйте готовые шаблоны. Для WordPress, Joomla, OpenCart — они уже написаны, берите и адаптируйте под себя. Не изобретайте велосипед.
Что в итоге?
Друзья, robots.txt — это не враг и не сложная магия. Это просто инструмент, который помогает вам и поисковикам работать эффективнее. Он экономит время роботов, скрывает мусор, ускоряет индексацию важных страниц.
Я надеюсь, что после этой статьи вы перестанете его бояться и смело откроете корневую папку своего сайта, чтобы создать или обновить этот файл. Если остались вопросы — пишите в комментариях, я всегда отвечаю.
И не забывайте: следующий шаг после robots.txt — это sitemap.xml и настройка 301 редиректов. Это тоже важные инструменты в руках вебмастера. Но о них я расскажу в следующих статьях.
Удачи вам, и пусть ваш сайт всегда будет на первых местах!
