Привет, друзья! Рассказываю про robots.txt простыми словами
Меня зовут Татьяна Чернова, я занимаюсь сайтами и SEO уже много лет. И знаете, что я заметила? Когда начинающие вебмастеры слышат слово robots.txt, у многих округляются глаза. Кажется, что это что-то суперсложное, программистское, куда лучше не лезть. Но на самом деле это один из самых простых и полезных файлов на вашем сайте.
Сегодня я хочу вас с ним подружить. Мы разберём всё по полочкам, без страшных терминов, на живых примерах. К концу статьи вы сможете не только понять, что это такое, но и самостоятельно настроить файл под свой сайт. Поехали!
Что за зверь такой — robots.txt?
Давайте представим. У вас есть сайт — это ваш дом. В нём много комнат: гостиная (главная страница), спальни (статьи), кухня (каталог товаров), а ещё есть кладовка, подвал и техническое помещение, куда гостей пускать не стоит.
Поисковые роботы (Яндекс, Google и другие) — это любопытные гости, которые хотят заглянуть в каждую дверь. И вот чтобы они не шастали где попало, вы ставите у входа швейцара. Это и есть файл robots.txt. Он встречает ботов и говорит:
«Сюда проходите, тут интересно. А сюда не надо — там хлам и ничего полезного».
Файл лежит в корневой папке вашего сайта. Чтобы увидеть его, просто напишите в браузере: https://ваш-сайт.ру/robots.txt
Если видите текст — отлично, файл есть. Если нет — создаём. Делается это в любом текстовом редакторе, хоть в обычном «Блокноте». Сохраняете как robots.txt и загружаете в корневую папку на хостинге (обычно это public_html).
Зачем нам вообще этот файл?
Без robots.txt боты бродят по сайту как хотят. Им всё равно, что индексировать: служебные файлы, технические страницы, корзины, фильтры, дубли, результаты внутреннего поиска. В итоге:
Поисковики тратят своё время на мусор, а не на ваши лучшие статьи и товары.
В выдачу попадают страницы, которые пользователям не нужны.
Сайт в глазах роботов выглядит захламлённым и некачественным.
А нам этого не надо, правда? Поэтому мы пишем для ботов инструкцию: что можно, а что нельзя.
Шесть главных команд, которые нужно знать
Запомните их — это весь язык robots.txt. Всего шесть слов!
1. User-agent — для кого пишем?
Здесь мы указываем, какому роботу адресовано правило.
User-agent: Yandex — только для Яндекса.
User-agent: Googlebot — только для Google.
User-agent: * — для всех роботов сразу.
Я всегда рекомендую звёздочку. Это универсально и проще. Один блок правил работает для всех поисковиков.
2. Disallow — запрещаем
Это команда, которая говорит: «Не ходи сюда, там ничего полезного нет».
Примеры:
Disallow: / — закрыть вообще весь сайт. Используем только если сайт ещё в разработке!
Disallow: /cart/ — закрыть корзину в интернет-магазине.
Disallow: /search/ — закрыть страницы с результатами внутреннего поиска.
Disallow: /catalog/?sort= — закрыть все страницы каталога с сортировкой (чтобы не плодить дубли).
3. Allow — разрешаем
Эта команда даёт добро на индексацию. Используется, когда вы хотите открыть что-то внутри закрытой папки.
Пример:
Вы закрыли всю папку /wp-content/, но хотите, чтобы боты видели картинки из папки uploads. Тогда пишете:
Теперь робот зайдёт только в uploads, а остальные подпапки проигнорирует.
4. Sitemap — подсказываем путь к карте сайта
Это не команда для роботов, а просто подсказка: «Карта сайта лежит вот тут, посмотрите, чтобы ничего не пропустить».
Пишем одну строчку в любом месте файла:
Sitemap: https://ваш-сайт.ру/sitemap.xml
Очень рекомендую её добавлять. Так боты точно найдут карту и быстрее проиндексируют новые страницы.
5. Crawl-delay — просим не спешить
Если ваш сервер слабоват, можно попросить роботов загружать страницы пореже.
Crawl-delay: 5 — означает «загружай следующую страницу не раньше чем через 5 секунд».
Для большинства сайтов эта команда необязательна, но о ней полезно знать.
6. Clean-param — убираем дубли с рекламными метками
Когда вы запускаете рекламу, ссылки часто выглядят так: https://сайт.ру/page?utm_source=facebook&utm_medium=cpc
Для поисковика каждая такая ссылка — это отдельная страница, хотя содержимое то же самое. Чтобы избежать дублей, используйте:
Clean-Param: utm_source&utm_medium&utm_campaign
Теперь боты будут игнорировать эти параметры и индексировать только чистый адрес.
Два волшебных символа: звёздочка (*) и доллар ($)
Они помогают делать правила более гибкими.
* — заменяет любые символы. Например: Disallow: /catalog/*?sort= — закроет все страницы, в адресе которых есть ?sort=.
$ — означает конец адреса. Например: Disallow: /page$ — закроет только адрес /page, но не /page/1 или /page-2.
Понятный пример:
Disallow: /category/$ — закрываем только главную страницу категории.
Disallow: /category/* — закрываем все страницы внутри категории.
Как полностью закрыть сайт от индексации (на время)
Допустим, вы только купили домен, переносите сайт или доделываете дизайн. Вы не хотите, чтобы вас видели в поиске до полной готовности. Пишем:
text
User-agent: *
Disallow: /
И всё. Ни один бот не зайдёт. Но не забудьте потом убрать эту строчку! Я сама однажды забыла — и сайт простоял в тени три недели. Не повторяйте моих ошибок.
Как проверить, что вы всё сделали правильно?
Лично я пользуюсь инструментом «Анализ robots.txt» в Яндекс.Вебмастере. Это бесплатно и очень наглядно.
Вставляете адрес сайта и содержимое вашего robots.txt.
Нажимаете «Проверить».
Система покажет все ошибки и предупреждения. А ещё вы можете проверить отдельные страницы — вводите URL, и инструмент скажет, индексируется он или нет, и если нет — то какая именно директива его закрыла.
Готовый файл для WordPress (берите и пользуйтесь)
Я работаю со многими CMS, но чаще всего с WordPress. Вот шаблон, который я использую сама и рекомендую своим ученикам.
Просто скопируйте, замените ваш-сайт.ру на свой домен и загрузите в корень:
Что здесь закрыто: все служебные папки WordPress, внутренний поиск, файлы API. Что разрешено: стили и скрипты — чтобы боты видели сайт красивым. Подсказка: карта сайта, чтобы новые материалы быстрее попадали в поиск.
Самое частое, что спрашивают новички
Вопрос 1: Я загрузил файл, но по адресу /robots.txt ничего нет. Почему?
Ответ: Проверьте название — оно должно быть точно robots.txt (все буквы маленькие). Убедитесь, что вы загрузили его в корневую папку (обычно public_html). Если сомневаетесь — спросите у поддержки вашего хостинга.
Вопрос 2: Случайно закрыл сайт командой Disallow: /. Как теперь вернуть его в поиск?
Ответ: Уберите эту строчку, загрузите исправленный файл и подождите. Поисковики придут снова, но не сразу — может пройти от нескольких дней до недели. Главное — больше так не делайте на работающем сайте.
Вопрос 3: Нужно ли для Яндекса и Google писать отдельные блоки?
Ответ: Обычно нет. Если вы используете User-agent: *, правила работают для всех. Яндекс и Google понимают стандартные директивы одинаково. Отдельные блоки нужны только в редких случаях, например, для специфических команд Яндекса (но они уже устарели).
Вопрос 4: Я закрыл папку /images/, но картинки всё равно видны в выдаче.
Ответ: Robots.txt запрещает индексацию новых страниц, но не удаляет уже проиндексированные. Если картинка уже попала в поиск, её нужно удалять через инструменты вебмастера (Яндекс.Вебмастер или Google Search Console).
Вопрос 5: Обязательно ли добавлять строчку Sitemap?
Ответ: Не обязательно, но я настоятельно рекомендую. Это ускоряет индексацию новых материалов. Особенно полезно, если карта сайта лежит в нестандартном месте.
Вопрос 6: Можно ли оставлять комментарии в файле?
Ответ: Да! Если вы поставите # в начале строки, боты проигнорируют её. Это удобно для заметок, например: text # Закрываем служебные папки Disallow: /wp-admin/
Вопрос 7: Как часто нужно обновлять файл?
Ответ: Только когда меняется структура сайта. Добавили новый раздел, который нужно закрыть, — обновили. Удалили старые папки — убрали правила. В остальном он статичен. Но раз в полгода я рекомендую его перепроверять — мало ли, что вы там забыли.
Мои советы начинающим (из личного опыта)
Я видела много сайтов, где robots.txt либо отсутствовал, либо был настроен с ошибками. И в большинстве случаев владельцы даже не знали об этом. Поэтому вот вам три простых совета:
Не бойтесь править файл. Вы ничего не сломаете, если будете проверять себя через Яндекс.Вебмастер.
Никогда не закрывайте главную страницу и важные разделы. Проверяйте каждое правило, чтобы случайно не убрать из индекса то, что должно там быть.
Используйте готовые шаблоны. Для WordPress, Joomla, OpenCart — они уже написаны, берите и адаптируйте под себя. Не изобретайте велосипед.
Друзья, robots.txt — это не враг и не сложная магия. Это просто инструмент, который помогает вам и поисковикам работать эффективнее. Он экономит время роботов, скрывает мусор, ускоряет индексацию важных страниц.
Я надеюсь, что после этой статьи вы перестанете его бояться и смело откроете корневую папку своего сайта, чтобы создать или обновить этот файл. Если остались вопросы — пишите в комментариях, я всегда отвечаю.
И не забывайте: следующий шаг после robots.txt — это sitemap.xml и настройка 301 редиректов. Это тоже важные инструменты в руках вебмастера. Но о них я расскажу в следующих статьях.
Удачи вам, и пусть ваш сайт всегда будет на первых местах!
Свою деятельность в инфобизнесе я веду с 2007-го года, обучаю людей созданию блогов, сайтов и слайд-шоу. За это время я подготовила и записала уже больше 30 как платных, так и бесплатных обучающих курсов. Помогаю перейти на удаленную работу и начать зарабатывать, даже если у вас нет опыта и технических навыков. Мои курсы и тренинги.
Как превратить сайт в источник клиентов: 6 способов привлечь посетителей и получать заявки Многие считают, что достаточно создать красивый сайт — и клиенты
Зачем сжимать изображения и как делать это правильно Задумывались ли вы, почему профессиональные веб-мастера и блогеры так много говорят об оптимизации изображений?
У меня есть Одноклассники и ВКонтакте. Зачем мне еще сайт? Этот вопрос я слышу от вас постоянно. Каждый раз, когда на моих консультациях или в личных сообщениях
Этот веб-сайт использует файлы cookie для улучшения взаимодействия с пользователем. Продолжая пользоваться сайтом, вы даете согласие на использование файлов cookie.
