Файл robots.txt – это текстовый документ, который используется поисковыми системами в качестве инструкции индексации сайта.
Данный документ имеет ключевое значение для поисковой оптимизации. По важности он не менее критичен, чем Title для onpage оптимизации.
Если у вас сайт визитка, то достаточно закрыть в файле административную панель и прописать путь к файлу sitemap.xml
Ну, а, если у вас большой проект с десятками или сотнями тысяч страниц, то попадание большого числа служебных, малополезных и других неинформативных страниц может стать весьма плохим сигналом для поисковиков.
В этой связи, я рекомендую уделять особое внимание настройке robots.txt
По-сути поисковики создали свод правил, согласно которым, вы можете исключить те или иные страницы из поиска. Все правила описаны в справочном центре Яндекс и Google.
Я рекомендую внимательно изучить их, поскольку вариантов инструкций для одной и той же страницы может быть несколько. Вам предстоит выбрать наиболее оптимальный.
Инструкция от Яндекс доступна по ссылке
Также есть инструкция от Google, ознакомиться можно здесь
Бонусом выложу типовой robots.txt для популярного движка WordPress
Вот уже несколько лет я занимаюсь геоинформационными проектами. Это достаточно сложная тема, поскольку строятся такие…
В декабре 2020 мы с женой решили съездить на пару дней в Стамбул. Этот город…
Последний свой проект я сделал на Laravel и получил массу приятных впечатлений в процессе разработки.…
Совсем недавно мы решили съездить в Санкт-Петербург просто погулять по городу, посмотреть интересные места. Город…
Первые три года я писал исключительно на нативном PHP, то есть без использования каких-либо движков…
Я пользуюсь почтой Яндекс в ежедневном режиме. Также часто просматриваю ленту в facebook. Каждый день…