Файл robots.txt – это текстовый документ, который используется поисковыми системами в качестве инструкции индексации сайта.
Данный документ имеет ключевое значение для поисковой оптимизации. По важности он не менее критичен, чем Title для onpage оптимизации.
Если у вас сайт визитка, то достаточно закрыть в файле административную панель и прописать путь к файлу sitemap.xml
Ну, а, если у вас большой проект с десятками или сотнями тысяч страниц, то попадание большого числа служебных, малополезных и других неинформативных страниц может стать весьма плохим сигналом для поисковиков.
В этой связи, я рекомендую уделять особое внимание настройке robots.txt
По-сути поисковики создали свод правил, согласно которым, вы можете исключить те или иные страницы из поиска. Все правила описаны в справочном центре Яндекс и Google.
Я рекомендую внимательно изучить их, поскольку вариантов инструкций для одной и той же страницы может быть несколько. Вам предстоит выбрать наиболее оптимальный.
Инструкция от Яндекс доступна по ссылке
Также есть инструкция от Google, ознакомиться можно здесь
Бонусом выложу типовой robots.txt для популярного движка WordPress
