Просмотр файла robots.txt

Как увеличить посещаемость Вашего вебсайта - все о поисковых системах: рейтинги, роботы, каталоги, мета, и другое.

Як підвищити відвідуваність Вашого вебсайту - все про пошукові системи: рейтинги, роботи, каталоги, мета, тощо.
postup
Сообщения: 14
Зарегистрирован: Сб мар 05, 2016 8:39 pm
Репутация:
Пол: Не указан
Агент пользователя: Firefox Linux 1920x1080

Просмотр файла robots.txt

Сообщение postup » Вт июл 30, 2019 4:24 am

Здравствуйте! Автоматический анализ моего сайта, проведенный вашим ресурсом, дает такую рекомендацию:
Программист: Для того, чтобы поисковые системы знали, какая версия сайта является основных зеркалом, необходимо прописать адрес основного зеркала в директиве Host. В данный момент это не прописано. Необходимо добавить в файл robots.txt директиву Host. Директива Host задётся в файле 1 раз, после всех правил.

Я понимаю, что файл этот создается автоматически. Как можно его редактировать? Где его найти?
С уважением,
Сергей
apple21
Сообщения: 115
Зарегистрирован: Пт янв 25, 2019 12:27 pm
Репутация:
Пол: Не указан
Агент пользователя: Chrome Windows 1600x900

Просмотр файла robots.txt

Сообщение apple21 » Вт июл 30, 2019 9:18 am

Здравствуйте,

Сгенерировать robots.txt файл Вы можете здесь: https://seolib.ru/tools/generate/robots/ после этого Вам необходимо загрузить его в папку с Вашим сайтом.
Подробнее о директиве host здесь: https://webgyry.info/host-robotstxt
Вы можете отредактировать файл robots.txt с помощью обычного текстового редактора вставив туда необходимые строки.

Вернуться в «Рейтинг»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость