Приручаем поисковых роботов

Как увеличить посещаемость Вашего вебсайта - все о поисковых системах: рейтинги, роботы, каталоги, мета, и другое.

Як підвищити відвідуваність Вашого вебсайту - все про пошукові системи: рейтинги, роботи, каталоги, мета, тощо.
Аватара пользователя
alexbel
Друг Zzz
Сообщения: 145
Зарегистрирован: Пт мар 11, 2016 5:58 am
Репутация:
Откуда: Беларусь
Пол: Мужчина
Агент пользователя: Firefox Windows 1920x1080
Контактная информация:

Приручаем поисковых роботов

Сообщение alexbel » Ср мар 23, 2016 8:17 am

Все пользователи сети интернет любят поисковые системы. Они позволяют им ориентироваться в огромных пространствах сети, помогают найти именно то что им необходимо. Но для владельцев интернет сайтов они могут также стать и головной болью, т.к. поисковые роботы заходя на сайт, имеют одну единственную цель: проиндексировать ваш сайт как можно быстрее и добавить в свою базу данных. Почему головной болью? Да потому что поисковые роботы делают свою работу достаточно быстро и усердно, скачивая страницы вашего сайта с большой интенсивностью. Если на вашем сайте 5 страниц, то нет проблем, все проходит быстро и безболезненно. А если тысячи, десятки тысяч?

На практике это выглядит так: неожиданно в какое то определенное время суток, сайт начинает генерировать большую нагрузку, сервер держит эту нагрузку, до тех пор пока ему позволяют лимиты или возможности, а потом либо сервер падает, либо просто перестает отдавать страницы, а вы получаете от хостинг компании грозные требования прекратить нагружать сервер, переехать на более высокий тариф, и т.д. Что делать в данной ситуации? Заблокировать роботов? Не наш метод. Все просто, роботов можно приручить и сделать их добрыми и пушистыми и заставить их считаться с вами. Для этого нужно обратиться к документации и протоколу управления роботами. Каждая уважающая себя поисковая система уважает разработанные стандарты и следует им. При посещении сайта поисковый робот в первую очередь обращается к файлу robots.txt, который должен находится в корне сайта, этот файл и управляет действиями поискового робота. Итак создаем в корне вашего сайта файл robots.txt и внутри него пишем:

CodeColon Select All Code

User-agent: *
Crawl-delay: 10


Параметр Crawl-delay указывает поисковому роботу чтобы он загружал страницы вашего сайта с интервалом не менее 10 секунд, другими словами просто выдерживал паузу во время индексации страниц вашего сайта. И ваш сайт спокойно индексируется в пределах допустимой нагрузки. Вы можете менять интервал по своему усмотрению, делая его больше или меньше. Но имейте ввиду делая интервал слишком большим, вы замедляете темпы индексации сайта, и индексация проходит гораздо дольше. Все как говорится должно быть в меру.
_________________________
Image

Вернуться в «Рейтинг»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость