Часть III/38. Улучшаем ранжирование сайта, не изменяя его контент

Автор: Сергей Кокшаров (Devaka)

Что можно сделать с сайтом, не трогая контент (допустим, в случае, когда нет доступа к администраторской части), чтобы поисковые системы уделяли ему больше внимания и благодарили хорошими позициями в серпе и, соответственно, давали больше траффика? Ниже я привел несколько простых советов, как быстро улучшить позиции своего сайта.

1. Создайте и настройте файл robots.txt

Файл robots.txt, который должен находится в главной папке, может содержать в себе ряд полезных правил:

– Закрытие ненужных страниц (разделов) от индексации роботом.

Все разделы, которые не должны попасть в индекс, например, в случае дублирования контента или разделов, в которые может попасть только авторизованный пользователь (приватный форум) или же админка, необходимо (очень желательно) закрыть в файле robots.txt. При этом, с одной стороны, вы уменьшаете нагрузку на сервер и, с другой стороны, поисковый робот берет только нужный контент.

Пример подобного файла можно посмотреть тут: http://www.yandex.ru/robots.txt.

– Указание пути к xml карте сайта.

Подробней о карте сайта написано в следующем пункте.

– Время задержки между запросами робота.

Яндекс и Bing поддерживают эту директиву – Crawl-delay, которая указывает в секундах задержку между двумя обращениями робота к серверу. Очень полезно, когда робот поисковой системы сильно нагружает сервер. Как эта директива влияет на позиции сайта? Лишь косвенно, влияя на скорость отдачи страниц сервером.

Более подробно о том, как использовать файл robots.txt читайте в разделе помощи яндекса, и также у google.

Вот пример файла robots.txt в одном из самых простых случаев:

#Zdravstvui, robot, dorogoi –

#Golova iz vaty.

#Vot opyat ty k nam prishol

#S vidom vorovatym…

#

#Indeksirui vse podrad

#Pravdy ne skryvaya –

#Chtoby pishno rascvetal

#Saitik nash prekrasniy!

#Chtoby kazhdyi ohlamon

#S silnym zudom pyatok

#Mog vezde naiti legko

#Fotki, fil’mi, babok!

User-agent: * Disallow: crawl-delay: 30