Поисковые системы и каталоги

Поисковые системы и каталоги - казалось бы, также доступный и простой способ. Но следует помнить, что любые, даже самые популярные, поисковые системы покрывают лишь часть веб-пространства. Время, отведенное для индексирования новой информации, может составлять от нескольких часов до нескольких дней. Для подавляющей части бизнес-задач это непозволительно большое время задержки. Кроме того, в поисковых системах практически отсутствуют архивы документов, которые некогда были выставлены в Интернете, но затем удалены. Поисковые системы редко позволяют определить "новизну" того или иного документа.