Как работает поиск в интернете?

Что такое веб-поиск?
Как работает веб-поиск?
Как поисковые системы определяют «важность» сайта и его соответствие поисковому запросу?

Вы пишите поисковый запрос, нажимаете «найти» и уже через секунду видите результаты поиска с тысячами, а иногда миллионами сайтов. Почему сайты расположены именно в таком порядке? Как поисковая система определяет какой сайт лучше, а какой хуже? Как происходит сканирование и индексирование сайтов?

В этой статье мы разберем как работают поисковые системы. Это полезно знать каждому владельцу веб-сайта.

 

Что такое веб-поиск?


Веб-поиск можно сравнить с оглавлением книги, которая содержит огромный объем информации. Не имея оглавления найти нужную страницу было бы сложно. Веб-поиск работает по схожему принципу: поисковая система постоянно сканирует миллионы веб-сайтов и сохраняет информацию о них в своей базе данных. После того, как Вы отправляете запрос, поисковая система подбирает наиболее релевантные результаты.

 

Как работает веб-поиск?


Пойдем по порядку. Сначала происходит сканирование.

Сканирование — это процесс, в ходе которого поисковые системы обнаруживают новые страницы, а так же обновления на уже известных страницах.

Затем происходит индексирование.

Индексирование. Робот обрабатывает каждую сканируемую страницу и собирает информацию о найденных словах, структуре текста, значениях тегов <title>, <H1>, <alt> и других. Поисковые роботы способны обрабатывать многие типы содержания, за исключением некоторых файлов мультимедиа.

Результаты поиска.

После того, как пользователь вводит поисковый запрос, система подбирает наиболее соответствующие результаты и выводит их в качестве ссылок с описаниями. Соответствие (релевантность) определяется большим количеством разных факторов. Google насчитывает более 200 таких факторов.

Одним из основных факторов является PageRank — числовая величина, выражающая «важность» страницы. Пэйдж-ранк рассчитывает на основании количества и качества ссылок на сайт с внешних ресурсов. Чем больше внешних ссылок на сайт, тем более он «важен». Но роль играет не только количество ссылок, но и их «вес». Наибольший вес имеют ссылки с сайтов, содержимое которых связано с содержимым сайта на который они ссылаются.

Поисковые системы, так же оценивают качество информации содержащейся на сайте и определяют какие сайты наиболее полезны и соответствуют поисковому запросы.

Основываясь на анализе большого количества факторов, сайту/странице присваивается определенный рейтинг. Страницы с более высоким рейтингом выводятся первыми в результатах поиска.

Историческая справка: Первой компьютерной программой для поиска в Интернете была программа Archie, созданная студентами, изучающими информатику в университете Макгилла в Монреале — Аланом Эмтэджем, Биллом Хиланом и Дж. Питером Дойчем. Программа скачивала списки файлов со всех доступных FTP-серверов и составляла базу данных, в которой можно было осуществлять поиск по именам файлов.

 

Как поисковые системы определяют «важность» сайта и его соответствие поисковому запросу?

Список факторов ранжирования поисковых систем:

  • Возраст домена
  • История домена
  • Заголовки страниц
  • Заголовки <h1> — <h6>
  • Атрибуты <title> для ссылок
  • Мета-описания страниц
  • Плотность ключевых слов
  • Количество текста на странице
  • Уникальность контента
  • Частота обновления сайта
  • Исходящие ссылки на авторитетные сайты
  • Количество внутренних ссылок
  • Ошибки в тексте
  • PageRank (индекс цитирования)
  • Скорость загрузки сайта
  • SSL-сертификат
  • Адаптивность дизайна сайта
  • Юзабилити сайта
  • Отзывы о сайте
  • Поведенческие факторы
  • и еще десятки факторов, о которых мы подробно расскажем в следующей статье.

 

Интересно: Самой крупной поисковой системой в мире является Google. Гугл занимает 77,05 % рынка и обрабатывает 41 млрд 345 млн запросов каждый месяц. (Согласно данным с сайта netmarketshare.com).

Поисковая система Google была создана в качестве учебного проекта студентов Стэнфордского университета Ларри Пейджа и Сергея Брина. В 1996 году они работали над поисковой системой BackRub, а в 1998 году на её основе создали новую поисковую систему Google (История Google на сайте компании)