Что делает поисковая система?
Поисковые системы – это цифровые библиотекари. Они используют комплексный индекс, чтобы находить нужную информацию по запросу. Понимание основ поиска поможет вам сделать свой контент видимым для пользователей.
Как поисковые роботы сканируют интернет
Сканирование похоже на чтение всех книг в библиотеке. Прежде чем поисковые системы смогут выдать какие-либо результаты поиска, им необходимо получить как можно больше информации из Интернета. Для этого поисковые системы используют поискового робота – программу, которая переходит с сайта на сайт и действует как браузер.
Если книга или документ отсутствует или поврежден, поисковый робот не сможет его прочитать. Поисковые роботы пытаются получить каждый URL, чтобы определить состояние документа. Если документ возвращает код статуса ошибки, поисковые роботы не могут использовать его контент и могут повторить попытку сканирования URL позже. Это гарантирует, что в индекс попадут только общедоступные документы.
Если роботы обнаруживают код статуса переадресации (например, 301 или 302), они переходят по новому URL и продолжают сканирование. Получив успешный ответ, то есть обнаружив документ, доступный пользователям, они проверяют, разрешено ли его сканировать, и скачивают контент.
Проверка охватывает HTML-код и весь контент, упомянутый в нем, например изображения, видео и код JavaScript. Поисковые роботы также извлекают ссылки из HTML-документов, чтобы перейти по ним. Переходя по ссылкам, поисковые роботы находят новые страницы в интернете.
Роботы не нажимают на ссылки и кнопки, а отправляют URL в очередь на сканирование. При доступе к новому URL файлы cookie, сервис-воркеры и локальные хранилища (например, IndexedDB) недоступны.
Создание индекса
После получения документа робот передает его контент поисковой системе для добавления в индекс. Поисковая система отрисовывает и анализирует контент, чтобы понять его. Отрисовка – это показ страницы в том виде, в каком она отображается в браузере (с некоторыми ограничениями).
Поисковые системы анализируют ключевые слова, заголовок, ссылки, заголовки, текст и многое другое. Эти сигналы описывают контент и контекст страницы. Сигналы позволяют поисковым системам отвечать на любой запрос, показывая наиболее подходящую страницу.
Поисковые системы могут находить один и тот же контент по разным URL. Например, рецепт яблочного пирога может быть доступен по адресам /recipes/apple-pie и /recipes/1234. Чтобы не индексировать и не показывать рецепт дважды, поисковые системы определяют, какой URL должен быть основным, и отбрасывают альтернативные URL, показывающие тот же контент.
Показ наиболее полезных результатов
Поисковые системы не просто сопоставляют запрос с ключевыми словами в индексе. Чтобы результаты были полезными, они могут учитывать контекст, альтернативные формулировки, местоположение пользователя и т. д. Например, запрос "кремниевая долина" может относиться к географическому региону или телесериалу. Но если запрос – "кремниевая долина актеры", то результаты о регионе не будут полезными.
Некоторые запросы могут быть косвенными, например "песня из криминального чтива", и поисковым системам необходимо интерпретировать это и показывать результаты для музыки в фильме. Когда пользователь ищет что-то, поисковые системы определяют наиболее полезные результаты и затем показывают их пользователю. Рейтинг, или порядок, страниц определяется на основе запроса. Порядок может меняться со временем по мере поступления более точной информации.
Дальнейшие действия: как оптимизировать сайт для поисковых систем
Теперь, когда вы понимаете основы работы поисковых систем, вы можете увидеть ценность оптимизации для поисковых систем. Это называется поисковой оптимизацией. Если поисковые системы могут находить и автоматически интерпретировать ваш контент, то ваш сайт будет чаще появляться в результатах поиска по релевантным запросам. Это поможет привлечь на сайт больше заинтересованных пользователей. Проверьте свой сайт с помощью Lighthouse и посмотрите результаты поисковой оптимизации, чтобы узнать, насколько хорошо поисковые системы могут информировать пользователей о вашем контенте.