Основы SEO. Введение в поисковую оптимизацию - стр. 2

И ALIWEB разрешил владельцам предоставлять свой сайт для включения в поисковый индекс вместе с описанием веб-страниц.

Недостатком было то, что многие люди не знали, что они должны предоставить свой сайт для индексации.

И все современные поисковые системы создали программы, известные как роботы.

И каждая поисковая система использует своего уникального робота.

Эти роботы сканируют Интернет, пытаясь обнаружить новые веб-страницы и документы.

Один из способов, с помощью которого роботы открывают новые сайты, – это ссылки.

Если другой веб-сайт ссылается на ваш сайт, это упрощает путь для робота.

В первые дни Интернета веб-мастерам приходилось размещать свой сайт в поисковых системах, чтобы его могли обнаружить роботы.

Теперь роботы найдут ваш сайт самостоятельно.

И добавление вашего сайта в бесплатных службах, таким как Инструменты Google, поможет в этом процессе обнаружения.

Как только робот обнаруживает новую страницу или сайт, он анализирует весь контент и данные на странице, чтобы определить, о чем идет речь.

Затем сайт добавляется в базу данных.

Каждая страница находится в каталоге, поэтому поисковые системы могут быстро ссылаться на данные при необходимости и возвращать соответствующие результаты в ответ на поисковый запрос пользователя.

Чтобы ускорить процесс, по всему миру расположены центры обработки данных, которые позволяют быстро получать доступ к большому количеству информации.

И работа SCO заключается в том, чтобы понять, что делает веб-сайт релевантным для поискового запроса.

В прошлом поисковые системы смотрели только контент на вашей странице или какие ключевые слова, использовались наиболее часто.

Сейчас поисковые системы стали намного умнее.

И сегодня существуют сотни факторов, влияющих на релевантность результатов поиска.

В свое время был создан стандарт исключения роботов, который устанавливает стандарты того, как поисковые системы должны индексировать или не индексировать контент.

И используя стандарт исключения роботов, веб-мастера могут указывать поисковым системам, какой контент они хотят сканировать и какой контент они хотят, чтобы поисковые системы оставили в покое.

Вы можете заблокировать просмотр роботом всего сайта или только определенных страниц.

По умолчанию вся публичная информация сканируется и публикуется.

К концу 1993 года были созданы три поисковых системы.

Хотя ни одна из них не показала себя достаточно хорошо, чтобы сохраниться.

Jumpstation собирала заголовки веб-страниц и извлекала их с помощью простого линейного поиска.

WWW Worm индексировала заголовки и URL, но отображала результаты только в том порядке, в котором они были обнаружены.