Was macht eine Suchmaschine?
Suchmaschinen sind die digitale Version eines Bibliothekars. Sie verwenden einen umfassenden Index, um die richtigen Informationen für eine Suchanfrage zu finden. Wenn Sie die Grundlagen der Suche kennen, können Sie Ihre Inhalte für Nutzer sichtbar machen.
So surfen Crawler im Web
Das Crawling ist mit dem Lesen aller Bücher in der Bibliothek vergleichbar. Bevor Suchmaschinen Suchergebnisse liefern können, benötigen sie möglichst viele Informationen aus dem Web. Dazu verwenden Suchmaschinen einen Crawler, ein Programm, das von Website zu Website wechselt und wie ein Browser funktioniert.
Wenn ein Buch oder Dokument fehlt oder beschädigt ist, kann es vom Crawler nicht gelesen werden. Crawler versuchen, jede URL abzurufen, um den Status des Dokuments zu ermitteln. Wenn für ein Dokument ein Fehlerstatuscode zurückgegeben wird, können Crawler keinen Inhalt verwenden und versuchen möglicherweise später noch einmal, die URL zu crawlen. So wird sichergestellt, dass nur öffentlich zugängliche Dokumente in den Index aufgenommen werden.
Wenn Crawler einen Weiterleitungsstatuscode wie 301 oder 302 finden, folgen sie der Weiterleitung zu einer neuen URL und fahren dort fort. Sobald eine erfolgreiche Antwort vorliegt, d. h. ein für Nutzer zugängliches Dokument gefunden wurde, wird geprüft, ob es gecrawlt werden darf. Anschließend werden die Inhalte heruntergeladen.
Diese Prüfung umfasst den HTML-Code und alle darin enthaltenen Inhalte wie Bilder, Videos oder JavaScript. Crawler extrahieren auch die Links aus HTML-Dokumenten, damit der Crawler auch die verknüpften URLs aufrufen kann. Crawler finden neue Seiten im Web, indem sie Links folgen.
Crawler klicken nicht aktiv auf Links oder Schaltflächen, sondern senden URLs in eine Warteschlange, um sie später zu crawlen. Beim Zugriff auf eine neue URL sind keine Cookies, Service Worker oder lokal gespeicherten Daten (z. B. IndexedDB) verfügbar.
Index erstellen
Nachdem ein Dokument abgerufen wurde, übergibt der Crawler den Inhalt an die Suchmaschine, um ihn dem Index hinzuzufügen. Die Suchmaschine rendert und analysiert den Inhalt nun, um ihn zu verstehen. Beim Rendern wird die Seite wie in einem Browser angezeigt (mit einigen Einschränkungen).
Suchmaschinen berücksichtigen unter anderem Keywords, den Titel, Links, Überschriften und Text. Diese werden als Signale bezeichnet und beschreiben den Inhalt und den Kontext der Seite. Anhand von Signalen können Suchmaschinen jede Suchanfrage mit der bestmöglichen Seite beantworten.
Suchmaschinen finden möglicherweise dieselben Inhalte unter verschiedenen URLs. Ein Rezept für Apfelkuchen kann beispielsweise unter /recipes/apple-pie und unter /recipes/1234 zu finden sein. Um zu verhindern, dass das Rezept zweimal indexiert und angezeigt wird, bestimmen Suchmaschinen, welche URL die Haupt-URL sein soll, und verwerfen die alternativen URLs, die dieselben Inhalte enthalten.
Die nützlichsten Ergebnisse liefern
Suchmaschinen tun mehr als nur die Suchanfrage mit Keywords im Index abzugleichen. Um nützliche Ergebnisse zu liefern, werden unter anderem Kontext, alternative Formulierungen und der Standort des Nutzers berücksichtigt. „Silicon Valley“ kann sich beispielsweise auf die Region oder die Fernsehsendung beziehen. Bei der Suchanfrage „Silicon Valley Cast“ sind Ergebnisse zur Region jedoch nicht sehr hilfreich.
Einige Suchanfragen können indirekt sein, z. B. „der Song aus Pulp Fiction“. Suchmaschinen müssen diese interpretieren und Ergebnisse für die Musik im Film anzeigen. Wenn ein Nutzer etwas sucht, ermitteln Suchmaschinen die nützlichsten Ergebnisse und zeigen sie dem Nutzer an. Das Ranking oder die Sortierung der Seiten erfolgt anhand der Suchanfrage. Die Reihenfolge kann sich im Laufe der Zeit ändern, wenn bessere Informationen verfügbar werden.
Nächste Schritte: Optimierung für Suchmaschinen
Nachdem Sie nun die Grundlagen der Funktionsweise von Suchmaschinen kennen, sehen Sie vielleicht den Wert einer Suchmaschinenoptimierung. Das wird als SEO (Suchmaschinenoptimierung) bezeichnet. Wenn Sie dafür sorgen, dass Suchmaschinen Ihre Inhalte finden und automatisch verstehen können, verbessern Sie die Sichtbarkeit Ihrer Website bei relevanten Suchanfragen. Das kann dazu führen, dass mehr interessierte Nutzer Ihre Website besuchen. Prüfen Sie Ihre Website mit Lighthouse und sehen Sie sich die SEO-Ergebnisse an, um zu sehen, wie gut Suchmaschinen Nutzer auf Ihre Inhalte aufmerksam machen können.