Warum wird es Crawler genannt?

Einführung

Haben Sie sich jemals gefragt, warum bestimmte technische Geräte oder Geräte bestimmte Namen oder Begriffe erhalten? Warum heißt zum Beispiel die Suchmaschine Google Google oder die Messaging-Plattform WhatsApp WhatsApp? Warum werden Webcrawler auch Crawler genannt? In diesem Artikel beantworten wir die Frage: „Warum wird es Crawler genannt?“ ausführlich.

Was ist ein Crawler?

Bevor wir uns mit der Geschichte des Begriffs „Crawler“ befassen, wollen wir zunächst verstehen, was er eigentlich bedeutet. Ein Crawler, auch Spider oder Bot genannt, ist ein automatisiertes Programm, das von Suchmaschinen verwendet wird, um Informationen von Webseiten zu sammeln. Die gesammelten Daten werden dann analysiert und indiziert, um eine schnellere und effizientere Suchmaschine für Benutzer zu erstellen.

Suchmaschinen-Crawler oder Spider analysieren den Inhalt von Webseiten und folgen den auf der Seite verfügbaren Hyperlinks, um neue Inhalte für die Indexierung zu entdecken. Dieser kontinuierliche Crawling- und Indexierungsprozess stellt sicher, dass Suchmaschinen-Ergebnisseiten (SERPs) immer aktuell sind und die relevantesten Ergebnisse für Benutzeranfragen präsentieren.

Ursprung des Begriffs „Crawler“

Die früheste Verwendung des Begriffs „Crawler“ lässt sich bis in die Mitte der {0}}er Jahre zurückverfolgen. Damals nutzten einige Suchmaschinen automatisierte Programme namens „Spider“, um die Webseiten zu durchsuchen und zu indizieren. Allerdings war ein effizienteres und leistungsfähigeres Programm erforderlich, um mit den schnell wachsenden Inhalten im World Wide Web Schritt zu halten.

Im Jahr 1994 entwickelte ein Informatikstudent an der University of Washington namens Brian Pinkerton ein Programm namens WebCrawler. Es war die weltweit erste Volltext-Websuchmaschine, die den gesamten Inhalt einer Webseite indizierte und nicht nur die Metadaten oder Schlüsselwörter. Das Programm wurde treffend „Crawler“ genannt, da es Webseiten durchsuchte, indem es Hyperlinks folgte.

WebCrawler gewann schnell an Popularität und inspirierte die Entwicklung mehrerer anderer Crawler und Suchmaschinen wie Lycos, AltaVista und Yahoo! Im Laufe der Zeit wurde „Crawler“ zum Standardbegriff für Web-Robots, die die Webseiten durchsuchten.

Arten von Crawlern

Webcrawler können grob in drei Kategorien eingeteilt werden: Allzweck-Crawler, Spezial-Crawler und Echtzeit-Crawler. Schauen wir uns jeden von ihnen genauer an.

- Allzweck-Crawler: Dies sind die am häufigsten von Suchmaschinen verwendeten Webcrawler. Sie durchsuchen Websites und indizieren den Inhalt, um Benutzern relevante Suchergebnisse bereitzustellen. Beispiele für Allzweck-Crawler sind Googlebot, Bingbot und Yandexbot.

- Spezialisierte Crawler: Diese Crawler dienen zum Sammeln spezifischer Informationen von Websites und werden hauptsächlich in der Forschung und beim Data Mining eingesetzt. Beispielsweise kann ein spezieller Crawler verwendet werden, um Daten über die Preise von Produkten zu sammeln, die von Online-Händlern verkauft werden, oder um Änderungen auf Websites im Laufe der Zeit zu verfolgen.

- Echtzeit-Crawler: Diese Crawler überwachen Websites kontinuierlich auf Aktualisierungen und Änderungen im Inhalt und indizieren die Änderungen in Echtzeit. Sie werden hauptsächlich in der Nachrichten- und Medienbranche eingesetzt, um den Lesern aktuelle Nachrichtenartikel bereitzustellen.

Abschluss

Zusammenfassend lässt sich sagen, dass der Begriff „Crawler“ aus dem Programm WebCrawler stammt, das 1994 von Brian Pinkerton entwickelt wurde. Der Begriff bezog sich auf die Fähigkeit des Programms, Webseiten zu durchsuchen und Informationen zu sammeln, um einen Suchmaschinenindex zu erstellen. Im Laufe der Zeit wurde es zum Standardbegriff für alle Arten von Webcrawlern. Heutzutage kriechen Tausende von Crawlern oder Spidern durch das Web, indizieren Inhalte und stellen Suchmaschinennutzern weltweit Ergebnisse zur Verfügung.