← Zurück zu allen Referenzen

Crawlen von Massendaten für ein Large-Language-Model (LLM)

Erfassung und Bereitstellung der Daten von bis zu 1 Mrd. Webseiten pro Monat.

Zeitraum: 2012 – 2015 · Rolle: Berater · Branche: Service-Provider

Aufgaben

Crawlen von Massendaten für ein US-amerikanisches Unternehmen.
Aufbau, Installation und Erweiterung der Crawler-Software, Durchführung der Jobs, Tuning des Clusters (Hadoop-Cluster, Apache Nutch, Java, spezielle Export-Applikation).

Eingesetzte Technologien