2012 - 2015
Berater
Service-Provider
Erfassung und Bereitstellung der Daten von bis zu 1 Mrd. Webseiten / Monat.
Beschreibung der Aufgaben
Crawlen von Massendaten für ein US-amerikanisches Unternehmen.
Aufbau, Installation und Erweiterung der Crawler-Sofware, Durchführung der Jobs, Tuning des Clusters (Hadoop-Cluster, Apache Nutch, Java, spez. Export Applikation)
