← Zurück zu allen Referenzen

Aufbau und Betrieb eines Internet-Crawlers

Zuverlässige Bereitstellung der wöchentlichen Daten.

Zeitraum: 2007 – 2016  ·  Rolle: Berater  ·  Branche: Service-Provider, Start-up

Aufgaben

Aufbau, Wartung und Betrieb eines Hadoop-Clusters mit Internet-Crawler (Apache Nutch, Apache Solr, Java) und wöchentlichen Massendatenauswertungen (Apache Hive).

Eingesetzte Technologien

NutchSolrJavaHiveHadoopBigdata