the "good old days"
Ein Beispiel
C++ (gcc 2.95)
Mysql
Letztes Release von 2004
Monolitischer Crawler
Algorithmen lange bekannt
URL-Liste / Datenbank
Workflow: - Laden - Parsen - Indizieren - Ranken
Suchindex
Grenzen des Wachstums
Hardware: CPU / RAM / Disk I/O
Rechenzentrum: Bandbreite, Wärme, Strom
Zeit..... "Wie lange wollen wird denn heute warten?"
Perfekter Ansatz für spezielle Aufgaben
Gut geeignet für überschaubare Datenmengen
Deterministische Ergebnisse
Sackgasse
Skalierung über Hardware
Indizierung zu großer Datenmengen
2011: Was ist geblieben?
Verfahren sind immer noch aktuell (und werden es wohl immer bleiben)
Aktuelle Software z.B.:
Unbenannt
Java-Bibliothek zur Indizierung und Suche (tf-idf-Indizierung)
Unbenannt
Suchplattform, basierend auf Lucene
Beispiel: Use-Case Wikipedia-Auswertung
Beispiel: Use-Case Twitter-Aggregator
Aktuelle Entwicklungen
Cluster
Cloud
Unbenannt
Am Anfang - ein Crawler für Lucene
Beispiel: Ablaufskizze
Unbenannt
Beispiel: Use-Case News-Aggregator inkl. Alarmierung
Keimzelle für Hadoop
....
Viele weitere Entwicklungen
Der "Google Ansatz"
Problem
Komplexe Algorithmen
Großer Bedarf an Rechenleistung
Skalierung, Skalierung, Skalierung
Ausgangspunkt
1.) Lieber viele billige PCs statt einer E10K
2.) Es müssen nicht immer 100% sein
3.) Hardware ist NIE perfekt - sie fällt aus
Lösung
The Google File System Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung http://labs.google.com/papers/gfs.html
19th ACM Symposium on Operating Systems Principles, Lake George, NY, October, 2003.
MapReduce: Simplified Data Processing on Large Clusters Jeffrey Dean and Sanjay Ghemawat http://labs.google.com/papers/mapreduce.html
OSDI'04: Sixth Symposium on Operating System Design and Implementation, San Francisco, CA, December, 2004.
Zusammengefasst
Fehler akzeptieren
Daten replizieren
Ein (alter) neuer Algorithmus
Kopiere Programme - nicht Daten
Ein neuer Weg
Doug Cutting
Unbenannt
Unbenannt
Unbenannt
HDFS
Beispiel:HDFS
Unbenannt
Map-Reduce
Beispiel:Map-Reduce - Algorithmus
Unbenannt
Beispiel:"Wordcount"
Datenblöcke -> Mapper
Ergebnis Mapping: (word, 1)
Shuffle & Sort: alle "word" zu einem Reducer
Reducer: Summiere alle Einträge auf
Beispiel:Map-Reduce - Hadoop-Streaming-API
Beispiel:Map-Reduce - Java
Hadoop-Ecosystem
Unbenannt
Datenauswertung
SQL -> MapReduce
PIG
Datenauswertung
Funktionale Sprache -> Mapreduce
Zookeper
Clustermanagement
Unbenannt
OLTP für HDFS
...... u.v.a.m.
Empfehlungen für die Praxis
Klassisch oder MapReduce?
Datenbank oder HDFS
Integration von Suchmaschinen
Wenn Hadoop...
Master: Qualität - Slaves: Quantität
Möglichst symmetrische Server (Slaves)
Netzwerk beobachten
Server-Monitoring (RAM, I/O, Diskspace)
Laufzeit bedenken und zeitliche Spielräume einplanen!
Backup /Recovery von Daten
Suchmaschine "out of the box"
YaCy
Zur Person
Michael Nebel michael@nebel.de
netluchs.de
Unbenannt
Unbenannt
Unbenannt
Unbenannt
Unbenannt
SuMa Awards 2011 http://www.suma-awards.de/ - Einreichungen bis 30.6.2011! - bis zu 3.000 € je Preis - thematisch offen
SuMa-Kongress 2011 http://suma-ev.de/forum2011 28. September 2011 - Berlin
Über
Titel
"Suchmaschinen"
Thema
-
Firma
-
Autor
-
Version
79
Kommentare
-