4.7 Offizielle Rahmendaten
Auf der Mailingliste und in den Dokumenten sind folgende Abschätzung zu lesen (Umrechnung mit 1 Monat=20 Tage):
  • Ziel: Indizierung von 2 Mrd. Seiten
  • Frontend:
    • max. 20 Mio. Seiten / Frontend-Server (x86, 4 GB RAM)
    • Empfehlung: 100 Mio Seiten  (bei 2 Suchanfragen/s) => mind. 20 Server
    • bei 2 Mio. Seiten/Server sind 50 Suchanfrage/s möglich
  • Indexer:
    • 2 Mrd. Seiten / Monat  =>1200 Seiten / Sekunde
    • Indizierung: bei 40 Seiten / Sekunde => 30 Server
    • Speicherplatz: 2*Mrd Seiten * 20 kB / Seite = ~ 40 TB!!!
    • 40 TB =>  40 Server (x86, 1 GB RAM, 1 TB HD)
    • Bandbreite: 40 TB / Monat =>~ 200 Mb/s
    • bei 2 Höheneinheiten / Server => 2 Racks
 
Problem für den Aufbau einer Suchmaschine aus Sicht des Projekts:
  • Installation und Integration der Systems
  • Monitoring und Management von ca. 100 Servern
  • Betriebskosten
Seitenanfang