Auf der Mailingliste
und in den Dokumenten sind folgende Abschätzung zu lesen
(Umrechnung mit 1 Monat=20 Tage):
Indexer:
2 Mrd. Seiten / Monat =>1200 Seiten / Sekunde
Indizierung: bei 40 Seiten / Sekunde => 30 Server
Speicherplatz: 2*Mrd Seiten * 20 kB / Seite = ~ 40 TB!!!
40 TB => 40 Server (x86, 1 GB RAM, 1 TB HD)
Bandbreite: 40 TB / Monat =>~ 200 Mb/s
bei 2 Höheneinheiten / Server => 2 Racks
Problem für den
Aufbau einer Suchmaschine aus Sicht des Projekts: