Startseite 
 Einleitung 
 Suchverhalten im Internet 
 Eine perfekte Suchmaschine? 
 Informationsquellen im Internet 
 Grenzen von Suchmaschinen 
 Funktionseinheiten einer Suchmaschine 
 Wie werden Websites gefunden? 
 Grenzen des Crawlers: Deep-Web 
 Problematische Seiten 
 Daten aus Sicht des Parsers 
 Zusätzliche Informationsquellen 
 Geschäftsmodelle für Suchmaschinen 
 Marktanteile 
 Von Google lernen 
 Aktuelle Entwicklungen 
 Bessere Suchmaschinen? 
 Suchmaschinenoptimierung (SEO)  
 Werbung und Webspam 
 Ergebnis-Manipulation 
 Links 
 Kontakt 
Problematische Seiten
Problematische Bereiche für Crawler sind:
    • Fehlerhafte Webseiten (Link-Loops, ungültige Links, Crawler-Traps, ...)
    • Gesperrte Webseiten
    • zu große Anzahl an Dokumenten auf einer Website (ohne Priorisierung)
    • zu langsames Antwortverhalten des Webservers
    • unbekannte Websites
    • Datenbanken (Eingabefelder)

In der Regel ist es ein Problem der Websitebetreiber, ihre Inhalte für Suchmaschinen zugänglich zu machen.
Seitenanfang
22.02.2006