Problematische Bereiche für Suchmaschinen sind:
- Fehlerhafte Webseiten (Link-Loops,
ungültige Links, Crawler-Traps, ...)
- Gesperrte Webseiten
- zu große Anzahl an Dokumenten auf
einer Website (ohne Priorisierung)
- zu langsames Antwortverhalten des
Webservers
- unbekannte Websites
- Datenbanken (Eingabefelder)
- Breitencrawler oder Tiefencrawler
In der Regel ist es ein
Problem der Websitebetreiber, ihre Inhalte für Suchmaschinen zugänglich
zu machen.