Problematische Seiten
Problematische Bereiche für Suchmaschinen sind:
    • Fehlerhafte Webseiten (Link-Loops, ungültige Links, Crawler-Traps, ...)
    • Gesperrte Webseiten
    • zu große Anzahl an Dokumenten auf einer Website (ohne Priorisierung)
    • zu langsames Antwortverhalten des Webservers
    • unbekannte Websites
    • Datenbanken (Eingabefelder)
    • Breitencrawler oder Tiefencrawler

Für den nur schwer erfassbaren Teil des WWW wurde bereits 1994 von  Dr. Jill Ellsworth  der Begriff  "deep-", "dark-" oder "invisible web" geprägt (siehe http://www.brightplanet.com/deepcontent/).
In der Regel ist es ein Problem der Websitebetreiber, ihre Inhalte für Suchmaschinen zugänglich zu machen.