Die immer umfangreicheren Logdateien der Webportale und die ständig wachsenden Datenmengen der Suchmaschinen haben meine Kunden und mich im Laufe der Zeit vor immer neue Herausforderungen gestellt. Die gewählten Werkzeuge haben sich alle 5 bis 10 Jahre von speziellen C++--Programmen über Oracle Datawarehouses zu Hadoop, MapReduce und Hive bis zu NoSQL-Datenbanken gewandelt. Die gesuchten Antworten und Rahmenbedingungen haben sich auf der anderen Seite aber wesentlich langsamer verändert.

Die technischen Möglichkeiten unterliegen einem permanenten Wandel. Wenn es vor zehn Jahren für ein großes Webportal nicht mehr möglich war, die Logdateien  eines Tages auf einer (bezahlbaren) Maschine innerhalb von 24 Stunden auszuwerten, so haben heute teilweise Smartphones eine Rechenleistung, die die damaligen Rechner überflügelt. Die Geschwindigkeit der Festplatten oder die verfügbare Netzwerkbandbreite hat sich auf der anderen Seite nicht im gleichen Maße entwickelt. Daher ist es sinnvoll immer die "ganze" Entwicklung im Blick zu behalten (auch wenn das nicht immer möglich ist).

Die schnelle Wandlung der bezahlbaren Techniken - weniger technologisch sondern auch kaufmänisch - macht es schwer, individuelle Antworten über Standard-"Rezepte" zu finden. Best Practices, das Internet und Lehrbücher können zwar Ideen liefern. Marketing Buzzwords dienen dabei aber ehr dazu einen höheren Preis zu begründen als wirklich einen Mehrwert zu liefern. Wichtiger ist aber die individuelle Definition der Anforderungen, die Erfassung und Dokumentation der vorhandenen Daten und die Entwicklung einer "wandelbaren"/wachsenden Plattform.

Ich habe in den letzten Jahrzehnten viele Entwicklungen erleben und überleben dürfen. Erste Überlegungen und Anforderungen haben oft die Konfrontation mit der Realität nicht überlebt, während Phantasien und Träume als Nebenprodukte realisierbar wurden. Ich biete Ihnen gerne meine Hilfe und Erfahrungen an, um auch für Ihre Daten eine verantwortungsvolle, bezahlbare und zukunftssichere Auswertung aufzubauen.