Die wogenden Trends zu Big Data, Spezialisierung oder Generalisierung?

Das Speichern, Verarbeiten und Extrahieren von wertvollem Wissen aus Daten war in den letzten 40 Jahren der allgemeinste Anwendungsfall von Geschäftsanwendungen. Wir haben einen wellenförmigen Trend bei der Speicherung, der Manipulation und dem Zugriff auf Daten gesehen, der sich immer noch wiederholt. Die Technologien haben sich von allgemeinen Ansätzen zu spezialisierten Techniken und zurück zu verallgemeinerten mit überarbeiteten Techniken bewegt.
Wenn wir 15 Jahre zurückblicken, befanden wir uns auf dem Höhepunkt der Spezialisierung mit OLAP-Würfeln als Tools zur Manipulation anwendungsspezifischer Daten, die in Data Marts verwurzelt waren, von dedizierten ETL-Tools gespeist wurden und über XML/A-Schnittstellen zugänglich waren. Wissensmanagement und Analytik konnten dank sehr spezifischer Wissensbasen und De-Normalisierung skalieren.
Fünf Jahre später und dank der Verlagerung des Cloud-Computing und der zunehmenden Verfügbarkeit von Ressourcen kehrte die Generalisierung mit verteilten, normalisierten Datenspeichern und ORM-Frameworks zurück, die in der Lage waren, die Persistenzschicht zu abstrahieren und Datensätze intelligent aufzuteilen, während darunter unser alter Freund, die Structured Query Language (SQL), verwendet wurde - erinnern Sie sich, dass Facebook MySQL-Datenbanken verwendete -.
SQL-Datenbanken erzwangen jedoch ACID-Beschränkungen, die in vielen Anwendungsfällen nicht notwendig waren. Beachten Sie, dass nicht alle Anwendungen referentielle Integrität oder transaktionale Fähigkeiten benötigen. Vor 5 bis 6 Jahren kehrte die Spezialisierung mit dem Aufkommen des NoSQL-Paradigmas also zurück. Schlüsselwertspeicher, die die Big Table-Struktur implementieren, wie z. B. Hbase, spaltenorientierte Speicher wie Cassandra und Dokumentenspeicher wie MongoDB tauchten schnell auf und zeigten eine Leistungssteigerung um mehrere Größenordnungen für bestimmte Arten von Anwendungen. Allerdings erforderten diese Modelle viel Spezialisierung, was bedeutet, dass beispielsweise eine auf Hbase zugeschnittene Anwendung nicht ohne weiteres in eine MongoDB-Anwendung umgewandelt werden kann.
Ein wichtiger Punkt bei diesem Wechsel zur Spezialisierung war wiederum das Konzept von Map Reduce, das die Stapelverarbeitung enormer Datenmengen zur Extraktion von Wissen - als Antwort auf BI-Ansätze von vor 10 Jahren - ermöglichte.
In den letzten 4 Jahren speichern die meisten Internet-Großanwendungen ihre Daten in einem NoSQL-Datenspeicher, aber jetzt erkennen sie, dass die Spezialisierung eine große Einschränkung der Flexibilität bei der Abfrage von Daten bedeutet. Impala, Hive, Kiji, Pig, etc. verschieben den Trend wieder, unser alter Freund SQL kehrt zurück, diesmal auf NoSQL-Datenspeichern.
Zusammenfassend lässt sich sagen, dass NoSQL-Datenspeicher sehr wichtig sind, um die Skalierbarkeit von Internetanwendungen zu ermöglichen, aber unterschätzen Sie nicht das Potenzial der BI-Technologien von vor 15 Jahren. OLAP-Würfel rocken immer noch!