Les tendances ondulantes sur le Big Data, spécialisation ou généralisation ?

Le stockage, le traitement et l'extraction de connaissances précieuses à partir de données ont constitué le cas d'utilisation le plus général des applications commerciales au cours des 40 dernières années. Nous avons assisté à une tendance ondulatoire dans le stockage, la manipulation et l'accès aux données qui se répète encore. Les technologies sont passées d'approches générales à des techniques spécialisées, puis sont revenues à des techniques généralisées et revisitées.
Il y a 15 ans, nous étions à l'apogée de la spécialisation avec les cubes OLAP en tant qu'outils de manipulation de données spécifiques à une application, enracinés dans les Data Marts, alimentés par des outils ETL dédiés et accessibles via des interfaces XML/A. La gestion des connaissances et l'analytique étaient capables de s'adapter aux besoins de l'entreprise. La gestion des connaissances et l'analytique ont pu évoluer grâce à des bases de connaissances très spécifiques et à la dé-normalisation.
Cinq ans plus tard, grâce au passage à l'informatique en nuage et à la disponibilité accrue des ressources, la généralisation est revenue avec des magasins de données distribués et normalisés et des cadres ORM capables d'abstraire la couche de persistance et de diviser intelligemment les ensembles de données, tout en utilisant en dessous notre vieil ami le langage de requête structuré (SQL) - souvenez-vous que Facebook utilisait des bases de données MySQL -.
Les bases de données SQL imposaient toutefois des contraintes ACID qui, dans de nombreux cas d'utilisation, n'étaient pas nécessaires. Notez que toutes les applications ne nécessitent pas l'intégrité référentielle ou des capacités transactionnelles. Il y a 5 ou 6 ans, la spécialisation a donc fait son retour avec l'émergence du paradigme NoSQL. Les magasins de valeurs clés mettant en œuvre la structure Big Table comme Hbase, les magasins orientés colonnes comme Cassandra et les magasins de documents comme MongoDB sont apparus rapidement, démontrant une augmentation des performances de plusieurs ordres de grandeur pour certains types d'applications. Cependant, ces modèles nécessitaient beaucoup de spécialisation, ce qui signifie que, par exemple, une application adaptée à Hbase ne serait pas facilement convertie en une application MongoDB.
Un point clé de ce passage à la spécialisation a été le concept de Map Reduce, qui permet le traitement par lots d'énormes quantités de données pour en extraire des connaissances - en réponse aux approches BI d'il y a 10 ans -.
Au cours des quatre dernières années, la plupart des applications Internet à grande échelle ont stocké leurs données dans un magasin de données NoSQL, mais elles réalisent maintenant que la spécialisation impose une grande restriction à la flexibilité de l'interrogation des données. Impala, Hive, Kiji, Pig, etc. changent à nouveau la tendance, notre vieil ami SQL revient, mais cette fois sur des magasins de données NoSQL.
Pour résumer, les entrepôts de données NoSQL sont très importants pour permettre aux applications Internet d'évoluer, mais il ne faut pas sous-estimer le potentiel des technologies de BI d'il y a 15 ans. Les cubes OLAP sont toujours aussi performants !