大数据的波浪式趋势，专业化还是泛化？

在过去40年的商业应用中，从数据中存储、处理和提取有价值的知识是最普遍的用例。我们看到数据存储、操作和访问的波浪式趋势仍在重复。技术一直在从通用的方法到专门的技术，再回到通用的与重新审视的技术。
回顾15年前，我们正处于专业化的高峰期，OLAP立方体作为操作特定应用数据的工具，根植于Data Marts，由专门的ETL工具提供，并通过XML/A接口访问。知识管理和分析得以扩展，这要归功于非常特殊的知识基础和去标准化。
五年后，得益于云计算的转变和资源可用性的提高，泛化又回来了，分布式的、规范化的数据存储和ORM框架，能够抽象持久层，智能地拆分数据集，同时在下面使用我们的老朋友结构化查询语言（SQL）--还记得当时Facebook使用的是MySQL数据库。
然而，SQL数据库却在强加ACID约束，而在很多用例中，这些约束是不必要的。请注意，并不是所有的应用都需要参考完整性或事务处理能力。所以5到6年前，随着NoSQL范式的出现，专业化正在回归。实现大表结构的键值存储（如Hbase）、面向列的存储（如Cassandra）和文档存储（如MongoDB）迅速出现，显示出对于某些类型的应用，性能提高了几个数量级。然而，这些模型需要大量的专业化，这意味着例如一个为Hbase量身定做的应用将不容易转换为MongoDB应用。
再次转向专业化的一个关键点是Map Reduce的概念，实现了对海量数据的批量处理以提取知识--作为对10年前BI方法的回答。
在过去的4年里，大部分互联网大型应用都将数据存储在NoSQL数据存储中，但现在他们意识到专业化对查询数据的灵活性有很大的限制。Impala、Hive、Kiji、Pig等再次转变了趋势，我们的老朋友SQL又回来了，这次是在NoSQL数据存储上。
综上所述，NoSQL数据存储是非常重要的使互联网应用得以扩展，然而，不要低估15年前的BI技术的潜力。OLAP立方体依然震撼!