2015硅谷Strata大会观察：数据库的发展现状与前景

Strata+Hadoop World(SHW)大会是全世界最大的大数据大会之一。

SHW大会为各种技术提供了深度交流的机会，还会看到最领先的大数据技术、最广泛的应用场景、最有趣的用例教学以及最全面的大数据行业和趋势探讨。

SequoiaDB 作为现场的参展商之一，也是中国唯一一家参展的厂商，我们也在展会中着重了解了跟我们的产品息息相关的部分，也就是新型数据库。大会现场不仅有多家参加演讲和展示的数据库厂商，更有许多的数据库资深研发人员和架构师来到现场。为此，我们也总结了一些有关数据库的资讯和未来数据库领域发展的预测。

1. 新型数据库的不断壮大

众所周知，关系型数据库已经出现了近40年，并且在很长一段时间里一直是数据库领域当之无愧的王者。如今，新型数据库，包括NoSQL以及NewSQL两种主要类型，这位后起之秀正在进入越来越多的应用领域。

新型数据库厂商的参加也是本届SHW大会亮点之一，其中有NoSQL界的佼佼者，如Couchbase、Aerospike、Marklogic和 SequoiaDB等，也有NewSQL的许多厂商，如：MemSQL、VoltDB、ScaleDB和CitusDB等等。这些企业在现场和 Cloudera、Hortonworks这些大数据领头羊一样，得到了广泛的关注。

随着“大数据时代”的到来，在高并发、大数据量、分布式以及实时性的要求之下，传统的关系型数据库，因为其数据模型以及预定义的操作模式，在很多情况下不能很好的满足以上的需求,所以新型数据库如今在大数据的场景下，取代了传统关系型数据库成为主导。相信未来随着大数据的发展，新型数据库将会颠覆数据库领域。

正如MemSQL的CTO Eric Frenkiel在主题演讲中说道：“We need a new kind of database to do things we have never done before!”

2. SQL与Hadoop的集成遇到了挑战

值得注意的是，除了NoSQL等新型数据库技术以外，传统的数据库厂商也在寻求能让关系型数据库完美对接Hadoop等大数据架构的方法，但是仍然没有找到能很好解决的方法。

展会上，IBM的工程师们分享了他们在SQL与Hadoop的结合上进行的尝试。其中提到，SQL和Hadoop的对接主要的难点之一是SQL语句如何在 Hadoop上执行，因为Hadoop的文件系统HDFS的设计并不能有效的运行SQL。IBM则正在探究如何更好的解决这一个SQL和Hadoop对接的核心问题。大会上IBM分享的就是基于IBM的BigInsight的BigSQL实现的SQL与Hadoop对接。

同样作为传统RDBMS领头羊的Oracle也在大会上发布了最新版的Oracle BigDataSQL以及Oracle NoSQL等等大数据产品。

这些RDBMS先驱们的这些举动也从侧面说明了，新型的数据库的出现不仅很有必要，而且完全有能力替代很大一部分关系型数据库的应用场景。

3. 大数据架构加强对NoSQL的支持

NoSQL在数据库领域的影响力日渐壮大，领头羊MongoDB，Cassandra和Redis已经在DB-Engine的数据库排名上进入了前十。所以许多的大数据架构、平台也都在越来越强化对于NoSQL数据库的支持。

Cloudera 的CTO, Amr Awadallah 在他的演讲中介绍了未来Hadoop的发展规划，其中很重要的一点就是加强对NoSQL数据库的支持：“We will improve the integration with NoSQL database to make Hadoop more versatile.”

无独有偶，在另外一场主题演讲中，Databricks的CTO Matei Zaharia，也介绍了Spark 在2015年的新的发展方向，包括新增机器学习的流水线功能，R语言的集成，当然也包括了更好的支持NoSQL数据库。

可以看到，NoSQL数据库在大数据生态系统中的作用和地位正在不断的提升，相信在大数据渐渐普及的将来，NoSQL甚至有希望取代关系型成为数据库的先锋。

总结：

数据库作为底层的数据存储和管理工具，是大数据生态系统中不可或缺的一环。传统的关系型数据库已经存在了几十年，虽然有其适合的场景，但是对于大数据的应用下，存在较多的局限性。新型的数据库是本届SHW大会的焦点话题之一。高性能、高可用、灵活的数据结构等等主要特性，都让他成为大数据存储分析的不二之选。所以我也希望大家能更多的关注新型数据库的发展。

原文链接：http://www.oschina.net/news/60468/strata-hadoop-world