导读：日前，在星环大数据技巧峰会上，星环的资深架构师吕品分享了《创新架构推动大数据的行业利用》的主题演讲，小编为大家推出了速记版干货！

以下为全文：

今天重要给大家介绍用hadoop做创新的架构在各个行业中的利用。首先，我想先简略的介绍一下星环的产品，以便于大家更好懂得后面的这些利用是如何构建的。

可以从图中看到，这就是星环的全部产品架构，下面浅蓝色的部分是基础服务，比如常见的HDFS，存储数据的模块；比如YARN，管理资源的模块；剩下的部分是hadoop生态圈的其他组件，这些部分构成了我们的基础模块。而我们真正的产品是上面的四大块，这四个产品分辨面对着大数据的四个问题，Inceptor应对数据量大的问题；Discover应对数据发掘方面的问题；Hyperbase重要应对数据检索方面的问题，以及多种数据类型的存储问题；Stream应对的就是实时的问题。最后还有一个叫做Guardian的模块，意思就是守护者。这个平台在大公司里要供很多部门一起应用的，存在多租户的问题，所以这个Guardian专门用来认证用户身份，管理各个数据资源的权限。

Inceptor的特点是供给把hadoop包装成类似数据库的东西供大家应用。对外供给SQL接口，我们现在对SQL2003的支撑程度达到99%，也就是基础不需要做什么修正就可以把传统的关系型数据库迁移到星环的产品上。实际上的案例就是，我曾经面对过8万多行的SQL，如果要把它重做成hadoop的利用，需要消费很多的时间，但最后迁移到我们的产品上只花了1个月不到的时间，由此可见我们的兼容程度是很高的。除此之外我们还供给PL/SQL的功效，例如银行的大批业务模型是写在oracle里面的PL/SQL里面的，迁移到我们的平台上只需要1-2个月的时间。除此之外，我们还供给增删改查的功效，开源hadoop是没有的。

Discover，就是供给数据发掘服务的。其实现在数据发掘的利用处景越来越多，很多新的利用都是基于数据发掘构建的。一些老的技巧已经比较成熟，而Discover可以赞助客户去发掘出一些新的模型，运用他们进一步提升业务的价值。比如一些用户画像，推荐系统等等都可以放在这一块。

Hyperbase重要是对象存储。以前可能结构化数据占80%-90%，但现在非结构化数据越来越多，特别是互联网，非结构化数据占到60%-70%，例如图片和视频，其实它们都是很有用的，像这一类的数据存在我们的平台上是非常方便检索的。

Stream流处理，能够处理数据量很大，又需要实时的接入进来。很多数据需要实时处理才有价值。举个例子，一辆车已经上了黑名单，那就需要摄像头拍到它的时候尽快通知拦阻，但是如果数据没有实时处理，而是事后反馈的话，这辆车早就不知道跑到哪里了。所以我们的Stream会实现实时的处理，而且星环对Stream这个组件进行了加强，我们的产品只需要用SQL去操作就可以了，节俭了很多开发成本。

以上就是我们的第一条产品线TDH。接下来我们的第二条产品线是TOS，我在这里只做简略的介绍。刚刚提到多租户的问题，现在的企业特别是大企业，数据量很大，他们千辛万苦的做出一个平台，盼望每个部门都可以利用起来的。我们的TOS就是应对多租户的问题，把所有的硬件资源都管理起来，需要新利用的时候，只需要在TOS上申请一个新的容器和必定的盘算资源，我们就可以把discover等等放进这个容器里，之后就可以直接运行起来。

最后我们的第三条产品线，录音整理，速录公司，我们不仅有软件产品，北京速记公司，还有硬件产品，就是超融合一体机TxData。它是搭载我们的TDH和TOS的，它是预装产品，出场之后就可以快速交付，客户拿到手就可以立刻用。星环针对软硬件进行了特别的优化，性能相比价格来说，优化了2倍以上。那么总体来说，它是可以降低成本的。

▷接下来介绍几个行业案例：

1、数据仓库的案例