9月13日晚，由数据科学研究院主办，国双科技、清华大数据产业联合会承办的2016秋季学期首场清华大数据“利用·创新”系列讲座，在清华大学FIT楼多功效厅顺利举办。本场讲座邀请到了国双联合开创人、国双副总裁黄勇坚，通过实战利用案例对Lambda架构进行了全方位解读。演讲时长两个多小时，全场满满干货。

以下文字均基于黄勇坚演讲速记，可自行脑补画面。

Google、微信之后是什么时代？

回想全部IT技巧发展过程，它始终是以促使人类办事更加容易，生活更加方便为发展趋势的。

上个世纪40年代以来，根据冯•诺依曼架构、图灵理论而造出了盘算机。初心其实是为了打仗，盘算原子弹路径千万别跑偏，北京速记公司，当时需要宏大的人工的盘算量，但二战期间人力有限。IBM的神话由此出身。

随着时代的发展，除了盘算，人们还产生了办公、娱乐等诉求。于是盘算机逐步个人化、微型化。那个年代成绩了微软、英特尔这样的巨头。

后来进入互联网时代，Google这样转变世界的企业应运而生，紧随其后的还有微信这样的移动互联网神器。如今，当盘算世界进入到“大数据”时代，又会涌现什么样的传奇呢？

为什么说近十年才是“大数据”的时代？当年比尔·盖茨靠Windows起家难道就没人提“大数据”吗？ 十年前，当我们想去一个处所却不知道路怎么走的情况下，速录公司，还会依附纸质地图。如今可以直接用百度、高德地图随时导航。十几年前并非没有“数据”，也不是没有需求，而是在全部业态里面，没人有能力收集起来这些数据，“大数据”又从何谈起呢？

中国大数据的两条腿

本质上，大数据技巧是以解决业务问题为导向的。国双科技这家公司的文化也是一样以客户为中心，利用“大数据”赞助客户去解决业务问题，同时创造新的问题，以此也可以驱使技巧进步。

中国的技巧市场比较偏利用，各种基于大数据的利用满天飞，但是做底层做框架的公司并不多。另一方面，由于中国互联网用户数量宏大，大数据的利用又在不断产生新的数据。

为了能够用好这么海量的数据，中国的大数据行业需要两方面的人才，第一类是业务人才，第二类是技巧人才。首先，“大数据”需要解决业务问题，业务专家必不可少。其次，相干专业的技巧人才所做的的研究也不可或缺。因此“大数据”这个领域将会是一个非常宽广的就业市场。

大数据解决四类问题

“所有的技巧的发展是为懂得决业务问题，解决人们的衣食住行等生活问题，使人类社会变得更加美好”。用抽象的方法做个归类的话，基础可以归为四大类：

【描写性分析】：产生了什么？

【诊断性分析】：事情产生后，分析为什么会产生？

【预测性分析】：控制规律，预测下一次什么时候产生？

【分析利用】：根据已经产生的事来解决实际问题，增进业务的发展。

奥运会上的大数据

在奥运会期间，全球数以亿计的观众会通过例如电视、PC，安卓等多个平台对照赛进行观看，这样就产生了跨区域、跨平台的海量数据。这时，国双通过技巧赞助CNTV（中国网络电视台）进行“用户播放行动分析”。比如某个赛事在北京的收视率如何，各类终端占比是多少。

商用大数据的最低配置

类似奥运会的商用“大数据”系统有哪些必须满足的性能呢？

第一，高可用性。系统里的这些组件可能会随时挂掉一个，速录公司，或者若干个，我们必须保证系统还要能正常的工作；

第二，可伸缩性。系统可以通过横向扩容去加机器，去解决数据量增大的问题。

第三，容错性。如果程序出了毛病之后，要易于恢复；

第四，高性能。要做到实时且快速反响，不能半天才出来成果。

大数据领域的最基础问题与解决之道