2015(第二届)中国大数据产业发展大会于12月2日在北京国宾酒店成功召开，在大会的分论坛——“大数据核心技巧与行业利用创新”论坛上，北京数介科技有限公司总经理江舟发表主题为《大数据时代的企业事件新定义》的演讲，以下为演讲实录。

　　大家好，我是数介科技开创人江舟，我演讲的标题是大数据时代的企业事件新定义。

　　大数据时代我们对数据的规范和流程是怎么做的，以前怎么做的，这些文字不是我想细说的，只是说提这个理念出来，想阐明企业大数据时代发展，数据完整性、时效性、跨数据的利用，还有IT建设的信息程度，取决于企业大数据发展的状态和阶段。

　　企业做大数据有几个通用的问题，我们之前做大数据是运营数据、业务数据做聚合进行单向分析，我认为企业大数据是全数据的分析。这里面包含网络、操作系统、安全设备、利用软件。之前说的数据分析更多集中在利用软件，但是大数据时代，我们盼望企业能够做到全量数据分析，基于这些数据的采集，这是一个基础。仅安全层面，就有防火墙、IPS、IDS、WAF等等，还分不同的厂商，采集这种方法对企业来讲是非常大的难点和痛点。这是企业大数据发展碰到的第一个问题。

　　再就是分析难，从运维的角度，从运营的角度，业务的角度、企业公司高管的角度分辨会提出这样的问题。投诉是什么引起的？故障定位，什么带来的故障，从哪儿着手解决这个问题。以前是工程师请给我一周时间，我需要逐层逐台排查，耗时耗时。做数据分析，企业分析需要固定的模板、报表，想做一个变更的维度，需要工程师做开发，从需求到设计，到编程到测试，最后到上线交付，非常烦琐。实时，因为技巧的发展带来一个很大的优势，所有数据通过管道流的方法做实时处理，从产生数据到最后数据分析检索，这个我们需要秒级可以做出来的。Hadoop就是在线的数据分析工具。处理量级，速录公司，之前数据分析的时候，企业很难分析TB级别的数据，现在Hadoop、OLAP出来之后就可以分析了。这是我总结的数据分析难的处所，故障定位难，分析成本高，数据延时性差，扩大新差。

　　企业目前应对的策略，涌现问题，启动流程，寻找厂商，定位问题，解决问题，形成报告，这是一个环状体。耗时耗力，这个完整取决于厂商人员素质。这是企业解决问题碰到一个很正常的流程和现象，我们认为这种方法在目前大数据时代，企业内部数据分析解决不了，或者响应延迟，体验并不好的一个过程。

　　企业内部做大数据处理或者运维、业务分析、监控等等，碰到了问题，我们都是基于行日志做处理。实际上对于企业业务发展或者IT建设发展，单一行业数据处理，并且贯穿应用。业务系统涌现了一个访问IP，很多人第一时间就是外部服务器挂了。根据我们经验来看，其实并不是这么简略，有可能是安全设备设置组塞，有可能是数据库锁逝世，有可能是网络故障，有可能是防火墙故障等等，这些问题集合在一起，作为一个事件，我们叫EVENT，这里面过滤、归并、补全，把几个层面日志聚合在一起是标准的事件过程。

　　有了事件之后就有了要害事件的处理，RET。任何故障或者非正常现象的产生，都是有事件拐点，这个拐点有可能涌现在本身，有可能涌现在防火墙、网络、数据库或者操作系统等等。这个拐点的产生并没有对你的系统产生最直接的影响，它只是一个现象，北京速记，但是这个现象后面会延伸出各种各样的问题。对于这个问题带来问题的解决方案的规律。RET就是盼望在异常点产生之前通过拐点的分析，就能找到这个问题的定位。

　　举例，我们在银行做了一个case，风扇挂了，看似没有太大的影响，但是风扇挂了导致服务器负载更高，导致业务系统崩溃或者瘫痪，或者访问时效性越来越低，从表性来看就是业务系统不行，实际上是风扇结束运转就是这个事件的拐点，就是RET事件。

　　企业内部做数据分析或者大数据建设的时候需要具备哪些特点或者特征，我们总结了四个方向。一是数据才具全量，数据采集不全量，带来的分析是片面的或者是信息孤岛，对于结构和半结构数据都需要统一采集、管理和存储，为积累数据储存弹药。二是实时响应处理，数据采集实时，数据查询检索实时，数据模型实时利用，通过拐点可以更早的知道企业服务到底状态是什么样的，或者事先于用户来知道，及时保障服务的问题。三是应用机动简便，我们赞助企业把模型和数据分析的维度写好，企业不需要思考我的利用有哪些不一样，或者直接用就可以了。但是现在企业发展速度非常快，如果按照传统软件的模式写成模块，它是延迟的，没法机动的调剂。我们大数据处理平台必定要是应用机动的，还支撑SQL、API以及SDK等，随时调剂可视化的图表结构，避免业务僵化模式带来调剂不便变形。四是简略管理把持，怎么安装，怎么掩护，怎么管理，任何在企业内部的大数据产品必须做到一键安装，简略安排，组件式的架构，乐高积木一样，通过拼接的模式实现工具模块的组合，满足客户在企业内部的需求。