百分点技术负责人谈大数据操作系统

　去年9月，百分点公司发布了“全球首款”大数据操作系统BD-OS（基于Lambda架构）。日前，百分点技术副总裁刘译璟和百分点BD-OS产品高级研发总监线刘国栋接受CSDN记者采访，结合BD-OS的设计、研发和架构，对大数据技术演进及应用实践的趋势进行了解读。
　　所谓“全球首款”，意味着Hadoop、Storm、Spark等当前主流大数据技术的相关从业者几乎听说过“大数据操作系统”的存在（之所以说“几乎”，是因为Intel曾把Hadoop视为大数据操作系统，Apache Hadoop的一位committer联合创立的海绵数据公司也曾推出一款名为Sponge的大数据操作系统，但百分点认为BD-OS首先实现了理论的突破）。那么，BD-OS的研发的意义何在？在百分点看来，一言蔽之，就是填补底层技术到数据应用之间的鸿沟。基于百分点的实践，刘译璟和刘国栋从大数据生命周期的角度阐述了这个核心观点，并介绍了BD-OS的一些应用案例。
　　百分点眼中的大数据
　　刘译璟介绍了百分点对大数据的认识。他认为，在整个信息化的方向上，有五个大的趋势：云计算、大数据、物联网、社会化和移动化。在这个数据世界里，大数据处于大脑的地位，要把这些数据进行收集加工转化成信息，甚至转化成知识，最后再通过物联网的技术反馈到现实世界中，不断地产生更多的价值。
　　大数据最核心的技术是跟人工智能的相关知识是紧密相关的，包括知识表示、自然语言理解、机器学习，还有相关的图象语音识别、机器人，这都属于这个范围，但是为了实现人工智能，特别是机器学习，要处理相当多的数据需要有一些足够坚实的底层架构来支持。像Hadoop技术的诞生，原因就是在搜索相关的智能应用里，原有的技术不能支撑了，所以说，大数据的发展一定是跟着业务或者跟着智能化的技术发展的。
　　整个大数据的产业主要分成四个方面，第一是底层的基础技术和基础架构。第二是在基础架构上构建各种分析的无论是算法模型等等。第三层次，在分析之上更多结合到行业和业务的应用。当然还有很重要的一点是这里面产生的数据。BD-OS主要偏向于基础软件的层次，但是包含了很多分析应用方面的工具。
　　整个大数据产业的趋势发展有六个特点。
　　更多往具体的应用里做，一定会形成行业的应用。虽然现在很多大数据方面服务过的企业还是偏向通用化，但是最终的业务价值一定是在行业应用里产生的。
　　服务化，通过服务的方式为企业和消费者提供服务，而不是提供最原始的软件或者IT基础设施。
　　云计算是未来的骨骼，所有的应用都会上到云端，所以云端化是未来的一个趋势。
　　企业已经不单单需要一个大数据的底层和大数据某一个存储的方案，而是想要从数据获取到大数据的全链条的端到端的整体的解决方案，企业越来越务实。
　　大数据一定变的更加的实用。实用化的四个方面：第一，最基础只是说描述，比如在做一些基础的监控等等方面。第二个方面是诊断，发现里面的一些问题，把这些问题找出来。第三是做一些预测，预测未来整个的趋势，是向好还是向坏，如果向坏的话可能问题发生在什么地方。最高级的一点，就是建议性的一些分析，不止是发现问题、发现趋势，还要告诉企业和用户应该怎么适应这种变化。
　　低成本化一直是大数据的一个方向。
　　一个企业或者一个组织如果想真的应用大数据，必须具备如下条件：
　　时代：相关的时代必须要到来，即不仅有信息化系统的基础，有很多客户，还要进入到互联网的时代，有较高的数据化的程度。
　　理念：很多企业主觉得数据是核心资产，原因是他认为数据只有买才能得来，而不是自己的经营过程需要数据化。如果是这样，说到底他并不认为数据能对他的业务产生核心的变化。所以需要真真切切地认为数据能够产生最大的价值。
　　理论：从现实的业务，到时候可以建模型，中间有非常大的鸿沟，这个鸿沟包括数据如何采集如何建模以及如何把一个业务问题转化成真正的数据的问题，这其实是需要有相当多的经验和人做这件事。这是最麻烦的一件事，只有业务变换成了数学问题，底层的技术才能实现。比如地震预测，数据界并没有把它完全用理论解释清楚，显然没有任何技术手段可以实践这件事。
　　技术：理论问题解决完以后，要通过一些基础的技术手段来落地。比如说有一些基础架构，或者软件包的形式来实现。
　　BD-OS就是解决理论以及技术这两方面的问题，把消费者数据化，并驱动企业数据化的经营。百分点大数据产品分为三层，最底下的大数据的技术层，主要解决的是数据的采集获取以及数据如何分析建模这一套东西，以及数据如何运用到具体的业务上，提供这些基本的接口。中间的管理，最后流程的末端能看到用户标签管理以及商品的标签管理，用户画像和产品画像就是通过数据的方式来描述人，也就是人工智能领域的知识表示。有了数据化的消费者的描述以后，将来要做的事情把他应用到具体的业务里。百分点支持三大类的业务：个性化推荐引擎、自动化营销引擎和、大数据分析引擎。