电子发烧友App
大数据分析需要通过数据分析来发现现状，并且通过模型与预测分析技术来对改善进行预测与优化，国内，不论是国企还是民企，真正在业务决策中以数据分析结果为依据的，主要集中在银行、保险、电信和电商等几个行业。
大数据”时代到来了吗？
潮流是一股可笑又可敬的力量：今天，如果打开任何媒体，要是不提“大数据”，恐怕都不好意思出版。这股潮流，铺天盖地，连国家领导人都不例外。问题在于：为什么人人言必称大数据？
数据的价值，随着数据量的几何级数增长，已经不再能够通过传统的图表得以显现，这正是为什么商业智能还没来得及流行，便已被“数据分析”挤下舞台。因为，价值隐藏在数据中，需要数据分析方可释放这些价值。
数据分析能力的高低，决定了价值发现过程的好坏与成败。可以说，没有数据分析，“大数据”只是一堆IT库存，成本高而收益为零。但是国内热潮的“大数据”概念，目前仍然停留在数据收集、整理、存储和简单报表等几个初级阶段。能够对大数据进行基本分析和运用的，只有少数几个行业的少数企业。
对于国内数据分析市场，我们的感觉如下：
市场巨大，许多企业（无论是互联网的新锐还是传统的企业）都在讨论这个，也有实际的需求并愿意为此付钱，但是比较零碎尚不系统化。目前对数据需求最强烈的行业依此是：金融机构（从基金到银行到保险公司到P2P公司），以广告投放及电商为代表的互联网企业等
尚没出现平台级公司的模式（这或许往往是大市场或者大机会出现之前的混沌期）
ToB服务的氛围在国内尚没完全形成，对于一些有能力的技术公司，如果数据需求强烈的话，考虑到自身能力的健全以及数据安全性，往往不会外包或者采用外部模块，而倾向于自建这块业务
未来BAT及京东、58和滴滴打车等企业，凭借其自身产生的海量数据，必然是数据领域的大玩家。但是整个行业很大而且需求旺盛，即使没有留给创业公司出现平台级巨型企业的机会，也将留出各种各样的细分市场机会让大家可以获得自己的领地
数据沉淀
用大白话说就是数据抓取，目前有四大方式获取数据
网络爬虫，用Python及Go等开发了自己的爬虫平台，对几十个网站进行每日抓取获得相关信息
Wi-Fi接入方案，我们自己开发了一套完整的软硬件方案，优势是超高的ROI（投资回报比），且免费提供给物业管理者，帮助其实现靠网费赚钱以及推广费赚钱。在与其协商的基础上，获得用户数据。这主要是OpenWRT的开发以及一些智能硬件和客户端的开发。
提供一些图像方面的API，进行图片搜索及人脸搜索，满足客户在图像处理和图像识别方面的一些需求。开发主要用到一些Machine Learning和Deep Learning的算法，使用C++/Open CV/Matlab等。
数据服务需求方自行提供。
数据挖掘
用大白话说，就是利用数据分析产生深层次有价值的理解。基于以上各种方式获得的数据，我们可以做最简单的统计分析、用户及品牌理解、用户画像、各品牌或各产品型号之间的关系等等，了解现在和历史并争取预测未来。
常用的工具是Python/R/SPSS等，算法包括最简单的统计、稍微复杂一些的Machine Learning、现在被捧上天的Deep Learning以及Collaborative Filtering等等。
数据呈现
用大白话说，就是把分析结果用最美观和最容易理解的方式（图标或者图形）展现出来。目前，我们大概有几种形式：
网站（兼容PC端和移动端）：提供给付费的B端客户，不对外公开，大致形势如下
一个SaaS的公有云平台，方便大家把自己的数据利用我们的工具来制作成为便于在网上特别是移动端传播的图文报表，即将上线，大致形态见下图。产品的逻辑很简单：读数读图的需求越来越强烈，但是却缺乏这样的工具或者平台来制作这样图文并茂的内容，即使是Excel，也不能制作出适合于网络传播的图文内容
常使用的技术是JS+Node JS+MongoDB等等。
中国式大数据与分析的现状
所谓”大数据分析“，其和”小数据分析“的唯一差别在于数据量以及数据量带来的对于数据存储、查询及分析吞吐量的要求。本质上，”大数据分析“仍然需要通过数据分析来发现现状，找到导致现状的根源要素，并且通过模型与预测分析技术来对改善进行预测与优化，并且实现企业运营各个领域的持续改善与创新。要谈”大数据分析”的中国现状，首先必须深入了解”数据分析“在国内的应用情况。
国内企业，不论是国企还是民企，真正在业务决策中以数据分析结果为依据的，主要集中在银行，保险，电信和电商等几个行业。以IT预算最充沛，人员能力最强的银行为例，目前主要是大型银行在导入数据分析。中小银行尚在观望与学习阶段，人员与能力建设正在起步阶段。数据分析的应用范围主要集中在信用风险、流程优化、市场营销、成本与预算等几个方面，深度尚可，但广度一般，尚未扩充到运营管理的所有领域。
而谈到“大数据”或者数据仓库，上述行业中的绝大多数企业早已实施了各种数据仓库，以管理数据。这种买药再看病的模式，完全本末倒置。数据仓库与数据库不一样，其使命就是为了分析而存在的。没有分析，仓库何用之有？ 四大行之一的某大型国有银行，90年代末期就开始花费好几亿元IT预算，建设“数据大集中”项目，受该行影响，其他国内银行掀起了一股数据集中的热潮。而当时连商业智能还是个尚未传入中国IT概念，更遑论数据分析了。15年过去了，这些被集中的数据，还在么？
至于支撑起我国庞大GDP的制造业、建筑业和贸易业，在运用数据分析进行业务决策方面，则尚未见规模。其IT开支仍然主要集中在基础架构与流程化的软件套件领域（如ERP，CRM，HRM， SCM等），部分企业开始导入商业智能（报表、制图、管理驾驶舱），而数据分析应用远远没有进入规模发展阶段。以我国制造业企业为例，从五、六年前开始热炒“六西格玛”、”全面质量管理“，”精益生产“，尽管这些举措对中国制造、中国创造等带来本质变化尚需时日，但是就提升企业决策能力和管理水平而言，这些举措的的确起到了一定的作用，对于中国企业从拍脑袋到用数据决策这一本质转变打下了一个基础。
这一现状的原因，我们认为主要体现在如下几个方面：
1.企业的权力来源
数据分析才是真正的一把手工程。分析的使命，在于改善决策。决策的第一责任人，也就是企业最高层管理人员。国企，尤其是大型央企，职业经理人体系并不完善，董事长、总经理级别的任命是由组织部门而不是经济部门来决定的。“讲政治”的人事任命体系决定了企业决策的复杂性和特殊性，科学管理方法和决策手段的推广，完全取决于企业最高领导人本身对于这些手段的认可程度。
另外，数据分析带来的不仅仅是分析软件和分析方法论，更需要决策、运营进行相应的改善与调整，我们通常称之为“变革”。 任何变革都会带来相匹配的风险与收益。国企的权力架构和民企、外企非常不同，哪怕总经理决定了要变革，还得征求企业内部各路权力部门的认可与接受，变革的难度导致了我们通常看到和听到的“转型极其艰难”，“身为大家长要对几十万张嘴负责”等煽情苦情的自我表白。不要说数据分析，就连开除几个绩差员工，一不小心就要得罪人，严重了还要危及乌纱帽，改革谈何容易。
相比之下民企和外企在这方面的转变要敏捷、迅速很多。比如苹果，很多年前就开始全球范围导入JMP数据分析平台，在我们的跨国团队的帮助下从搭建数据分析能力、规范数据分析流程、导入高级数据分析方法、直到生产与研发环节的数据分析全球标准化等工作。整个过程长达数年，涉及到庞大的机构、人员、方法、流程的转变，却平稳有序。其间还发生了Steve Jobs辞世，新任CEO上台等足以中断一切的重大企业事件，但导入数据分析能力这一过程丝毫没有受到任何影响。
2.企业的运营能力储备
能力储备也是个关键要素。哪怕管理层决心一致，雄心壮志，重大变革能否落地，还得取决于团队能否升级与被变化。意志力尽管重要，体能却是个关键。数据分析对于参与者的统计、概率、数学、计算机、业务理解等几个方面的能力要求甚高。尽管“能力是可以培养的”，但是我们在国内这么多年的众多数据分析导入项目中，面临最多的挑战就是人员培训和流程变革。
以电信运营业为例，BOSS系统，各种业务系统和数据仓库搭建了许多年，数据分析对于客户行为的理解与促销产品的层出不穷也使得这个行业的数据分析应用远远超过绝大多数其他行业。但电信业在大规模导入数据分析方面面临的首要问题，仍然是专业人才储备以及与数据分析有关的规章制度、决策流程与文化体系的建立。
我们在市场上看到更多的，是IT部门主导的数据分析项目。项目名称是数据分析，而内容仔细一了解，往往都是数据仓库+企业报表。不是传统财务三表，而是用于展现核心KPI的图表。对“数据分析”不了解，把报表和制图当成“分析”，是这一现状的根源。
3.市场环节与竞争压力
不同企业对市场竞争的变化是非常不同而有趣的。比如三桶油，建立竞争力的方法，在于找油田、收购加油站，利用垄断性政策优势抬高行业准入门槛。三大电信运营商，若干年前曾经有子公司互相攻击，甚至发展到人员斗殴，割断对方光线网络的事件。而华为与中兴的竞争，若干年前除了口水仗，还有互相挖对方技术团队。
政策性垄断行业，尽管有压力，但是在提升生产力和生产效率的手段方面，改变缓慢而低效。 高度市场化领域，比如家电，汽车，消费电子，华工、医药等领域，对以数据分析为代表的“高级能力”的接受程度则高了不少。
综上所述，我国企业界对于数据分析的应用仍然停留在个别行业与个别应用的阶段。不过，尽管导入数据分析的过程是如此艰难而挫折，我仍然认为，随着我国各行业市场化进程的推动，随着互联网、数据分析技术不断对传统产业的颠覆过程，“数据分析”或者“大数据分析”迟早会成为中国企业界突破藩篱的关键手段。
数据大不大其实一点也不重要
只要是数据，里面必然有故事。与其在能力毫不匹配的情况下片面追求大数据，还不如立即行动起来，从手头、身边保有的小数据当中提取价值，进而为真正的大数据时代的数字化决策打下基础。
从微观角度来看，我们以中国零售及消费品行业为例，看看数据分析在这一领域的应用现状：
1.企业内部采用的分析手段是非标准化的，零散的—--例如把图表当分析；
2.更多地关注数据获取和管理，而不是开展面向客户的预测性建模与数据挖掘。前者是IT工作，后者才是从数据里获取价值的过程。
3.尚未在公司真正地运行或者构建持续的分析能力、分析流程和与数据分析有关的业务与管理决策机制。
而根据我们为中国企业提供JMP数据分析战略拓展与项目支持的多年经验，我们的建议是：
1.从项目级别的数据分析应用开始，逐渐现成项目组级别的标准化分析流程与业务决策制度。借助项目拓展出有基本分析与应用能力的团队；
2.将项目分析经验扩展到部门级别，拓展 数据分析—价值获取—业务决策 这一价值链。 根据部门级数据分析应用的需要来开展数据获取和管理。借助部门级引用导入拓展出数据分析与业务决策的流程，以及统一、先进的数据分析平台与业务实践库。
3.从部门级到企业级应用，纵横两个维度都在拓展，需要企业管理层的高度参与与制度支持，推广基于数据分析为核心的文化与模式转变，建立支撑这些变化的长远的数据分析战略
4.至于数据是不是够大，是不是需要“云计算“，全看业务需要而定！
大数据挖掘的发展前景
在技术方面，科学家们从现有层面上提出各种新兴技术。比如从数据处理角度，有分布式处理方法MapReduce，较著名的应用工具有Hadoop 和DISCO。从数据库角度出发，在信息检索、流媒体存储等方面有NOSQL 开发工具，以及对应超大规模和高并发的SNS 类型的WEB2.0 纯动态网站而使用的非关系数据库高速发展，如MongoDB、CouchDB。在如何提取有价值的信息，处理底层的结构化技术支持外，数据挖掘算法，机器学习算法都是必不可少的。
在信息安全方面，大数据挖掘将成为信息安全发展的契机。如今，数据无处不在降低了自身信息的安全性。例如存储于云端的大量数据，至今还没有形成有效的集中管理，而单独的管理用户信息无法一一分辨其是否合法，这就提高了非法入侵、篡改数据信息的危险性。对此，各种为信息安全服务的技术和产品成为大数据研究中心的方向和信息安全领域的首要问题。因此如何保证数据产业链的安全对信息安全发展具有重要的意义。
在企业经营管理和产业服务方面，大数据挖掘将成为企业及服务机构等诸多行业的转折点。伴随着大数据挖掘技术在企业管理中带来经济效益的同时，也带来了管理模式的巨大改变，企业必须拥有三类人才：管理人才、分析人才及技术型人才，紧跟时代脉搏，从大数据中获得关键信息，及时调整企业产业规划，才能在时代变革中保持自身利益，求得生存。
在教育教学方面，面授式教学，尤其在大学，已经突显落后，一所具有强大数据挖掘能力的远程教学平台，信息化教学的数字校园，能为师生提供更具个性化的数据支撑和服务。在校园启用“大数据”，通过便捷的多元的采集方式，建立基础数据平台并和教学资源，提供标准数据接口，统一采集、认证，集中存储，开放计算，最终消除“信息孤岛”。
在商业价值方面，大数据挖掘将成为创造价值的核心。时间虽短，历经二十年打开了一个新的时代，引领全球进入创新和发展的新的竞争模式。例如，欧洲政府运用大数据而分别节省1000 亿欧元，美国医疗业则节省了和3000 亿美元，此外，大数据中潜在个人信息价值不可估量。世界各国政府都加大了对大数据发展的扶持力度，特别在发达国家甚至上升到国家战略的高度。
我国正步入了大数据时代发展的中坚核心，展望未来，我们最终会利用纷繁复杂的数据建立起人工智能的信息时代。但数据大并不等于大数据，当繁杂的价值密度低的信息数据堆现于眼前，数据就是一个噩梦。人们无法回避对数据安全性、应用性及隐私保护的担忧。试想，放任软件继续在几何递增的数据库上执行海量的科学计算，在此基础上进行科学、经济和军事安全等领域的决策制定，我们是不是过多地把权力交给了机器？这是研究大数据需要注意的问题。
工商网监
评论