大数据分析与数据挖掘发展前景分析

　　大数据分析需要通过数据分析来发现现状，并且通过模型与预测分析技术来对改善进行预测与优化，国内，不论是国企还是民企，真正在业务决策中以数据分析结果为依据的，主要集中在银行、保险、电信和电商等几个行业。

　　大数据”时代到来了吗？

　　潮流是一股可笑又可敬的力量：今天，如果打开任何媒体，要是不提“大数据”，恐怕都不好意思出版。这股潮流，铺天盖地，连国家领导人都不例外。问题在于：为什么人人言必称大数据？

　　数据的价值，随着数据量的几何级数增长，已经不再能够通过传统的图表得以显现，这正是为什么商业智能还没来得及流行，便已被“数据分析”挤下舞台。因为，价值隐藏在数据中，需要数据分析方可释放这些价值。

　　数据分析能力的高低，决定了价值发现过程的好坏与成败。可以说，没有数据分析，“大数据”只是一堆IT库存，成本高而收益为零。但是国内热潮的“大数据”概念，目前仍然停留在数据收集、整理、存储和简单报表等几个初级阶段。能够对大数据进行基本分析和运用的，只有少数几个行业的少数企业。

　　对于国内数据分析市场，我们的感觉如下：

　　市场巨大，许多企业（无论是互联网的新锐还是传统的企业）都在讨论这个，也有实际的需求并愿意为此付钱，但是比较零碎尚不系统化。目前对数据需求最强烈的行业依此是：金融机构（从基金到银行到保险公司到P2P公司），以广告投放及电商为代表的互联网企业等

　　尚没出现平台级公司的模式（这或许往往是大市场或者大机会出现之前的混沌期）

　　ToB服务的氛围在国内尚没完全形成，对于一些有能力的技术公司，如果数据需求强烈的话，考虑到自身能力的健全以及数据安全性，往往不会外包或者采用外部模块，而倾向于自建这块业务

　　未来BAT及京东、58和滴滴打车等企业，凭借其自身产生的海量数据，必然是数据领域的大玩家。但是整个行业很大而且需求旺盛，即使没有留给创业公司出现平台级巨型企业的机会，也将留出各种各样的细分市场机会让大家可以获得自己的领地

　　数据沉淀

　　用大白话说就是数据抓取，目前有四大方式获取数据

　　网络爬虫，用Python及Go等开发了自己的爬虫平台，对几十个网站进行每日抓取获得相关信息

　　Wi-Fi接入方案，我们自己开发了一套完整的软硬件方案，优势是超高的ROI（投资回报比），且免费提供给物业管理者，帮助其实现靠网费赚钱以及推广费赚钱。在与其协商的基础上，获得用户数据。这主要是OpenWRT的开发以及一些智能硬件和客户端的开发。

　　提供一些图像方面的API，进行图片搜索及人脸搜索，满足客户在图像处理和图像识别方面的一些需求。开发主要用到一些Machine Learning和Deep Learning的算法，使用C++/Open CV/Matlab等。

　　数据服务需求方自行提供。

　　数据挖掘

　　用大白话说，就是利用数据分析产生深层次有价值的理解。基于以上各种方式获得的数据，我们可以做最简单的统计分析、用户及品牌理解、用户画像、各品牌或各产品型号之间的关系等等，了解现在和历史并争取预测未来。

　　常用的工具是Python/R/SPSS等，算法包括最简单的统计、稍微复杂一些的Machine Learning、现在被捧上天的Deep Learning以及Collaborative Filtering等等。

　　

　　数据呈现

　　用大白话说，就是把分析结果用最美观和最容易理解的方式（图标或者图形）展现出来。目前，我们大概有几种形式：

　　网站（兼容PC端和移动端）：提供给付费的B端客户，不对外公开，大致形势如下

　　

　　一个SaaS的公有云平台，方便大家把自己的数据利用我们的工具来制作成为便于在网上特别是移动端传播的图文报表，即将上线，大致形态见下图。产品的逻辑很简单：读数读图的需求越来越强烈，但是却缺乏这样的工具或者平台来制作这样图文并茂的内容，即使是Excel，也不能制作出适合于网络传播的图文内容

　　

　　常使用的技术是JS+Node JS+MongoDB等等。