结合大数据分析技术 云端应用服务开创新价值 - 全文

　　通讯科技的进步与普及，带动智能手机的发展，使得人们可随时随地将图片或视频上传到影音网站，而高解析度显示技术的发展，使得影音片段所须储存的数据量增加，加上近距离通讯将移动物件的数据传输便利化等，在在让全球数位数据量呈现快速成长。

　　另一方面，云计算（Cloud Computing）技术将分散于各地数据中心的资源加以动态组合形成服务，提供给数百亿的资通讯设备如手机、联网电视和电脑等，更让散布于全球各地的数据聚合而成数位宇宙（Digital Universe）。

　　数据量大爆炸　Big Data商机起飞

　　市场调查机构IDC指出，数位宇宙数据量自2005-2020年将成长三百倍，由2005年的130艾位元组（Exabytes，相当于109Gigabytes）激增至2020年的40，000艾位元组，相当于每年数据量成长两倍。

　　数位宇宙如此多元与庞大的数据量，如何连结与产生有效益的资讯，成为近年来资通讯技术与产业发展的主要议题；大数据（Big Data）技术遂于2012年继云计算技术后，成为资讯产业界最热门的话题。

　　IDC定义大数据技术为运用高速撷取、发现或分析技巧于各式各样型态的庞大数据中，以经济的方式萃取出价值的新一代资讯技术与架构。IDC分析师认为大数据应具有三个主要特点，分别为数据本身、分析推论，以及分析结果的表达方式，之后才能由它们组合延展为产品和服务。

　　市场研究机构Transparency Market Research研究报告预测，未来5年内全球大数据技术市场规模，将由2012年的63亿美元成长至2018年的483亿美元，年复合成长率为 40.5%；该报告亦指出2012年全球60%以上的大数据市场由惠普（HP）、Teradata、Opera Solutions、Mu Sigma及Splunk等五家公司主导。

　　大数据的发展使得传统占有商业智能（Business Intelligence）市场的大型厂商如SAP Business Objects、IBM Cognos、Oracle OBIEE和MicroStrategy，在2012年的市占率被压缩，一般认为商业智能的需求于未来将更多角化，更多新创公司会贡献创新的作法。

　　大数据兴起　全球IT资本支出走扬

　　Gartner市场研究机构分析，大数据的特性为数据集的产出量、产出样式与复杂度及产出速度，远大于超过一个机构以往所面对及处理的数据，亦简称为3Vs特性（Volume、Variety、Velocity）。

　　Gartner指出，目前全球于大数据的资本支出，主要需求来自于将传统的IT解决方案转为需要大数据技术的IT方案，这些需求来自于机器产生的数据、社交数据、过于多样式的数据，以及无法预测产生速率的数据。大数据技术未来将为全球IT资本支出的新驱动力，并逐渐改变传统的资讯管理实务与技术。

　　大数据呈现的数据格式，目前大多以影音、文字和数值等为主，样式可为结构化或非结构化，输入模式可为串流或批次。除企业拥有的商务与公开数据外，因为企业可运用收集和分析消费者资讯的创新资源增多，使得大数据技术的应用将更加广泛，更多连续性数据的来源包含如量测设备所产生的数据、射频辨识系统 （RFID）传感事件、社群网路的讯息、气象与天文数据、监控与传感数据、移动设备所产生与位置相关的数据流等。大数据技术因全球积极推动的物联网 （IoT）、智能电网（Smart Grid）和智能城市（Smart City）等重点应用领域，在2012-2018年间，大多数的数据不再是由人产生，而是由具备资通讯功能的物件如交通工具、生产设备和家电等之间的互动产生。

　　IDC统计显示，目前全球所有的数据约只有千分之五曾被分析过。大数据技术未来几年中仍将在商业智能应用为发展主流，虽然目前它依然是新兴且尚未发展成熟的概念。Gartner市场调查机构预测，至2015年大数据将创造全球四百四十万人的就业机会，用以解决目前大数据数据分析师与软体工具的庞大缺口问题。

　　2012年为数不少的美国大型公司转为使用大数据软体平台Hadoop与丛集计算架构来执行企业内部大量数据应用，许多美国资服业者亦将支援Hadoop功能整合至他们的分析与储存软体解决方案。

　　大数据分析平台厂商Alteryx总经理George Mathew认为，2013年由于使用云端平台的服务成长，当越来越多组织开始使用平价合理的云端服务商业模式，企业将会分析应用转换至云端服务平台来执行，以云端平台来提供使用者存取、分享与收集分析资讯的软体工具将越来越多。

　　除商务智能外，2012年大数据技术也被应用于运动、健康照护等领域。由于拥有过去所累积的各类运动数据纪录，运动爱好者可藉由分析找出他们最喜欢的球员和运动的资讯。体育精算师John Dewan就运用大数据结合奥运模拟软体，预测美国在2012年的夏季奥运会将得到一百零八面奖牌，而美国最后得到一百零四面。

　　在技术发展上，Google的MapReduce分散式平行计算架构亦为大数据处理的重要软体工具。虽然MapReduce结合Hadoop平台的解决方案已完成，但Hadoop的研发社群似乎不太重视此一方案的成长性。据推测，Hadoop社群将研发重点聚焦于以Hadoop平台的分散式特性，提供支援即时处理和其他新的功能，让Hadoop更适合下一代数据处理应用，而这些新功能已被其他平台解决方案如Storm、Druid列为研发要点。

　　目前有许多新创公司如Continuuity、Infochimps和Precog等，以让应用开发者可存取到大数据的发展策略进行技术扩展。另一个发展方式则为选择利基应用，如使用者行为分析、网路安全、人工智能和客户服务等使用情境做为开发标的，进而将使用案例转为服务或产品，运用此一模式的业者包括Google、脸书（Facebook）等自身拥有大数据的公司。

　　2013年大数据技术发展的热门应用领域为移动商务智能、物联网和机器学习等，须要垂直整合的应用领域则为能源、公用事业、健康照护和人力资源等。在技术面，则以取得与合併数据的技术、降低初始分析因数据不足的失败率（Start-Up Failure）、增加预测精确度与新平台的研发为主要发展趋势。下面将以几个案例，来说明相关技术如何运用于各应用领域。

　　善用智能分析工具　用户移动商务经验提升

　　由于智能移动设备的成长与渗透率提高，智能移动设备内建多种传感元件，例如影像传感器、卫星定位、加速度计和高度计，使得服务营运商可自智能移动设备即时取得使用者资讯，例如定位数据、移动方向、兴趣点和交易数据的方式增多，移动商务智能的获得，将促使营运商投资大数据分析软体与平台建置。

　　移动商务智能分析须融合使用者、智能移动设备与环境等多方资讯，才能有效地由巨量的使用者资讯中萃取出商业价值，探勘使用者于移动环境中所需服务及偏好成为价值萃取的标的，运用此价值资讯将协助服务营运商提供最适合的资讯与服务给使用者，进而提升使用者使用移动商务的经验并增进服务商获利能力。

　　举例而言，以位置为基础的移动商务智能分析技术，可透过多种位置资讯的传感方式来收集混合的移动轨迹数据，并增加只运用单一位置资讯传感方式的定位精度轨迹探勘精确度。研发自动丛集多源定位的移动轨迹数据，来改善定位精度容错范围，以提升轨迹可探勘率为此类应用的基础技巧，但于技术应用面须进一步考量消费者、广告商及平台商各自的商业利益，延展出具有三赢功效的轨迹样式探勘处理技术，才能提升移动服务推荐满足率及成交效益，创造大数据技术的市场价值。

　　除以定址服务（LBS）为商务智能分析的主要发展趋势外，另一个值得关注的发展为社群资讯服务。2012年美国运用巨量连续的社群串流资讯，即时自动发现所含的热门议题资讯，用以成功阻止流感的扩散。

　　2013年以社群串流资讯结合大数据分析技术的应用持续增加，巨集大量短讯息数据的微网誌（Microblog）社群网路平台如Twitter、 Plurk和微博等，成为许多厂商寻找大数据商机之处。透过微网誌，使用者可发布关于自己的日常生活琐事，以及分享每天所遭遇到的事情，亦能即时了解朋友的近况动态等。

　　此大数据分析技术的重点为当微网誌短讯息快速、连续性产生时，仍可即时处理串流讯息分群以进行议题侦测，包括如何自动侦测最新出现的热门关键字，以及解决串流文字讯息概念漂移（Concept-Drift）的问题，并即时群聚串流文字短讯以侦测未知数量议题与事件。萃取出的情报资讯将可应用于新产品市场意见回馈、客户关係管理（Customer Relation Management， CRM）、民意调查和灾情追踪等领域，以提供市场行销决策参考依据。

　　联网电视、移动与社群等服务结合云端计算技术的快速发展，将商务资讯匯流至服务平台，有助于虚实整合O2O（Online to Offline）电子商务服务业者的发展。O2O将实体世界的商务发展和资通网路结合，让资通网路成为商务交易的前台。

　　换言之，O2O模式主要的精神是透过资通讯技术寻找消费者，然后将他们带到实体商店中。图1为运用数种即时巨量商务数据分析技术形成O2O商务系统平台，分析平台解析巨量且异质的消费者与店家数据，将适切的服务推荐至使用者来提升商务效益。同时，更贴近使用者个人化需求的服务，将随着大数据技术的发展更加完善。

　　

　　图1 巨量商务分析技术于O2O商务应用　数据来源：工研院南分院云服中心整理

　　大数据收集有弹性　环境分析应用计划开跑

　　在数据收集技术与新兴大数据应用方面，IBM自2009年起，在数据较缺乏的领域如健康照护与环境应用，展开数据收集与建立的投资，其中包含与 Marine Institute Ireland合作进行对海洋中海浪、污染和海产生命等数据即时监控与收集的「SmartBay Calway」先导计划。

　　该计划将收集到的巨量监控数据加以分析提供服务，并以Web或其他智能通讯设备传递给使用者，将数据多元提供不同领域的应用，此计划数据收集与提供如图2所示。

　　

　　图2 SmartBay Calway监控数据收集示意图　数据来源：John Kennedy--Silicon Republic

　　自动化数据收集及设备管理应用的技术实施，主要由数据收集与服务传递的闸道器，以及内建于传感器的数据处理软体元件组成。在养殖应用案例上，布建于养殖水域的环境传感器，将传感到的水质温度值、酸硷值及溶氧值等数据数据，透过有线或无线通讯技术，将资讯传送至后端的传感数据收集闸道器。传感数据收集闸道器解析各项水质环境资讯后，再依据场域环境，透过适切的通讯方式传送环境数据至养殖应用平台储存。

　　为多元应用的数据存取便利与设备互通性，在系统实施面的设计上可採用OSGi开放式服务闸道器技术，系统架构如图3所示，OSGi技术允许任意加入及删除传感器设备，如场域管理者欲新增/删除监控水质项目，仅须布建/移除传感器与实作安装/反安装相对应传感软体元件，此技术提供易于修改与扩展，以及降低系统维护成本的优点。

　　

　　图3 养殖数据收集案例

　　加入大数据分析　再生能源市场接受度高

　　在新兴能源应用方面，智能电网与再生能源的推动，为全球现今积极发展的技术，智能电网运用整合型通讯与新控制技术，让电网效益与效率发挥。欧美已有许多能源服务公司（ESCO），透过能源监控数据的收集与大数据技术，并结合云端服务来强化太阳能发电效益及公司的营运，其中美国能源服务公司 SolarCity于2012年上市筹资，成功扩展此类营运的经济规模。

　　由于一般民众对太阳能发电系统相关的建置资讯与投资报酬率的了解程度不深，因此须要藉由太阳能监控技术来强化相关资讯的曝光率，并建构更普及的接受度。如 SolarCity的系统营运商更有赖于太阳能监控管理系统的开发，来降低营运成本与提高维运效率，并能主动提供系统异常塬因与性能衰煺预警，提供业界託管服务。

　　目前较成熟的太阳能发电与监控系统，可由图4来说明。一般的太阳能监控系统为使用者集中管理的方便性，并考量乙太网路已是目前物联网最为广泛的数据传递媒介，通常採用一组于发电转换器（Inverter）至网路介面（ADSL Modem）之间的协定转换器（Bus Adapter），将太阳能的发电状态透过网际网路（Internet）传递至远端的中央控管伺服器，让使用者可透过个人电脑或主机来观测太阳能发电的状态。

　　

　　图4 太阳能发电与监控系统

　　在云端化管理平台部分，通常使用Hadoop云端平台软体，将该软体分散建置于数台实体机器，并于Hadoop云端平台上开发太阳能监控管理服务，结合远端监控及云端服务达到即时且长期监控的效果。此外，透过云端技术与移动应用程式（App）的结合，使用者可经由随身设备随时地监控整个系统。

　　透过分析来自太阳能监控管理系统的大数据，将可提供许多有效资讯，这些资讯包含能源比例调整最佳化（依据发电效率、成本、其他替代能源种类/成本，做为系统发电成本最佳的规划）、系统大小配置仿真功能（依据欲建置的场域大小与发电量，模拟建置发电系统设备的规模）、能源使用概况（模拟太阳能系统发电期间的使用概况，可提供投资者有效追踪与管理发电系统的发电效能），以及综合财务分析（提供投资者成本回收推估、费率结构比较和销售价格预订等项目）。

　　大数据技术已开始运用于更多的领域，用以发现更多数据的精华价值，而它却只是新一代数据管理技术的开端。未来，将有更多的公司将更深一层的去思考如何由他们拥有的数据资产中发现价值，或连结公开的数据来创造价值，而管理大数据的创新演算法与软体，将成为IT业者竞争的战场。