分享海量大数据背后的处理技术的原理

几乎每个人当然也包括工程师都听说过集成电路领域的摩尔定律，即戈登.摩尔预测，工艺技术的进步将导致芯片上的晶体管数量大约每两年就翻一番。但只有少数人听说过网络领域的摩尔定律，即梅特卡夫定律，它由罗伯特.梅特卡夫提出，他指出通信网络的价值正比于系统内连接用户数量的平方。简单地说，网络服务的用户越多，该网络服务对全体用户的价值也越大。

现在，让我们思考一下物联网（IOT），在这个网中的用户并不一定是人，而是一个机器。人们开发了以太网系统，通过硬件来连接建筑物内的不同机器。它已演变成一系列网络技术，其最新迭代是40 / 100 千兆以太网（GE）标准，也被称为IEEE 802.3ba，特别针对数据中心通讯。

为管理不间断的高速连接，当前的数据中心需要容纳成千上万台主机服务器，这些服务器组成一个集群。每个主机包含一个或多个处理器、内存、网络接口以及本地高速I/O，它们通过高带宽网络紧耦合连接。大多数情况下，以太网采用集群方式连接（其次是采用InfiniBand）。

爆炸式增长

数据中心行业在不断壮大，随着全球更多设备加入线上网络以及更多的企业转向云计算以共享使用数据基础设施，这种发展的速度还在加速。对于数据中心市场以及供应商和相关技术来说，IoT对它们的转型影响最大。据研究公司Gartner推测，到2020年，IoT设备的安装量将达260亿台，它们生成的大数据规模将无法想象，而且这些数据还需要实时的处理和分析。这些数据占数据中心负载的比重也将越来越大，到时供应商将面临容量、速度、分析和安全等方面的新挑战。

图1：互连设备总量，单位是10亿台（来源：Gartner）

需求带宽

搜索引擎提供商和其它大数据用户（社交媒体论坛、在线购物网站，流媒体视频供应商）为顺畅的数据中心连接管道付出高额成本。以搜索引擎为例，数千台服务器通过关键字和元数据来索引整个互联网以提供网络搜索服务。谷歌每天的索引高达200亿页面。一旦它们完成这项任务，为保持相关性，这些索引必须迅速转移到其它数据中心。为适应该需求，连接数据中心的管道必须足够宽。但索引移动之后，管道的利用率就下降，此时服务器就可用于其它业务，但假设数据移动的不够快，服务器就不得不暂停。

因此带宽是大数据最大的考虑因素之一。这是一个简单直观的概念：更快连接，更好服务。目前，10Gbps的传输率是目前以太网中广泛使用的最快连接。为更易于理解，对比之下大多数家庭和企业使用5类双绞线电缆连接到以太网，最大传输率是1Gbps。

对于其中的内部基础设施，数据中心开始采用面向40Gbps到10Gbps以太网连接的IEEE802.3ba标准——比家庭双绞线电缆快40到100倍。最先由IEEE在2010年规定，100千兆以太网（简称100GbE）和40千兆以太网（简称40GbE）为首批实例，在一个单一的标准中规定两个不同的以太网速度。两种不同速度的采用来自于两种不同的应用要求，40Gbps的速率用以支持本地服务器应用，而100 GbE以太网更适用于网络聚合应用，如服务提供商的客户端连接、互联网骨干网、核心网等等。两年前， IEEE带宽评估报告预计，核心网络带宽每18个月就翻一番，而服务器带宽则是每24个月增加一倍。

数据中心内已经开始部署40Gbps和100Gbps以太网链路，这里的通信带宽要求最高，比如中心内机架到机架通信。大多数中心仍使用40GbE，但随着需求日益增加，快速迁移到100GbE以太网只是时间问题。互联网服务商对管道需求最高，已经开始采用100GbE，而路由器也已经支持该标准。

移动设备应用程序的繁盛使“东西通信”的重要性突显（服务器之间的通信或者是存储器到服务器之间的通信），而不再是传统的“南北通信”（客户端到服务器）。据思科所述，去年移动数据流量总和几乎是2000年全球互联网流量的18倍。2000年，全球互联网总共传输了一百亿亿字节 （EB）的流量，而2013移动网络承载了近18 EB的流量。

据英特尔计算，每打开600部手机，就需要一个服务器的容量来满足这些手机流量请求。而每120个平板则需要另一台服务器，类似的，每台服务器支撑约20个数字标牌，或12个监控摄像头。

就在你看这篇微信的几分钟内 ，全球就产生了大量的数据，你知道全球一分钟产生多少数据吗？这是2014年5月最新的数据：

全球一分钟传送数据约64万GB；发布了2亿400万封邮件；下载了4.7万个App；亚马逊卖出了8.3万美元的货物；Flickr发布了2000万张照片；Youtube的视频被查看了130万次；Facebook被查看了600万次；Pandora电台播放了总计6.1万小时的歌曲。