大数据项目中的资源供给困局

　经过了轰轰烈烈的发展高潮，大数据技术作为一个无论内涵还是外延都不断增长的概念获得越来越多的认可。
　　随着媒体关于大数据传奇的宣传，市场被吊足了胃口，在整个IT领域关于大数据的需求构成了压倒性的态势，可毕竟“巧妇难为无米之炊”，几乎每家机构都感觉数据不够用，这说明数据市场的供需关系严重偏离均衡水平，可面对现实中高价值数据源往往是“铁路警察、各管一段”的现状，似乎简单实现横向扩张很困难；但“缺数据”并不是唯一的困难，“压数据”（数据过剩和低效使用）同样存在，一方面社会上存在大量数据供应商，机构根据“可能的”需求采购或交换了部分数据，部分数据始终在“睡大觉”，另一方面很多机构并未将数字化管理的“边角”内容（例如：门禁日志、网关日志）充分利用，以至于很多为了大数据项目囤积的资源并未发挥实际作用。
　　究其原因在于各家机构对于数据价值的重新认识，数据已经不是“资本”、“资源”、它是“资本”，面对严峻的市场竞争，各家机构又怎么会主动放弃自身的竞争力，拱手将自己手中的数据发布出去？
　　目前，国内公共的、商业的数据平台陆续出现，可在具体商业分析中具体机构需要的又往往是产业信息资源，打通供需通道的关键在于确立数据定位。一般而言，除了统计汇总外，各家机构需要更多将大数据聚焦于微观作业（OLTP），确保在企业的各项具体事务及其衔接过程中形成合力。而对于商业机构管理高层以及公共部门，目前大数据更多用于宏观分析，用于了解态势、进行预测。但现实中，我们的具体项目、具体方案针对的都是产业，按照经济学划分原则，产业经济属于“中观”部分，这恰恰是数据供给中最缺乏的一部分，也是“各管一段”最难突破的部分。
　　但这只是困局的表象，无论是“缺数据”还是“压数据”，看似集中于供给一方的困局，其实质可能更加集中在需求一侧，也就是对于具体需要什么样的数据、需要多大投入并不明确，因为对于数据的价值不明确，所以作为“资产”的数据用于商业、公共事业活动时，对于数据的采购要求没有办法基于商业价值或社会价值进行取舍，根据Ahituv N.和Neumann S.在《Principles of information systems for management》（3rd 1990）、Gordon K.《Principles of Data Management Facilitating Information Sharing》（2000）的研究，数据的价值需要借助交换、共享完成，共享越多、商业价值越低，但同时它的社会价值会更高。
　　因此，商业机构和公共部门面对数据困局，需要选择不同的策略：对于商业机构而言，更多追求的是商业价值，因此可以通过加强商业机构之间数据合作的方式，建立共享的大数据平台，降低信息采购成本，同时防止因为数据外泄，降低数据原有的商业价值，并利用数据资源创造新的商业价值；对于公共部门，更多追求社会价值，只有更多通过公开数据信息、甚至直接提供数据接口的方式，才能够最大程度完成“从有到用”的转变，实现其数据的社会价值。
　　在综合了所需数据的业务价值及业务需求市场价值之后，即明确需求、供给价值之后，机构才能够对各类信息资源（应用、数据、基础设施）进行组合管理（portfolio management），这不仅考验机构对于应用项目的组合管理，更应该是在企业架构管控下，对于各类信息化资源的组合管理。
　　推荐资源
　　为什么开源未能成为大数据的“新常态”——Why open source is the ‘new normal’ for big dataHadoop联合创始人：Spark不孬、但不够——Hadoop co-creator： Spark is great – but people want more