民间大数据
美国是第一个将大数据上升至国家战略并制定行动计划的国家。2010年,美国总统科学技术顾问在呈给总统奥巴马的报告中建议:“联邦政府都要制定一个应对‘大数据’的战略”,大数据对美国政策制定的效果也越来越明显。
谷歌就利用搜索解析平台设置与事业相关的关键词,为美国和其他国家及时测定失业水平和失业趋势。以德国为例,研究发现,基于某些关键词的预测比官方数据能更早显示失业趋势的变化。
在中国,这样有价值的民间数据也大量存在。
以阿里巴巴为例,2012年,阿里巴巴的网络零售额突破1万亿。依托自身的数据,并在国家统计局的指导下,阿里巴巴早就推出了一个网络零售价格指数(iSPI)。该指数虽然比官方CPI波动更大,但总体趋势一致,对CPI有先行指示作用。
百度与中科院合作也开发了一套基于网上搜索数据编制的消费者信心指数(CCI)、通货膨胀指数,运行效果显示,网民搜索所指示的消费者对物价的感受与国家统计局的官方数据之间有一定的先行指示作用。
昆明泛亚有色金属交易所是全球最大的稀有金属交易所,依据交易所上市的铟、锗、镓、铋、钨等战略金属,制定了稀有金属价格体系。
泛亚有色金属交易所董事、副总裁张子诺对《第一财经日报》表示,由于这一数据体系填补了国内外的空白,且稀有金属价格又能用于研判下游的航天、军工等产业的走势,因此已经被官方数据统计吸纳,每周都要报国务院、发改委、国家储备局、商务部,国家统计局的景气指数中也采用了泛亚的数据。
马建堂认为,如果过去是统计部门依靠标准表格去采集生产创设数据,那么大数据时代,就要求统计部门对海量数据进行标准化加工后形成官方数据的重要来源,这将使官方统计的生产方式发生革命性变化。
比如,中国目前是十年一次人口普查,但十年一周期对于中国这样快速发展的经济体来说有着明显的滞后性,大数据的发展就为缩短数据普查时间提供了可能。
从国际比较来看,世界各国政府统计应用大数据都还处于起步阶段。因此马建堂判断,谁能抓住机遇、取得突破,谁就能把政府的统计工作提升到一个新水平。
记者注意到,在2012年末的全国统计工作会议上,马建堂用近10分钟的时间专谈“大数据”和“云计算”,这在国家统计局以往的年度会议上从未出现过。
构建国家数据云
随着官方和民间在大数据之间的交流与合作更为紧密,一个更为宏大的设想已经浮出,那就是建立国家数据云。
国家统计局现有数据已经颇为庞大,如果再加入民间的海量大数据,数据激增对传统存储构架已经提出了强大挑战,引出云存储也就顺理成章。
此次受邀签订战略合作协议的天云融创数据科技(北京)有限公司副总裁周慧对记者说,云计算和云存储通常被认为是处理大数据最为经济的方式,云存储不仅可以大量节省人力、节约数据收集管理的成本,而且可以降低数据管理的复杂度,提高管理效率。
据记者了解,国家统计局已经开始构建国家统计云数据中心。这对于大数据设备企业和数据挖掘企业来说,可能是直接的利好。
居民可获得的数据也将极大地丰富。在官方统计专家的设想中,未来可能研究建立全国网络交易价格指数,并在条件成熟后逐步纳入消费者价格指数统计;在房地产价格统计上,银行的贷款信息及住建部门的网签数据能让房价数据更真实可靠;在就业领域,搜索引擎大数据可以帮助监测预警失业率和劳动力市场供求状况;在农业领域,从航空拍摄的海量高分辨率空间影像、地理信息数据和定位系统数据的共同分析,将能更精准地估测土地、畜禽产品的产量;道路上拍摄的交通影像数据将帮助推算公路运输的货运量。