(请本版图片的作者与本报联系。)
本报记者 王宁
第三次浪潮的华彩乐章
1980年,著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”。大约从2009年开始,“大数据”成为互联网信息技术行业的流行词汇。
什么是大数据
1980年,著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”。大约从2009年开始,“大数据”成为互联网信息技术行业的流行词汇。
大数据,或称巨量数据、海量数据；是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享,交叉复用形成的智力资源和知识服务能力。
有研究机构如此定义“大数据”:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从某种程度上说,大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。
大数据从何而来
美国互联网数据中心指出,互联网上的数据每年将增长50%,每两年便将翻一番,目前世界上90%以上的数据是最近几年才产生的。此外,全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,也产生了海量的数据信息。
物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及各种各样的传感器,无一不是数据来源或者承载的方式。
大数据有多大
仅以互联网为例,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多；发出的社区帖子达200万个,相当于《时代》杂志770年的文字量……
截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。
大数据的“4个V”
大数据的4个“V”指的是大数据的4个特点:第一,数据体量巨大。从TB级别,跃升到PB级别；第二,数据类型繁多,数据来源于各种各样的渠道。第三,价值密度低,商业价值高。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。一般要在秒级时间范围内给出分析结果,时间太长就失去价值了。这个速度要求是大数据处理技术和传统的数据挖掘技术最大的区别。
由此,业界将大数据的特点归纳为4个“V”——Volume(大量)、Velocity(高速)、Variety(多样)、Veracity(精确)。
什么是云计算?
云计算(cloud computing)是通过互联网把多个成本较低的计算实体整合成一个具有强大计算能力的完美系统。简单理解就是,运营公司提供服务器、应用程序、存储空间,用户通过网络远程登录服务器,并按照需要使用这些存储空间和应用程序。狭义云计算是指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。它意味着计算能力也可作为一种商品通过互联网进行流通和交易。
大数据与云计算
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。
数字时代的石油与黄金
一分钟内,微博推特上新发的数据量超过10万；社交网络“脸谱”的浏览量超过600万……
巨大的数据量,意味着什么?
大数据对社会经济生活产生的影响绝不限于技术层面,它为我们看待世界提供了一种全新的方法,即决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉做出。
“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”哈佛大学社会学教授加里·金指出。
业内人士指出,大数据是一种全新的致富手段,它的价值堪比石油和黄金。
虽然大数据在国内还处于初级阶段,但是商业价值已经显现出来。首先,手中握有数据的公司站在金矿上,基于数据交易即可产生很好的效益；其次,基于数据挖掘会有很多商业模式诞生,定位角度不同,或侧重数据分析。比如帮企业做内部数据挖掘,或侧重优化,帮企业更精准找到用户,降低营销成本,提高企业销售率,增加利润。
数据——
未来最大的交易商品
未来,数据可能成为最大的交易商品。
IBM执行总裁罗睿兰认为,“数据将成为一切行业当中决定胜负的根本因素,最终数据将成为人类至关重要的自然资源。”
大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。麦肯锡则预测未来大数据产品在三大行业的应用就将产生7千亿美元的潜在市场,中国大数据产品的潜在市场规模有望达到1.57万亿元,给IT行业开拓了新的黄金时代。
大数据正在重构很多传统行业。通过收集、整理生活中方方面面的数据,并对其进行分析挖掘,进而从中获得有价值信息,最终衍化出新的商业模式。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。在零售业中,数据分析的技术与手段更得到广泛的应用,卓越亚马逊、淘宝等通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。
与此同时,大数据在社会管理等方面,也具有不可替代的重大价值。
案例——
大数据魅力初现
美国华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天利用电脑程序分析全球3.4亿微博账户的留言,进而判断民众情绪,再决定如何处理手中数以百万美元计的股票。
霍廷的判断原则很简单:如果所有人似乎都高兴,那就买入；如果大家的焦虑情绪上升,那就抛售。当年第一季度,霍廷的公司获得了7%的收益率。
沃尔玛为其网站设计了搜索引擎Polaris,利用语义数据进行分析挖掘。根据沃尔玛的说法,这使得在线购物的完成率提升了10%到15%。这意味着增加了数十亿美元的销售金额。
一家名为Express scripts Holding Co.的公司,依托大数据分析,发现那些需要服药的人常常也是最可能忘记服药的人。因此,他们开发了新产品:会响铃的药品盖和自动电话呼叫,提醒患者按时服药。
美国零售商Target发现妇女在怀孕的中间三个月会经常购买没有气味的护肤液和某些维生素。通过锁定这些购物者,商店提供将这些妇女变成忠诚客户的优惠券。
迈克·弗劳尔斯是纽约市打击金融犯罪行动组主管,他的新职务是“纽约市首席分析官”。在弗劳尔斯看来,大数据在市政管理中的应用带来的好处是有助于优化行政资源的使用,使公共支出产生最大效益。大数据在纽约市的执法、经济规划、防灾和灾后恢复等方面都有应用。比如,大数据的应用,可让执法人员先发制人,在犯罪行为造成损害之前就采取行动。
大数据热潮席卷全球 ——各国大数据产业发展动态
中国:依托大数据推进智慧城市物联网建设
随着我国智慧城市试点工作的启动,2013年,以“智慧城市”为焦点的技术和产业盛宴正式开席,物联网、大数据、云计算等新一代信息技术成为智慧城市建设的攻坚方向。
智慧城市以提高城镇化质量、提升城市软实力、实现经济转型为目标,在金融、交通、安全、医疗等领域率先开展“智慧”布局,预计未来10年将涌现一批智慧城市样板。智慧城市的建设带来数据量的爆发式增长,目前,与智慧城市相关的项目所产生的数据量已超过了200PB,大数据遍布智慧交通、智慧医疗、智慧生活等智慧城市建设的各个方面。
智慧城市热潮的背后,大数据与云计算的结合、云计算与大数据的结合、各行各业的数据业务主营化倾向、物联网逐渐走入人们的普通生活。
而在我国工信部发布的物联网“十二五”规划上,把信息处理技术作为4项关键技术创新工程之一,其中包括的海量数据存储、数据挖掘、图像视频智能分析,这都是大数据的重要组成部分。而另外3项关键技术创新工程,包括信息感知技术、信息传输技术、信息安全技术,也都与“大数据”密切相关。
美国:大数据战略上升为国策
2012年,奥巴马政府将“大数据战略”上升为最高国策,认为大数据是“未来的新石油”,将对数据的占有和控制作为陆权、海权、空权之外的另一种国家核心能力。
在大数据分析的应用上,美国政府和大公司领先新兴国家至少20年。15年前,美国的信用卡公司就可以进行数据挖掘实现精准营销。随着智能电话和电脑网络的普及,美国政府和大公司把自己的触角伸到个人生活的每个方面。美国个人的一切在线行为数据都被收集储存,再加上已被有关机构掌握的个人信用数据、犯罪记录和人口统计等数据,有关公司和政府机构可以运用数据挖掘的办法,监控和预测个人的行为,并做出相关决策。
欧 盟
欧盟于2012年,发布“发挥欧洲云计算潜力”新战略,以推动云计算带动经济成长和创造就业。预计到2020年,通过利用云计算的优势将可节省大约10～20%的成本和显著提高生产率,云计算市场规模将增加2倍,达到8000亿欧元。
根据欧盟统计,到2020年,投资于云计算可为欧盟带来年平均经济效益为1600亿美元,这个金额相当于GDP的10%,欧盟欲通过这一战略,制造新型产业以对抗美国等国家,同时创造出250万～380万个新的就业机会。
韩国:建设首个开放大数据中心
韩国致力于通过建设大数据中心,帮助科技行业赶上世界顶尖科技公司。这是该国第一个开放的数据中心,任何人均可通过该中心对大数据进行提炼和分析。
韩国计划使大数据中心成为服务大数据企业的一个实验基地,并为大学培养研究人员。该中心计划创建一种基础解决方案,这样任何人都可以使用其中的服务对大数据进行分析。该中心面向中小型企业、风险企业、大学和普通公民,用户可以利用大数据技术解决业务或者研究方面的问题。该中心的设立是基于韩国总统朴槿惠2013年2月提出的创新型经济框架,该框架呼吁将信息技术作为韩国经济增长的一个新支柱。
日本:利用大数据对抗大规模灾害
日本政府决定,在发生大规模灾害时导入“大数据”,分析手机等庞大的电子数据,以求迅速收集情报,快速支援受灾地区。
因为“大数据”中包含了手机、汽车导航系统等发射的位置信息,所以,就算通信中断地区较广的情况下,也能够推测出受灾程度。并且从汽车的行驶速度还可以掌握无法通行的路段等。
