。大数据也似乎在一夜之间闯入了任何一个关于互联网未来的讨论,成为一个炙手可热无所不包的概念。最近刚结束的大连2013夏季达沃斯讨论。无论人们对此持有何种观点,但下列结论是共同的:“大数据时代”的来临己成为不争的事实,大数据作为一种新的资源,己对我们正常的生活、企业商业活动以及政府公共管理带来了深远的变革。
大数据时代的来临,带给我们众多的冲击,任何一个人都应当与时俱进、不断的提高,放弃残缺的守旧思想,大胆接受新的挑战。
国际数据公司定义了大数据的四大特征:海量的数据规模(vast)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。仅从海量的数据规模来看,全球IP流量达到1EB所需的时间,在2001年需要1年,在2013年仅需1天,到2016年则仅需半天。全球新产生的数据年增40%,全球信息总量每两年就可翻番。
而根据2012年互联网络数据中心发布的《数字宇宙2020》报告,2011年全球数据总量已达到1.87ZB(1ZB=10万亿亿字节),如果把这一些数据刻成DVD,排起来的长度相当于从地球到月亮之间一个来回的距离,并且数据以每两年翻一番的速度飞快增长。预计到2020年,全球数据总量将达到35~40ZB,10年间将增长20倍以上。
需要强调的是:所谓大数据并不仅仅是指海量数据,而更多的是指这一些数据都是非结构化的、残缺的、无法用传统的办法来进行处理的数据。也正是因为应用了大数据技术,美国谷歌公司才能比政府的公共卫生部门早两周时间预告2009 年甲型H1N1流感的暴发。
当今世界大数据时代己经来临。什么是大数据?就像当今世界涌现出来的能描述大变局的概念一样,大都率先出现在欧美社会,进而传播到全世界。“大数据” 的概念出现与流行也是如此。
顾名思义,大数据就是大量的数据或者说海量的数据。现代社会从1941年诞生第一台电子计算机以来,信息技术获得空前迅猛地发展。这种发展的内在驱动力是将阳光下所有的事物都“数据化”。 目前,伴随着互联网Web2.0、物联网手机、GPS和光电感应器等技术和硬件出现,数据如井喷一样大量涌现。有资料显示,1998年全球网民平均每月使用流量是1MB(兆字节),2000年是10MB,2008年是1GB(1GB等于1024MB),2014年将是10GB。我国网民数居世界之首,3G手机拥有者达4.2亿,每天产生的数据量居世界前列。
当然,仅仅从量的角度来理解大数据是远远不足的。麦肯锡全球研究所报告《大数据:创新、竞争和生产力的下一个前沿》对“大数据”的含义进行了界定:大数据是指大小超出了传统数据库软件工具的抓取、存储、管理和分析能力的数据群。对这种一个定义,我们还可以从大数据4V特点加以理解。所谓4V(Volume 、Variety、 Velocity 、Value)是由描述大数据特性的四个英文词的字首字母所形成的:
一是数据量巨大(Volume),数据已从 TB 级别跃升至 PB 级别;
二是数据类型多样化(Variety),有网络数据、企业和事业单位数据、政府数据,网络数据又有媒体数据(比如社交网络、博客、微博等)、日志数据(比如搜索引擎,大家上网等等都会留下很多足迹)、还有富媒体数据(视频音频等等),类型纷繁,已无规律可循,其中非结构化数据所占比例逐年增大;
三是密度低而价值大(Value),以视频为例,在连续不间断监控过程中,可能有用的数据也许只有一两秒,即所谓密度低,是对大量的数据通过“沙里淘金” 的数据挖掘,可是里面又藏着巨大的价值;
四是处理速度快(Velocity),及时分析对某些应用才更有意义,立即处理慢慢的变成了趋势之一,业内的“一秒定律”认为,各种处理必须在1秒钟内完成高速实时处理。
从大数据的本质上来说,“大数据”所代表的是当今社会所独有的一种新型的能力,通过对海量数据来进行分析,获得有巨大价值的产品和服务,获取更深刻的洞察力。在大数据时代,数据已经成为一种新的经济资产类别,就像货币或黄金一样。
(一) 大数据将丰富甚或根本上改变人类探索未知世界的方式、思维方法与人的行为方式
在小数据和模拟数据时代,人们总是强调“为什么” 来认识世界。物理、化学等自然科学里,科学家要在实验室通过反复试验来检验理论或定律为什么是正确的;天文学、经济学等学科则根据理论来推测现象,或根据历史数据来验证。只有理论与数掂验证一致,才算揭示了现象背后的因果关系,才算回答“为什么”。
在大数据时代,人们更多强调的是“是什么” 的问题,也就是寻找事物背后的相关关系。譬如说,研究人员利用大数据,不是试图弄懂发动机抛锚或药物副作用消失的确切原因,研究人员可以收集和分析大量有关此类事件的信息及一切相关素材,找出可能有助于预测未来事件发生的规律。加拿大的研究人员正在开发一种大数据手段,以便能在明显症状出现之前发现早产婴儿体内的感染。通过把包括心率、血压、呼吸和血氧水平等16种生命体征转化成每秒1000多个数据点的信息流,他们已经能够找到极其轻微的变化与较为严重的问题之间的相关性。也就是研究人员与医生关注相关关系胜过因果关系。
在大数据时代,人的行为方式也将发展某种程度的变化。以往一般都是先想好要解决什么问题,再去获取相应的信息;而到了大数据时代,思维方式就变成了先尽可能多地占有信息,遇到问题时再从这海量信息中去“挖掘”解决方案。这两者的区别就像普通相机与光场相机(light field)的区别。据美国科技博客网站Venturebeat的报道,2012年3月,美国硅谷创业公司Lytro开发的光场相机正式上市。与普通相机不同,光场相机可以在拍摄完照片之后再对焦,具体生成的照片聚焦在什么位置,可以在拍摄完成之后根据需要再决定。
第一,大数据正在改变企业的营销手段。企业的传统营销手段是集中推销和各种广告宣传,更原始的办法是用大量的劳动力发传单推销产品。比如说我们今天在公交车站拿到的各种各样房地产推销广告就是如此。而在大数据的时代,企业可以充分利用大数据进行精准高效与低成本营销。著名的亚马逊公司在此方面做出了开拓性偿试。当你在网上挑选某一类图书时,亚马逊除了不能像在书店实体翻书以外,其它方面服务与书店无异。重要是,亚马逊通过大数据能时实知晓购书者的偏好,精准推荐相关图书,方便消费者选购,扩大销售量。由于它的创新和独特营销模式,亚马逊己成为全球商品品种最多的网上零售商和全球第二大互联网公司。 第二,大数据将为企业拓展广阔的新型服务与渠道。例如,日本先进工业技术研究所的科学家通过在汽车座椅下部安装压力传感器,把人体特征转化成数据,然后把数据进行量化后做成能识别车主的防盗系统。有了这个系统后,如果架驶员不是车主,系统就会要求司机输入密码,如密码不对,汽车会自动熄火。这种能把一个人的坐姿数据化后,则预示着一些切实可行的服务和一个前途光明的产业。比如说,通过汇集数据,利用故事发生之前的坐姿变化情况,分析出坐姿和行驶安全之间的关系。同时,通过汇集数据,可以发现汽车被盗以及盗贼身份。
第三,在大数据时代,企业管理决策越来越受到大数据的分析和预测功能的影响。以美国网飞公司(Netflix)成功推出全球首部网络剧《纸牌屋》为例。网飞公司是世界上最大一家在线影片租赁提供商,并非传统的影视制作公司,为什么能首次推出一部作品就能获得第65届艾美奖最佳导演和最佳选角两项大奖呢?个中原因是大数据在公司决策过程中起了关键性作用。无论是《纸牌屋》剧本的挑选,还是导演、演员的选定,网飞公司都是根据其庞大的用户数据库作为科学决策的依据,依靠数据分析抓住观众的喜好。《纸牌屋》推出之后,迅速成为美国各大社交网站的热门话题,其明星效应使得该剧的口碑、点播率大获成功。《纸牌屋》进入中国后,首先在美剧迷中掀起交流高潮,继而由美剧迷在网络中发起的分享行为进行扩散。所有这些都是对传统影视公司商业模式的一种颠覆,也成就一个网站主导、数据先行的商业传奇故事。
实事表明,大数据在政府和公共服务领域的应用,可有效推动政务工作开展,提高政府部门的决策水平、服务效率和社会管理水平,产生巨大社会价值。2009年,谷歌公司通过把 5000万条美国人最频繁检索的词条和美国疾控中心在2003年至2008年间季节性流感传播时期的数据进行比较,成功预测了当年甲型H1N1流感的爆发及其传播源头,远早于疾控中心官方。
还有,大数据能够提高安全保障能力。大数据在国防、反恐、安全等领域的应用,将对各部门搜集到的各类信息进行自动分类、整理、分析,有效解决情报、监视和侦察系统不足等问题,提高国家安全保障能力。2013年4月15日,美国马萨诸塞州波士顿发生了震惊世界的马拉松爆炸案,相关调查机构通过采集案发现场附近10TB左右的数据(其中包括移动通信基站上的电话通讯记录,附近商店、加油站、报摊的监控录像,以及志愿者提供的图片和影像资料),从而迅速锁定并令犯罪嫌疑人现形。
另外,通过收集数据,进行车流量的统计,再进一步对这些数据做多元化的分析就能够将交通信息可视化,对同时段不同区域拥堵原因做出分析,这种分析为如何规划道路,是拓宽还是改道提供了参考的标准。大数据的应用一方面通过预警疏散交通压力,一方面为合理规划提供参考,双管齐下,交通难题的解决就轻松不少。
最值得一提的是,联合国(微博)已经推出了名为“全球脉动”(Global Pulse)的新项目,希望利用“大数据”来促进全球经济发展。联合国将进行所谓的“情绪分析”,使用自然语言解密软件来对社交网站和文本消息中的信息作出分析,用来帮助预测某个给定地区的失业率、支出削减或是疾病爆发等现象,其目标在于利用数字化的早期预警信号来提前指导援助项目,以阻止重新陷入贫困等困境。
随着互联网、移动互联网快速发展和3G手机的普及,我们每个人几乎每时每刻都在产生数据,而这些数据不再私有、不再神秘。也就是说只要我们上网和使用手机,我们的相关数据在毫无知晓的状态下被一些大数据公司收集。有人说iPhong就像一个“移动间谍” 是有道理的,因为它在用户不知情的情况下收集位置和无线数据后传回苹果公司,其它谷歌安卓系统和微软windows系统手机也都是一样的。当数据形成资源体现价值时,地球人所面临的共同问题是如何保护自己的隐私权。
这一棘手的问题,在具有强调集体轻个人的传统的中国,个人的隐私将会受到更大的威胁;即使是在具有完备法律保护隐私权的西方,面对大数据时代的到来,也颠覆了当下隐私权保护法以个人为中心的思想。特别是数据价值与作何用途,既使是收集者也无法事前告知,这是因为海量数据经过大数据挖掘,就会产生许多意想不到的新用途。因此,如何完善隐私权的法律体系与提高保护个人隐私权的伦理道德水平,成为了在大数据时代下夯实保护人类尊严和个人自由的基石。
2012年瑞士达沃斯论坛上发布的《大数据大影响》报告称,数据已成为一种新的经济资产类别,就像货币或黄金一样。美国在大数据发展与应用方面已经形成较为普遍的共识,奥巴马政府已把“大数据”上升到国家战略层面。2012年3月29日,奥巴马政府宣布启动《大数据研究和发展计划》,同时组建“大数据高级指导小组”,涉及美国国家科学基金、国家卫生研究院、能源部、国防部等6个联邦政府部门,宣布将启动2亿美元的投资计划,提高从大量数据中访问、组织、收集发现信息的工具和技术水平,这使得美国成为全球首个将大数据从商业行为上升到国家意志和国家战略的国家。奥巴马政府认为,大数据是“未来的新石油”,一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分,未来对数据的占有和控制甚至将成为继陆权、海权、空权之外国家的另一个核心资产。
英国政府从2011年11月就发布了对公开数据进行研究的战略政策,英国的目标不只是要成为世界首个完全公布政府数据的国家,英国还应该成为一个国际榜样,去探索那些公开数据在商业创新和刺激经济增长方面的潜力。2012年5月英国政府建立世界上上首个开放式数据研究所ODI(The Open Data Institute),标志着英国政府研究和利用开放式数据方面的一次里程碑式发展。 我国要发展好、应用好大数据,应把大数据产业上升到战略高度,强化全民数据意识,树立以数据提高效率、提升精细化和智能化水平的意识,从国家层面推动大数据的收集、分析和应用。2012年5月,我国召开第424次香山科学会议,这是我国第一个以大数据为主题的重大科学工作会议目前已有迹象表明,大数据将成为国家优先发展战略。
大数据发展的障碍,在于数据的流动性和可获得性。在开放数据的历史潮流中,美国是走在最前列的国家。2009年1月,奥巴马总统入主白宫后,第一件事就是要求联邦政府各部门通过“一站式”政府数据下载网站()向社会公开各类非保密的数据库。2010年,美国国会通过更新法案,进一步提高了数据采集精度和上报频度。截至目前,data.gov上有超过40万种各类原始数据文件,涵盖了农业、气象、金融、就业、人口等近五十个门类,汇集了数千个应用程序和软件工具。数据的集中、开放、共享及对数据的应用支持,极大地方便了美国各界对大数据的利用。2010年9月23日,奥巴马总统在联合国大会发言,其目的是把“建立前所末有开放政府”的理念推进到国际社会。2011年9月20日,美国、挪威、墨西哥等八个国家在纽约集会,宣布成本“开放政府联盟”(OGP),并发布了《开放政府宣言》。
截至目前己有60个国家和地区加入了该联盟。迄今中国仍没有加入,这种状况与我国已是世界第二大经济体的地位是极不相称的。开放政府不仅是融入国际大趋势的需要,也是解决政府改革相对滞后与国内尖锐矛盾的有效途径。当前我国政府面临着政务公开、决策科学民主、公信力低下和官员腐败等诸多深层的问题,在大数据时代已经到来的今天,政府只有通过开放数据,才能有效解这些深层次矛盾。
所谓数据文化,就是尊重事实、推崇理性、强调精确的文化。由于文化传统、经济发展滞后与现实的政治等因素,导致中国数据的公信力弱、质量低,数据定义的一致性差等一些无容否认的事实。2008年经济学诺贝尔奖得主克鲁格曼曾抱怨,他能看得懂日本经济数据,却看不懂中国经济数据,言下之意是质疑中国数据的可信度。面对大数据时代的来临,政府应该首先垂范发挥主导作用,并在公共领域推行数据治国的理念。
尽管我们有深入群众、实地考察的工作传统,但在公共决策过程中,我们还要依靠系统的数据进行科学决策,而不是凭个人经验和长官意志。也就是说,政府在决策过程中,要系统收集数据,依靠数据进行科学决策,杜绝主观主义和官僚主义的作风。与此同时,政府应加大数据治国的舆论宣传,将数据的知识纳入公务员的常规培训体系之中,力争在全社会形成“用数据来说话、用数据来管理、用数据来决策、用数据来创新”的文化氛围和时代特点。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。因此,处理大数据的创新型复合人才是企业、国家在竞争中制胜的关键。据盖特纳咨询公司预测,大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万,缺口14万—19万人;需要既熟悉本单位需求又了解大数据技术与应用的管理者150万,这方面的人才缺口更大。
中国人口世界第一,不仅拥有巨大海量的大数据,而且是人才大国,但能理解与应用大数据的创新人才更是稀缺资源。与美欧相比较,中国在这两方面都有相当大的差距。尽管美国这样的科技人才大国强国也存在着大数据专业人才稀缺的问题,但我们应清醒认识到,美国具有完备的思想市场与世界最发达的教育体系。一方面美国可以吸引全世界最优秀学生前来求学,另一方面也能吸引欧盟、俄罗斯、印度和中国等国的大批数学家和统计学家去美国工作。因此,美国在创新型人才方面具有巨大优势。反观中国,我们在思想市场和教育体制两方面都差强人意,特别是我国中小学应试教育体制严重落后于大数据时代的需要,因为这种教育体制只能培养与机械工业相适应的应用型科技人才和熟练工人,不能大批地培养出具有开拓精神的创新型人才。面临大数据时代带来的机遇与挑战,我们有理相信,加快中国的教育和人才培养模式的改革加快培养适应大数据时代需要的创新型人才,是实现中华民族复兴大业的重要基础。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。举报投诉
并衍生为一种文化”[1]。20世纪末的计算机网络,不仅把人们带进了21世纪,而且
以指数级别增长,使得人们的传感器、移动设备、应用程序等多种技术,以及互联网平台和社交媒体成为了
百度AI开发者大会:2021百度AI开发者大会举办,百度公司创始人李彦宏表示人机共生
。还称未来10年,AI将成为改变世界的有力工具,对AI赋能产业应用与落地进行了分享。
大会的重头戏是“智能交通”。百度创始人、董事长兼CEO李彦宏在开场演讲中表示: “智能交通将是影响未来10-40年的重
,可使5年之内中国一线城市将不再需要限购和限行,10年之内基本解决拥堵问题。”
11月26日,在330千伏成县变330千伏天成线线路上空,一架“无人操控”的多旋翼无人机按照既定航线,实现“站到站”的自动巡视、
画面回传等高压线路巡视工作全过程场景应用。此举标志着陇南供电公司无人机巡线工作实现从“人工机巡”迈向“自动机巡”的重
在进步,科技在发展,每年都会有很多技术出现,近两年提的很多,便是5G技术,5G
的透明人... 作者 林檎 责编 梓 曾几何时,当你用谷歌搜索关键词咖啡,接下来,你发现在Facebook、Instagram... 等社交媒体上,你开始频繁刷到有关咖啡
,因为有明确的案例需要整合人工智能,而不是那些可能多年未产生投资回报的空中使用案例。”
,借助于5G高速率、低延时、大带宽的特性,全球物联网产业革命随之兴起,不过物联网产业飞速发展的情况下信息等安全问题日益凸显,所以为迎来“万物互联”,必须是“安全先行”。
的机遇与挑战,这需要半导体行业整个生态链的合作。应用材料公司同样致力于与行业生态共同合作研发在人工智能
,以区块链、工业互联网、人工智能、5G为代表的信息科技发展迅速,科技与经济的融合给经济与社会
“人工智能的普及及进一步推广,已彻底改变传统视频监控现状,智能视频加速推进。如何解决人工智能新
字经济体。当前,以数字经济为代表的新经济,慢慢的变成了中国高质量发展的新动能。未来20年,中国的数字经济将进入以人工智能为核心驱动力的新阶段,预计将
10月22日,在深圳市照明与显示工程行业协会主办的“2019超高清显示技术创新发展(深圳)研讨会”上,日月成科技总经理赵一尘作了《
算力在云、管、边、端的重新配置,而AI解决人与及其的自然交互,使智慧和智能泛在。
、人工智能等金融科技的发展正在深入到风险管理、资产定价等金融核心领域,推动着金融业向智能化方向发展。在支付清算领域,人工智能将给支付服务提供者
,会取代许多重复性的工作,减少人工干预环节,促进企业由劳动密集型的“作业团队”转变为知识密集型的“智慧工厂”。
智能电视可以让人边看节目边在屏幕上淘宝购物;智能烤箱会自动“辨认”食材实现一键烹饪;扫地机器人则能够自行规划清洁路线……生活在如此智能化的家中,该有多轻松惬意!显然,人工智能(AI)技术的迅速兴起,给传统家电业
的核心就是预测。这个核心代表着我们分析信息时的三个转变。第一个转变就是,在
劈斩为了泾渭分明的两个板块:在人工智能到来之前,世界上的一切循规蹈矩,有序进行;人工智能到来之后,未来势必是一个
,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人类对于海量
当中提取信息的常规方式发生了变化。“在技术领域,以往更多是依靠模型的方法,现在我们大家可以借用规模庞大的
2018年10月16日到18日,物联网解决方案世界大会( IoT Solutions World Congress)于巴塞罗那正式举行,沃达丰出席了该盛会并在会上展示了物联网技术
的MPEG4/H264技术开始成熟,在安防行业应用。那时候视频编解码技术给安防行业
数万亿美元经济效益,使得全社会积极拥抱,而半导体厂商、运营商、通信企业和云端等服务商率先享受到因物联网
国际研究暨顾问机构 Gartner 指出,根据人工智能技术成熟曲线%人工智能技术尚未进入成熟期的起点,甚至来到2022年时,54%人工智能技术应用也无法达到技术成熟期、没办法进入主流市场,但长久来看有85%的人工智能技术将为产业
的到来,将自动化流水线生产制造模式逐渐向互联自动化智能化生产制造模式过渡。而要怎样实现工业4.0中提到的大规模定制化生产?制造业服务化?生产柔性化
;2007年Apple推出的首支iPhone,让行动运算跃居产业技术主流;2015年底,AlphaGo开始挑战并连败全球职业围棋棋士,则被多数产业的人表示是这波AI浪潮最重要推力。
技术是推动媒体进步的动力。人工智能的发展,推动新闻业直接从手工业阶段跨越到流水线大工业
,从内容生产、渠道分发、用户个人信息反馈,新闻业正在经历有史以来最为震撼的
。 2017年,人工智能技术再一次成为传媒行业呼声最高的关键词之一。写稿机器人一遍遍刷新着采写新闻的速度。
据报道,今日IHS Markit发布2018年八大技术趋势预测,行业正在经历的一波新的技术浪潮,新技术的加持将
今年科技业最火的议题,莫过于物联网。国际研究暨顾问机构Gartner预测,2017年全球使用中的连网对象数量将达到84亿个,较2016年增加31%,到2020年更将增至204亿个,此外2017年端点与服务相关支出金额也将达2兆美元大关。
国外科技媒体BGR日前分析称,美国苹果公司可能在下一代iPhone产品中加入远程无线充电技术。如果属实,这将是自2007年推出首款iPhone以来,全球智能手机行业迎来的最
基础架构中最为关键的核心,国产下一代存储器如何突破国外厂商的垄断,研发出拥有自主知识产权的高端存储技术。
全球人机交互解决方案的领先开发商Synaptics公司宣布,面向马上就要来临的万物互联
机器视觉与安全监控市场商机正滚雪球般快速扩大。在各国安防政策推波助澜下,全球智能视频应用数量正倍速成长,甚至从一线城市扩及至二三线城市,带动大型监控公共标案与日俱增,并激励具备高分辨率与智能视频分析功能的IP摄像机市场需求快速攀升。市场巨大需求亟待寻求视频技术
促LED产业高质量发展 古镇镇镇长苏恩明日前向记者透露,古镇灯饰业正在悄然转身,逐步实现灯饰和L