大数据有四个特征即“4V”。一是Volume,数据量巨大。二是Variety,数据的类型多,有数字、图像、视频、声音、文本等各种各样的形式。三是Velocity,速度处理的要求高。业内的“一秒定律”认为,各种处理必须在1秒钟内完成高速实时处理。四是Value,价值大、密度低。对于大量的数据我们可能不能在很短的时间内分析出来,可是里面又藏着巨大的价值,所以要“沙里淘金”。
世界进入“拍字节(PB,Petabyte)是大数据爆发的临界点,中国国家图书馆藏书是2631万册,相当于41TB,美国国家图书馆是1.5亿册,相当于235TB,一个PB相当于4.36个美国国家图书馆的数据量。2020年,全球的数据量达到50ZB,已确定进入了大数据时代。随着5G的普及和万物互联的发展,美国IDC(数据中心)协会预计2025年全球数据量将达到163ZB。
数字经济是一种新型经济形态,以数字化的知识和信息作为关键生产要素,以数字技术为核心驱动力量,以现代信息网络为重要载体,通过数字技术与实体经济深层次地融合,逐步的提升经济社会的数字化、网络化、智能化水平,加速重构经济发展与治理模式的新型经济形态。
2020年4月9日,《中央国务院关于构建更完善的要素市场化配置体制机制的意见》正式将数据纳入生产要素。数字化的经济时代,数据、算力、算法将是全社会智能化转型的核心要素。社会在数字化转型过程中,面临的最大挑战,就是运用区块链、人工智能、5G、大数据等技术方法,帮助各行业进行数字化升级。
2021年是“十四五”开局之年,中国将开启国内大循环为主、国内外双循环的新发展格局。面对新发展趋势和规划,数字产业化和产业数字化将成为未来的主要发展方向。
习高度重视大数据产业高质量发展,指出要推动实施国家大数据战略,加快建设数字中国。人类社会正在进入数字生产力快速崛起的历史新阶段,大数据正在深刻影响全球科学技术创新、产业结构调整和经济社会持续健康发展。要夯实算力和人才基础,加强算力基础设施建设。
十三届全国人大四次会议2021年3月11日表决通过《十四五规划和2035年远大目标纲要》,其中第五篇为“加快数字化发展,建设数字中国”。特别强调“迎接数字时代,激活数据要素潜能,推进网络强国建设,加快建设数字化的经济、数字社会、数字政府,以数字化转型整体驱动生产方式、生活方式和治理方式变革。”
国家发改委2020年4月20日首次明确新型基础设施是以新发展理念为引领,以技术创新为驱动,以信息网络为基础,面向高水平发展需要,提供数字转型、智能升级、融合创新等服务的基础设施体系。新型基础设施最重要的包含三个方面内容:
一是信息基础设施。指基于新一代信息技术演化生成的基础设施,主要有:以5G、物联网、工业互联网、卫星互联网为代表的通信网络基础设施,以AI、云计算、区块链等为代表的新技术基础设施,以数据中心、智能计算中心为代表的算力基础设施等。
二是融合基础设施。主要是指深度应用互联网、大数据、人工智能等技术,支撑传统基础设施转型升级,进而形成的融合基础设施,比如,智能交通基础设施、智慧能源基础设施等。
三是创新基础设施。主要是指支撑科学研究、技术开发、产品研制的具有公益属性的基础设施,比如,重大科学技术基础设施、科教基础设施、产业技术创新基础设施等。
根据IDC最新发布的统计数据,中国的数据产生量约占全球数据产生量的23%,美国的数据产生量占比约为21%,全球别的地方数据产生量占比约为56%。
中国数据产生量全球第一,而截至2020年底,全球大型数据中心597个,美国占39%,中国只占10%,海量的数据加庞大的市场,尤其要求我们加快数据中心的新基建。
根据《关于加快构建全国一体化大数据中心协同创新体系的指导意见》(发改高技〔2020〕1922 号)部署要求,为加快建设全国一体化大数据中心算力枢纽体系制定的方案。由国家发展改革委、中央网信办、工业与信息化部、国家能源局于2021年5月24日印发《全国一体化大数据中心协同创新体系算力枢纽实施方案》。
在方案中明白准确地提出:“推动核心技术突破。加大服务器芯片、操作系统、数据库、中间件、分布式计算与存储、数据流通模型等软硬件产品的规模化应用。支持和推广大数据基础架构、分布式数据操作系统、大数据分析等方面的平台级原创技术。组织科研院所、高校、企业、技术社区等力量协同研发和应用关键技术产品,提升大数据全产业链自主创造新兴事物的能力。”
二是低成本。无需自建计算与存储服务集群,分布式计算与存储成本远远低于中心化存储。
三是高可靠。中心化计算与存储容易因为服务器或者网络的安全故障导致整体瘫痪,分布式计算与存储轻易不可能会出现这种问题。
四是安全系数高。分布式计算与存储多以区块链为底层技术,通过访问密匙对访问者身份进行检验确定,多节点记录各类信息,保证数据安全和隐私。
六是易扩展。分布式计算与存储系统能扩展到数百甚至数千个这样的集群大小,并且系统的整体性能可以线性增长。
分布式计算与存储是5G、人工智能、物联网、区块链等前沿技术落地应用的过程中,必不可少的一个基础设施,也是湖南省三高四新战略的重要基础,也是我国全方面进入数字社会的伟大征途的必经之路。
我们要积极做出响应国家号召以及省委省政府、市委市政府的战略部署,推动分布式计算与存储技术规模化应用。
分布式计算与存储行业正处早期蓬勃发展阶段,虽然蕴含着巨大的市场和空间,但技术标准、行业规范、监管指导、产业配套等层面还存在着较大程度的缺失和错位,长沙市分布式存储技术应用行业协会将重点开展以下工作:
分布式存储与区块链的结合应用,加快了分布式存储的应用推广。但与此同时,炒作区块链概念的违法活动也层出不穷,分布式存储也被一些资金盘和传销团队借名进行各类非法活动。协会将加强行业自律,规范运作,禁止借助分布式存储从事违法活动,破坏行业发展。
另一方面,由于分布式存储在技术层面上解构了原有的互联网内容服务供应商的主体权利,有几率会使不法分子利用分布式网络的特性存储并传播盗版、暴恐等非法内容。长沙市分布式存储技术应用行业协会将建立行业标准和规范,指导行业健康发展。
分布式计算与存储作为下一代互联网的底层基础设施,从技术上仍然有非常多的核心问题亟需突破。恶意攻击导致网络瘫痪、崩溃的可能性依然很高。网络瘫痪崩溃所带来的打击将是非常巨大的,且会造成行业不可挽回的损失。
各企业由于自有研发技术能力和资源投入的限制,都无法单独抵御来自技术方面的风险。长沙市分布式存储技术应用行业协会将整合行业的技术力量,加强技术交流与共享,在技术层面进行系统防范,加快技术完善,促进分布式计算与存储行业的健康发展。
目前分布式存储生态中已经有上百种很多类型的应用,囊括社会化媒体、音乐、视频、博客到社区管理、游戏等等。不过这些应用,都还不具备大规模商业化的条件。很多项目真正大规模、商业化的推广和应用还有非常长的路要走。
对于分布式存储而言,无论是个人用户还是企业用户,在实际落地过程中,体验和成本是两项很重要的指标。便捷性、安全性、可靠性、一致性以及价格的高低,将直接影响着分布式存储在所有的领域的应用中所能达到的规模,然而由于行业早期的特性,诸多体验和成本距离真正的商业化应用还有非常长一段路要走。这也就从另一方面代表着分布式存储行业的从业者们,还需要耐心地在各自的领域中持续耕耘和长期等待。
长沙市分布式存储技术应用行业协会将集合行业的力量,支持优秀项目率先实现商业化和规模化应用,为分布式存储行业树立标杆和榜样。
面对市场风险,单枪匹马作战难免寡不敌众,强强联合提供多元化服务才能共同抵御市场风险,这也是长沙市分布式存储技术应用行业协会成立的意义所在。
长沙市分布式存储技术应用行业协会将凝聚行业共识、汇聚行业资源、整合技术和产业上下游,一同推动分布式存储产业的稳步落地和健康发展,为5G、人工智能、物联网等技术的落地提供坚实的基础,为全面建设数字社会、智慧城市等国家战略和湖南省三高四新战略提供最紧密的技术服务和产业助力。