并行计算:发展人工智能-并行计算的突破
日期:2024-06-15 06:16:00   来源:数据采集转换类

  计算能力是人工智能的基础,大规模并行计算技术的突破使AI的发展出现了一个向上的转折点。并行计算也称为并行计算(用于相对于串行计算),并行计算是一种可以同时执行多条指令的算法,并行计算的目的是通过扩大问题求解的规模,提高计算速度,解决大型复杂的计算问题。所谓的并行计算可大致分为时间并行和空间并行。时间并行是指流水线技术,而空间并行是指由多个处理器并行执行计算。

  并行计算是利用多种计算资源同时解决计算问题的过程,他是提高计算机系统计算速度和解决能力的有效手段。他的基本思想是用多个处理器来解决同一个问题,即将要解决的问题分成几个部分,每个部分由一个独立的处理器并行计算。一个并行计算系统能是一个专门设计的多处理器的超级计算机,也可以是以某种方式相互连接的多立计算机的集群。通过并行计算集群完成数据处理,然后将处理结果返回给用户。

  冯·诺依曼体系结构的串行结构使计算机不足以满足人工智能的硬件要求,而近年来云计算的出现至少部分地解决了这一问题。云计算的基本技术是并行计算(将大规模的计算任务拆分,然后将其分配到云中的每个节点进行分布式计算,最后对结果进行统一的收集和处理),大规模并行计算能力的实现使AI向前迈进了一大步。

  云计算的本质是一种基础设施管理的方法论,将大量的计算资源整合到IT资源池中,动态创建高度虚拟化的资源供用户使用。在云计算环境中,所有的计算资源都可以从硬件基础设施中动态增减,以满足工作任务的需要。云计算基础设施的本质是通过集成、共享和动态硬件设备供应,最大限度地利用IT投资,这大幅度的降低了使用云计算的单位成本,非常有利于人工智能的商业运营。

  云计算技术普及的日益成熟也是推动人工智能发展的一大重要的条件,虽然服务器和其他硬件设备的性能得到了很大的提高,并且降低了成本,但要大量的硬件设备来实现人工智能所要求的强大的计算和存储能力。如果只在本地设置服务器,不仅投资巨大,占用大量物理空间,而且在功耗和散热方面也面临很大挑战。云计算通过大规模、分布式的并行计算,可以整合分布在不同空间的计算资源,为获得强大的计算能力提供了一种方便、廉价的途径,很好地解决了这一问题。

  为了满足视频游戏中大量的视觉和并行计算需求,需要每秒多次重新计算数百万像素。为完成这项任务,我们应该一个特殊的并行计算芯片,即图形处理单元(GPU)芯片,作为PC主板的补充。图形处理单元(GPU)芯片的应用使电子游戏的性能得到了极大的提高。斯坦福大学的吴恩达(AndrewNg,现在加入了百度)和他的团队意识到GPU芯片可以并行运行神经网络。