【48812】中国电信发布全球首个单体稠密万亿参数语义模型Tele-FLM-1T
日期:2024-06-28 13:13:41   来源:场景税务

  近来,在北京智源大会上,中国电信人工智能研究院(TeleAI)联合北京智源人工智能研究院发布全球首个单体稠密万亿参数语义模型Tele-FLM-1T,成为国内第一批发布稠密万亿参数大模型的组织。

  针对大模型练习算力耗费高的问题,TeleAI与智源依据模型成长和丢失猜测等关键技能联合研宣布的Tele-FLM系列模型仅运用了业界一般练习计划9%的算力资源。依据112台A800服务器,用4个月完结3个模型总计2.3T tokens的练习。模型练习全程做到了零调整零重试,算力能效高且模型收敛性和安稳才能好。Tele-FLM-1T版别行将开源,希望为社区练习万亿稠密模型供给技能参阅,防止万亿模型练习收敛难等问题。

  作为最早布局并首要开源大模型的央企组织,TeleAI在中国电信CTO、TeleAI院长李学龙带领下,坚持全链路彻底自主研制立异,上一年便发布了千亿参数“星斗”语义大模型,功能处于国内同等级参数模型的前列。本年2月,TeleAI自主研制的星斗大模型初次经过了“境内深度组成服务算法存案”。随后,在5月15日,依据北京市生成式人工智能服务存案信息公告,星斗大模型再次经过产品存案。“双存案”标志着星斗大模型可正式对外供给生成式人工智能服务。

  一起,TeleAI也活跃经过开源推动大模型技能前进和大模型国产化进程,加快研制立异,连续开源7B、12B、52B参数规划大模型,招引国内外开源社区开发者广泛评论和运用,开源模型下载量过万,堆集超40W+用户。跟着TeleChat系列模型的发布,TeleAI也同步对多个大模型落地项目进行了才能晋级,显着提高了项目交给的质量。在某市民生诉求场景项目上,经过引进TeleChat-52B模型才能,全体使用作用提高40%,达到了职业界领先水平。一起,在长文生成和常识采编等多个使用领域,也取得了明显的前进。

  此外,依托中国电信在多个职业深耕多年的深沉优势与丰厚经历,携手职业领军者一起打造了掩盖教育、政务、应急等超越20个职业的大型模型。并经过一直在晋级的语音、视觉以及多模态大模型技能才能,一起推动大模型技能与各职业的深层次地交融,助力千行百业改变开展方法与经济转型。未来,TeleAI也将进一步为客户、生态同伴、开发者及个人用户等供给前沿的AI才能,赋能千行百业革新的一起也提高个人工作效率和日常日子便利性,实在推动国内AI技能前进及落地使用,加快全社会迈向通用AI年代。