中国10亿级参数规模以上大模型已发布79个

5月28日,在北京举行的中关村论坛平行论坛“人工智能大模型发展论坛”上,中国科学技术信息研究所所长赵志耘发布了《中国人工智能大模型地图研究报告》。

报告显示,中国大模型呈现蓬勃发展态势。近年来,中国大模型技术沿各技术路线迅速发展,在自然语言处理、机器视觉和多模态等领域涌现出多个具有行业影响力的预训练大模型。

中关村论坛平行论坛“人工智能大模型发展论坛”现场。论坛方供图

现场,赵志耘解读称,中国大模型的各种技术路线都在并行突破,特别是在自然语言理解、机器视觉、多模态等方面,出现了多个在行业有影响力的大模型。据不完全统计,到目前为止,中国10亿级参数规模以上大模型已发布了79个。

报告指出,中国大模型地域和领域分布相对集中。从地域分布看,有14省份均在开展大模型研发,主要集中在北京、广东两地,其中北京有38个大模型,广东有20个大模型。从领域分布看,自然语言处理仍是目前大模型研发最为活跃的重点领域,其次是多模态领域,在计算机视觉和智能语音等领域的大模型还较少。从研发主体分布看,大学、科研机构、企业等不同创新主体都在积极参与大模型研发,但学术界与产业界之间的联合研发仍不足。

报告显示,北京、广东、浙江、上海等地的大模型数量最多;同时这4个地方也是近三年人工智能服务器采购数量最高的地区。

值得注意的是,北京、江苏、广东、上海等是大模型人才相对较多的地区,为大模型研发提供了关键的智力要素支撑。但另一方面,大模型具有较高门槛,需要高素质AI人才,目前各地大模型人才数量均不充足。

此外,从学术影响力看,北京、广东、上海三地,不论是论文发表量还是引用量,都居国内最高。

报告指出,中国大模型研发团队积极推进大模型开源发展,目前已经有超过半数大模型实现开源。北京、广东、上海三地开源数量和开源影响力均居国内前三。其中,高校及科研机构是开源的主力。

针对当前国内大模型发展情况,报告提出四点建议和展望:

一是加强资源和研发力量统筹,促进大模型有序发展。加强智算中心、超算中心、云计算中心等计算资源的统筹,制定公共数据共享目录和共享规则,推动数据分级分类有序开放。

二是加快基础研究和技术创新,提升学术和开源影响力。大模型技术仍处于发展初期,潜在的基础理论和技术创新空间巨大,通过蒸馏、量化等小型化技术实现模型“瘦身”,为大模型小型化、绿色化发展提供技术支撑。同时,进一步加强产学研合作,鼓励大模型开源开放,也将加速大模型技术进步。

三是强化大模型发展中的场景牵引作用,打造大模型标杆项目。以行业专有训练数据集为基础,打造金融、医疗、电力等领域的专业大模型,将率先特定业务场景实现高质量应用突破,也将通过应用场景和应用数据反向促进大模型技术迭代升级。

四是强化国际合作,积极参与全球人工智能治理。以负责任的态度共同推进大模型治理,加快人工智能治理原则和伦理规范在大模型研发全链条落地生根,在增进共识的基础上加强人工智能治理全球协作。