新华财经上海4月19日电(记者 罗茂林 郭成林)4月17日,昆仑万维宣布正式发布千亿级大语言模型“天工”,同时宣布即日起启动邀请测试。记者受邀参与了此次内测,从初步体验来看,这款大模型在日常性回答方面表现出色,值得注意的是,在部分需要揣摩情感的题目上,这款大模型也表现出了不错的推理能力。
据了解,“天工”由昆仑万维与国内领先的AI团队奇点智源联合研发,是国内对标ChatGPT的双千亿级大语言模型,也是昆仑万维继AI绘画产品“天工巧绘”后的又一款生成式AI产品。
(资料图片)
在大厂密集发布AI大模型产品的当下,昆仑万维此次推出的“天工”令市场颇为关注。方汉第一时间接受记者独家专访,分享了公司在AI领域的最新布局。
眼下,国内外在AI技术领域上的差距可谓是市场关注的热点。对此,方汉告诉记者,中外的实际情况(差距)恐怕并非大众想象的那么大。“中国在过去二十年,培养了大量的程序员工程师,近十年来在人工智能领域,中国的工程师数量可能仅次于美国。”对于此次OpenAI的崛起,在他看来,更像是“一家公司领先其他公司”,而非“一个国家领先其他国家”。
据了解,成立于2008年的昆仑万维,从网络游戏业务起步,2009年成为中国最早出海的互联网企业之一。基于业务场景洞察,以及对人工智能技术的前瞻性判断,昆仑万维从2020年开始布局AI音乐领域。2022年,昆仑万维从音乐AI往多模态AI拓展,并和奇点智源就百亿级大语言模型、图像AIGC、编程AIGC等技术领域达成全面技术战略合作,在2022年底宣布模型开源。
值得一提的是,作为国内程序领域最早发起开源运动的倡议者,此次方汉带领的“天工”团队,在项目开发过程中也得到了开源社区上百位AI科学家助力。此外,“天工”团队投入大量资源攻克了中文语料库的质量瓶颈,从数十万亿的数据中清洗、筛选出了3万亿单词数据用于训练大模型。
有意思的是,对于“中文素材有限就一定做不出中文AI”这一论调,方汉告诉记者,这实际上是一个普遍存在的误区。“之前我们也认为训练语料的语种会对模型产生此类影响。”然而,随着业内训练模型参数规模不断扩大,一种神奇的“迁移”现象出现了。“我们后来发现,当模型参数规模突破1000亿的时候,模型本身就会发生质变,其中一大特点就是展现出不同语种直接的‘迁移’能力。”
据方汉介绍,在“迁移”现象出现后,即使纯英文训练的模型,在用中文回答问题时也能够表现出不俗的应对能力。方汉笑称,这或许就是AI的触类旁通。
值得注意的是,采访中当谈及当下AI大模型训练的关键点时,不同于大众认知的“缺算力”和“缺数据”,方汉坦言最大的差距将会是不同项目组之间的工程经验积累。
数据上的问题有了AI的“迁移”能力自然不在话下。而从算力上看,“这些年我们的工程师可以通过优化算法,不断抬高算力天花板。”方汉说道,相比之下,对于大模型此类大项目的工程调度,精细化调试将成为最大短板。
方汉解释道:“以训练数据为例,其实业界最难的不是找数据,而是如何给AI投喂数据。什么样的数据不能使用,筛选数据的标准是什么,如何做数据的剪枝、清洗等。通过筛选数据调整参数、改进模型设计才是最核心的机密,这也是OpenAI没有在论文中公开的核心技术。”
对此,方汉坦言国内的团队仍然需要不断地探索,他预言未来的大模型生态主要有两类参与者,一类做底层模型,一类做上层的应用产品。“我认为这个生态会相对均衡,不会一家独大。”采访最后,方汉颇为乐观地说道。
编辑:翟卓
标签: