获红杉、今日资本等投资 Moonshot AI的大模型“长文本”征途

2023-10-12 13:21:48    来源:21世纪经济报道    

作为中国版OpenAI的强有力竞争者,杨植麟创办的Moonshot AI近日在北京正式公开亮相。

同为清华系大模型创业者,杨植麟的公众知名度虽然比不上王小川、王慧文等在科技领域富有影响力的大咖,其在AI界早已是赫赫有名。据了解,杨植麟清华求学时期,师从清华大学计算机系知识工程实验室(KEG)带头人,智源研究院学术副院长、悟道项目负责人唐杰教授。最终,他以满分成绩通过所有程序设计课程,并以年级第一的成绩毕业。

2015年,杨植麟进入美国卡内基梅隆大学(CMU)语言技术研究所(LTI),跟随苹果公司AI负责人Ruslan Salakhutdinov和Google AI智能首席科学家William W. Cohen攻读博士位。


(相关资料图)

杨植麟先后以一作身份,发表 Transformer-XL 和 XLNet 两项工作,谷歌学术被引次数近两万。其在过去五年内的NLP领域华人学者引用排名中位居前10,并在40岁以下排名第一。

正如杨植麟在此次媒体沟通会上所说,“我们最主要的特色是高人才密度”。在Moonshot AI大概50人的公司团队中,除了学术背景深厚的杨植麟,还有许多成员都有训练超大模型的经验。其创始团队核心成员参与了 Google Gemini、Google Bard、盘古NLP、悟道等多个大模型的研发,多项核心技术被Google PaLM、Meta LLaMa、Stable Diffusion等主流产品采用。

而除了拥有大量技术人才,Moonshot AI也吸纳了不少产品人才,这些成员中有人具备从0到1 的产品经验,有人运营过几亿DUA的产品。“我们希望把技术和产品结合,在C端让大模型落地产生更大的价值。”杨植麟说。

杨植麟带领的Moonshot AI也迅速获得投资机构的认可,公司自今年三月成立以来,已获得来自红杉资本、今日资本、砺思资本等投资机构近20亿元的投资。

同时,公司在成立半年后,已经在“长文本”领域实现突破。公司在10月9日正式推出首个支持输入20万汉字的智能助手产品Kimi Chat,这是目前全球市场上能够产品化使用的大模型服务中,所能支持的最长上下文输入长度。

直面核心技术挑战,打造长文本大模型

今年以来,ChatGPT的火爆出圈正引领新一波的AI浪潮。各大科技巨头、初创公司纷纷加入这场AI大模型军备赛,热闹程度堪称“百模大战”。

但需要注意的是,当前大模型输入长度普遍较低的现状,对其技术落地产生了极大制约。比如在使用大模型作为工作助理完成任务的过程中,几乎每个深度用户都遇到过输入长度超出限制的情况。尤其是律师、分析师、咨询师等职业的用户,由于常常需要分析处理较长的文本内容,使用大模型时受挫的情况发生频率极高;对于大模型开发者来说,输入prompt长度的限制约束了大模型应用的场景和能力的发挥。

拥有超长上下文输入后的大模型,让这些问题迎刃而解,从而使得大模型的应用可以覆盖更多使用场景。比如通过多篇财报进行市场分析、处理超长的法务合同、快速梳理多篇文章或多个网页的关键信息、基于长篇小说设定进行角色扮演等等,都可以在超长文本技术的加持下,成为人们工作和生活的一部分。

值得注意的是,长文本技术的开发,存在一些对效果损害很大的“捷径”。比如“金鱼”模型,特点是容易“健忘”。通过滑动窗口等方式主动抛弃上文,只保留对最新输入的注意力机制。模型无法对全文进行完整理解,无法处理跨文档的比较和长文本的综合理解。

“蜜蜂”模型,特点是只关注局部,忽略整体。通过对上下文的降采样或者RAG(检索增强的生成),只保留对部分输入的注意力机制,模型同样无法对全文进行完整理解。“蝌蚪”模型,特点是模型能力尚未发育完整。通过减少参数量来提升上下文长度,这种方法会降低模型本身的能力,虽然能支持更长上下文,但是大量任务无法胜任。

“不管是‘金鱼’模型、‘蜜蜂’模型,还是‘蝌蚪’模型,都没有办法真正达到产品化的效果。只有真正去面对核心技术挑战、正面解决问题,才有可能真正达到产品化的效果。所以我们做了非常多算法和工程的优化,在存储、算力、带宽等各方面,去实现真正可用、可产品化的长文本大模型。”杨植麟说。

基于此,Moonshot AI推出智能助手产品Kimi Chat。相比当前市面上以英文为基础训练的大模型服务,Kimi Chat具备较强的多语言能力。例如,Kimi Chat在中文上具备显著优势,实际使用效果能够支持约20万汉字的上下文,2.5倍于Anthropic公司的Claude-100k(实测约8万字),8倍于OpenAI公司的GPT-4-32k(实测约2.5万字)。

“当然,更长的上下文长度只是Moonshot AI在下一代大模型技术上迈出的第一步,未来团队将持续加速大模型技术的创新和应用落地。”杨植麟说。

清华系大模型同台竞技,笃定2C阵营会有Super APP出现

虽成立只有半年时间,Moonshot AI已经获得来自红杉资本、今日资本、砺思资本等投资机构的追捧。

“眼下,美国硅谷的OpenAI和Anthropic等公司获得了多方关注,实际上在国内,拥有足够多技术储备的Moonshot AI也正成长为全球领先的AGI初创公司。”作为Moonshot AI首轮融资的三家投资机构之一,砺思资本创始合伙人曹曦说。

在曹曦看来,多模态大模型是各家AI厂商竞争的关键领域,其中长文本输入技术更是其核心技术之一,Moonshot AI团队最新发布的大模型和Kimi Chat在这方面实现了重要突破,并已应用于多个实际场景。

毋庸置疑,AI天才杨植麟是清华系大模型创业者中的闪耀新星。事实上,清华系创业者已经撑起大模型创业的半壁江山。百川智能、生数科技、面壁智能、深言科技、智谱AI、一流科技等大模型创业公司,均拥有清华背景的创始团队。

在这场清华系创业公司的同台竞技中,杨植麟坦言,这更多的是大家共同在大模型领域产生贡献。这里面的空间非常大,很难有一家公司就可以把所有的事情都做了。大家的侧重点各有不同,有些专注C端有些专注B端,技术路线也会有所不同,每个人都能够产生独一无二的价值。

“我们会坚定站在2C阵营发展,在这个阵营中,一定会有Super APP出现。”杨植麟说,“这些Super APP会基于自研模型做出来,因为你需要在用户体验上能够有差异化。但同时我们会觉得可能出现很长尾的各种各样应用,有可能是基于开源模型去做,然后发挥数据或者场景产品化的优势。”

面对有更多生态资源和资金优势的大厂,Moonshot AI在2C阵营中的竞争优势如何体现?“我认为通过AI native的产品,会有很多新的流量入口出现。比如美国现在有很多新的流量入口,没有一个是大厂做出来的。如果瞄准新的流量入口,肯定是有创业公司的机会的。”杨植麟告诉21世纪经济报道。

比如以前没有Midjourney这样的产品,它就是新的流量入口,因为以前做不了这样的需求。再比如可交互的直播等,会有很多新的想象空间、新的app出现,所以创业公司肯定是有机会的。

(文章来源:21世纪经济报道)

[责任编辑:h001]
关键词:

相关新闻

联系邮箱:99 25 83 5@qq.com

备案号:豫ICP备2020035338号-4 营业执照公示信息

产经时报 版权所有