性能超出预期!神秘的国产大模型 Kimi 开放 API
发布时间:2024年06月06日
说到 Kimi Chat,去年底已经凭借 20 万字的超长上下文火了起来。和其他国产大模型不同,Kimi 给魔法哥的感觉一直是比较另类的。一个新厂也能做大模型?上下文长度甩了大厂几条街?
带着好奇,魔法哥在春节前就提交了他们家 API 的内测申请。年后发现,开放平台已经上线了,API 也已发布,官网的文档、计费标准、用户后台等等都已准备就绪。
那还等啥,开搞!于是最近几天魔法哥一直在尝试他们的 API,这里聊聊感受,想到哪写到哪。
Moonshot
其实 “Kimi” 是他们家智能助手的名字,真正的大模型是叫 Moonshot。这一点我们从 API 的 model 参数中也能发现。因此后面谈到大模型时,就统一称呼为 Moonshot。
Moonshot 这个名字可能取自 “登月计划”,可见他们的雄心壮志。公司取名 “月之暗面”,更是增添了几分神秘色彩。
超长上下文
Kimi 的对话历史记录可以容纳 20 万字,亲测有效。魔法哥最开始还以为这是通过 RAG 变通实现的,但后来发现是我格局小了。当一次对话的累计上下文超过 20 万字时,Kimi 会要求另起一个新对话。
现在有了 API,就可以更直接地验证这一点。Moonshot API 可以调用三个规格的模型:
·
moonshot-v1-8k
·
·
moonshot-v1-32k
·
·
moonshot-v1-128k
·
其中 128k 这一款就是支持 20 万上下文的完全体。
看到这里,大家可能会疑惑,128k 也就是 12.8 万,凭什么支持 20 万字?这就引出了下一个话题——Token 利用率。
Token 利用率
这是魔法哥自己发明的一个指标,表示模型的 token 与中文汉字的换算关系。
国内外的大模型对于英文单词的 token 切分效率大体类似——对于常规的英文文本,每个 token 大约相当于 4 个英文字符。但对于汉字的 token 切分效率,各个模型就各有不同了。
我用一段 2200 余字的中文提示词,测试了 Moonshot 和另外两个国外标杆,它们的 token 计数分别如下:
·
GPT-3.5:2922(1 token ≈ 0.77 汉字)
·
·
Gemini Pro:1712(1 token ≈ 1.32 汉字)
·
·
Moonshot:1590(1 token ≈ 1.42 汉字)
·
Moonshot AI 官方文档说:“对于一段通常的中文文本,1 个令牌大约相当于 1.5~2 个汉字。” 上面的测试也佐证了这一点。这样换算下来,128k 确实不少于 20 万汉字。
对于国内的开发者来说,需要特别留意 “Token 利用率” 这个指标。因为一反一复,各个模型的 token 利用率差距可能达到两倍之多。也就是说,同样是 128k 的模型,它们的中文窗口其实差别巨大。
性能测试
最近正好在做一个项目,因此拿手边的几个大模型做了测试。测试方法比较粗糙,这里就不展开了。以下测试结果也是魔法哥的主观判断,请谨慎看待:
·
Moonshot API 的输出速度比不上 GPT-3.5 Turbo,但明显比 GPT-4 Turbo 要快一些。
·
·
对提示词的理解能力,Moonshot 的表现介于 3.5 和 4 之间。
·
·
角色扮演能力,Moonshot 明显强于 3.5,接近 4。
·
·
在某个垂直应用场景中,Moonshot 的表现明显优于 3.5,接近 4。
·
·
Moonshot 与另外几个模型对比,表现突出。
·
这个结果让魔法哥颇感意外。让它来陪跑,它竟然敢夺牌!这家 “没什么背景” 的新厂更加勾起了我的好奇。
月之暗面
前段时间听说这家公司融了不少钱,不过魔法哥一直还是把他们当作 “野路子” “愣头青” 来看。然而这次的测试确实让我大为改观了。
魔法哥当时测完之后,实在忍不住跑到群里感叹说:“远超预期,不知道他们是怎么做到的!”
后来一番查证,才发现他们团队原来卧虎藏龙,核心成员曾参与过 Gemini、Bard、盘古 NLP 等大模型项目。回头看上面 “Token 利用率” 的对比,Moonshot 和 Gemini 属于同一流派,或许架构思路真的是师出同源?
API 设计
Moonshot 还有一点让魔法哥很有好感——它的 API 语法完全兼容 OpenAI。这意味着海量基于 GPT 的开源项目和商业项目都有极大可能在 Moonshot 上跑起来。
对于开发者来说,这也是一项巨大的优势。现有基于 GPT 的老项目都可以无缝接入 Moonshot,基于 Moonshot 的新项目也可以随时更换引擎。不管是迁移来还是迁移走都毫无压力!
兼容行业标杆是一种智慧。这个时候魔法哥还真的庆幸这家 “小厂” 没有大厂的包袱和架子。
开放平台
Moonshot 的开放平台已经吸引了不少开发者加入社区。魔法哥也在第一时间溜进了内测群,感受到热烈的技术探讨氛围,官方客服的支持也算及时和到位。
值得一提的是,平台还为每个新用户赠送了 15 元的 API 调用额度。对于开发测试来说,足够用一阵子了。
Moonshot 的官方文档( platform.moonshot.cn )也写得比较清爽,容易上手。如果你是初学 AI 应用开发,不妨拿 Moonshot 来练练手。
前面提到,Moonshot API 兼容 OpenAI,我们可以享受到 OpenAI 生态的海量资源,拿来就用;而且新手对 Moonshot 的技术投资完全没有风险,因为学会它就相当于学会了 GPT,稳赚!
小结
看到这里,相信你也发现了,魔法哥已经成了 Moonshot 他们家的 “自来水”。
对于像我这样的 AI 应用开发者来说,Moonshot 的出现确实令人欣喜。它的性能、兼容性、开放性都让人眼前一亮,足以成为 AI 生态圈不可忽视的新锐力量。
出自:https://mp.weixin.qq.com/s/9AKWEr6IqsyY9a6oYmDCtg
ChatPPT 是一款自动生成幻灯片演示文稿的软件,可以根据用户输入的简短的文本提示转换为精美的 PPT,自动设计幻灯片的排版和样式,而无需用户进行繁琐的操作和设计。