ITPub博客

首页 > 数据库 > 数据库开发技术 > 别被AI大模型的降价冲昏了头

别被AI大模型的降价冲昏了头

原创 数据库开发技术 作者:MavenTalk 时间:2024-06-07 19:51:00 0 删除 编辑

前文写了《AI大模型杀手级应用面世还有多远》,本篇扒扒无法面世应用的底层逻辑。

自 DeepSeek 开始,智谱清言开始跟进,后续豆包、阿里千问、百度千帆、讯飞等等,迅速跟进,价格战再次打响,这不是第一次,也不是最后一次。

价究竟降的怎么样呢?

1、AI大模型目前主要是以对话的形式进行交互,一次对话包括输入、输出两个部分。降价主要发生在输入价格上,输出价格上降的并不多。而输入比较少,输出相对是比较多。你问了句:天气怎么样,它巴拉巴拉回复你一堆风速、气温、温度、穿衣指数等内容。

2、挑起降价的大多是小尺寸参数的模型,甚至免费,比如各种Lite,看似热闹,实则应用效果比较差,最后不得不回头采用大尺寸的来保证质量,价格还是没低多少。

3、单次对话成本不高,真正商用还要考虑并发的问题,也就是多人同时使用的问题,目前大家都避而不谈。实际默认并发数量很低,或者限流严重,肯定达不到大规模商用的目的。比如Qwen-long只给了 100 QPM(一分钟100次查询)。

4、语音模型同样也有类似的问题,总体价格上数十倍或百倍于语言模型的价格,调用云服务规模化应用还是相当耗钱的。默认并发同样很低(比如不少平台只给了2个或5个并发),如果2C去商用,还要额外采购并发量,价格还不低,而这在互联网时代几乎都是无感知的。

什么是并发?

餐厅里有多个服务员,客人的点菜、上菜等请求就是"任务",并发就像多个服务员可以同时照顾多桌客人一样。

什么是限流?

限流就像是餐厅为了保持服务质量,规定每个服务员一次只能照顾一定数量的客人。如果客人太多,服务员忙不过来,服务质量就会下降,甚至可能出错。限流就是为了避免这种情况,确保系统能够稳定运行。

想让人用,又怕自己成本吃不消,这种幸福的烦恼的滋味,不知是苦还是甜。


我正在创作一个聚焦于 『个人全方位提升』文章专栏,从菜鸟入门到合伙创业,我会将过往十多年的的工作、生活经历进行归纳整理,梳理出至少30篇、超5万字的内容专栏给你,有兴趣的小伙伴,点击【个人启示录】进入专栏。



—扩 展 阅 读—


WPS Office AI实战总结,智能化办公时代已来
这是我用过最好的翻译软件,不容错过
这两款不一样的AI搜索引擎,值得拥有
技术的不公平
新铁人三项:外卖、滴滴、送快递

原文作者:MavenTalk;如有侵权,请联系管理员删除。

上一篇: 被神化了的AI
下一篇: 技术的不公平
请登录后发表评论 登录
全部评论

注册时间:2016-07-13

  • 博文量
    461
  • 访问量
    189199