高高低低，今年把特赛发这家公司基本搞起来了。
我们3月开始干的时候，就跟其他大模型公司不一样。那个时候很多人都急于开发布会，发布自己的大模型，哪怕就一个SFT也砸吧砸吧的开发布会了。我们一直在琢磨如何解决一个实际业务问题。我们从来没有想过要发布自己的自研大模型，一方面确实是小公司，没那么多钱自研一个，设计模型结构（MOE架构的）我们倒是设计了，效果也还可以，但搞一个大的公开数据集和爬一个小垂类数据集来海量训练一个匹敌GPT3.5的模型我们没有想过，不划算。
导致23年8月份的时候，很多人都觉得我们没戏了。是个公司都发布自己的模型了，中国发布了自己大模型的公司都几十上百家了。事实上，公开发布的大模型和解决一个实际业务的大模型完全是两个事情。
通用和垂类：两片水域
训练一个通用大模型，是一门很深的学问。设计一个有张力、弹性、和伸缩性的模型结构，收集高质量数据集，然后海量数据集要做好清洗，保证数据分布的大数定律准则，甚至添加一些有助于逻辑推理的代码数据集，然后构建好SFT的大数据集，然后还需要RLHF训练，让Agent的回复更加自然像人，增加价值观和惩罚项；还要构建好COT数据集，训练好思维链等等。这些事情每个点都是大文章。
垂类的话，这些活其实都是需要的，但都是简化版，模型结构如果自己设计，那他的目的就是让模型更加轻量化，不是想造一个大而深的模型。RLHF也需要，主要是让模型不要说错话，政治正确非常重要。但范围小很多。
最本质的区别是，一个通用大模型，加点 prompt engineering，或者加上天花乱坠的prompt engineering，都干不了真正垂类的业务问题。这个时候，我们做垂类大模型的核心精力就在于如何真正训练一个垂类大模型来解决实际业务问题了。举个例子，如果用户说能不能晚点还钱，你就让他还全款，然后第一次不要答应他可以延期，跟他讨价还价后再适当性的给他申请延期一天啥的；如果客户说没钱，你也不能立马同意让他还最低金额，要跟他申明厉害关系后再说帮忙申请还最低看看，如此复杂逻辑，你写一辈子prompt，通用大模型都是学不会的。他不会那些弯弯绕。这些实际问题跟你模型结构设计的好不好，context的长短，多轮对话，大模型的幻觉减轻，都没有一毛钱关系，纯粹是需要构建一个新的大模型训练范式。
消费金融/信用卡催收实践
关于高并发与成本：
我们下了非常大的力气，在高并发上，我们的服务器成本一张卡可以支持数百个并发推理。大模型推理的时间在1s内，从而达到实时通话。这个非常关键。让我们可以跟传统决策式AI催收机器人相同的价格投标。因为传统决策式AI机器人公司很多都是调第三方的NLP接口来做语义理解的，他们需要给付API费用，即使自研，他们的并发能力应该没我们强。因此，我们native算法出身，干这个就领先对手一个身位。
关于算法效果：
跟传统决策式机器人相比，我们具有意图理解能力强，拟人化程度高，智能分析能力强，流程细化，交互轮次高等优势。
拿智能分析能力强为例：我们每通交互都会给动态标签，然后，整个通话会给一个最终标签。这些标签非常关键，他可以深入挖掘每个人的还款能力和还款意愿。
这些标签有什么用呢？举个例子。如果说一家银行信用卡中心有10亿坏账。然后准备打包1个亿卖掉这些坏账。我们大模型机器人通过打电话，把所有人盘一遍后，对还款能力这个点，做了详细标签。例如：本人生病/家人生病；店铺倒闭，换工作，失业，买房，换城市，刚结婚，炒股失败，需要还其他银行信用卡等等标签，那么 换工作的、刚结婚的、换城市的这些人其实是后面是具有还款能力的。如果我们盘一下，具有还款能力的总值有3个亿，那1个亿买这些坏账就很有搞头。
欢迎大家与我们联系，聊商业合作。微信号 Keithguofan。渠道推广中标成单可以付带货主播的费用。
原文作者：Agent的潜意识；如有侵权，请联系管理员删除。
