DeepSeek
的横空出世引爆国内
大模型
热潮,但
乱象
也随之浮现。
老胡:
自从采纳了两位老师的建议,引入大模型技术后,我们团队的编程和运维效率就得到大幅提升,工作变得轻松多了
(详见链接:
《
A+B=C
》
,
《
DBA—>DBA²
》
,
《
AI✖️数据=
∞
》
)
。但最近也有烦心事,家中孩子即将高考,数学成绩不佳,让我有些焦虑。
小涂:
您在工作中运用AI得心应手,为什么不试着在孩子的教育上也用用呢?现在
网上很多自媒体都在说,
DeepSeek
的能力远超学校老师,能在高考各科中取得
满分
。甚至有人说教育界要变天了,只要孩子们跟着
DeepSeek
学,
人人都能考上清华北大
。老胡,您得抓紧机会啊。
弘老师:
一个月前,我刚用大模型测试了2024年的高考数学I卷,我让
DeepSeek
、通义千问、豆包、Kimi、文心一言、
GPT-o3、Claude-3.5-Sonnet
这七款大模型分别参与解答,你们猜结果如何?
弘老师:
全军覆没!
表现最好的大模型离及格线还差十多分,还没考生的平均分高。
小涂:
这么差?这跟我们看到的信息差距也太大了!
彬老师:
很惊讶吧?你们可以自己试试,就会发现弘老师所言不虚。现在很多自媒体为了吸引眼球、博取流量,往往未经验证就急于追逐热点,发表意见,导致
以讹传讹,误导大众
。有趣的是,如果你问这些大模型考2024年数学高考卷能考多少分时,它们大多觉得自己能拿
135
分以上。下图中DeepSeek对高考数学各题型分数比例显然是错误,一般人就难以识别出来。
有的甚至认为自己能拿
满分
。总之,个个自信满满。
老胡:
哈,AI们
自我感觉这么好
,看来
这种自信
也在
以讹传讹
上
助推波助澜
了,真是不可思议!
弘老师:
更不可思议的是,一个月前的测试结果和今天的抽样测试相比,DeepSeek的
准确率突然暴涨
,已经接近满分了。不过,其他大模型的表现依然很糟。
弘老师:
这应该是因为DeepSeek依据2024系列高考题,对模型进行了微调。不过,当我对题目稍做
调整后,就会发现DeepSeek又开始出错了。
小涂:
这么神奇,说明什么?DeepSeek并没有真正的掌握,只是记住了答案?
弘老师:
大模型“记住答案”其实就是更新参数的过程,你这么理解也算对。斯坦福大学曾发表了相关论文
《Putnam-AXIOM: A Functional and Static Benchmark for Measuring Higher Level Mathematical Reasoning》
,指出,当题目稍作变换,准确率则会大幅下降。有兴趣的朋友可以下载阅读,深入了解。
彬老师:
其实,不止是高考,就连小学3年级以下的奥数题,各大模型的正确率也基本只能维持在50%左右,大家可以自行验证。但是你看下图,一位主播正眉飞色舞地分享如何用DeepsSeek教孩子学数学,还让DeepsSeek来出相似题目来考孩子,这样做,瞎出题的概率极高,很可能适得其反。

弘老师:
或许,未来DeepSeek真可以达到数学无所不知的水平,但至少当下是不行的。这里需要引起注意的是,为什么错误认知可以广泛传播?本质上是因为大多数人无法判断真伪,就好比这位主播,如果她是一位数学老师,或许很快就会发现大模型解题中存在的错误了。
小涂:
啊..我也刷到过大量类似这样的视频啊,而且我还真信了,以后我再也不用DeepSeek了。
彬老师:
千万不要从一个极端到另一个极端。从目前来看,至少对于语文、英语、历史等文科类知识而言,大模型还是非常强的。当然,正确的问法也能更容易得到正确答案,这一点后续可以专门展开来说。
现如今,多数人对AI大模型的认知不足,仍然以高考数学为例,我来考考大家,
如果用
同一款大模型多次测试同一道数学题,
你们觉得
每次解题的答案会保持一致吗?
弘老师:
其实未必,真可能时对时错,这取决于
三大因素
。
三大因素——保障模型推理质量的关键
弘老师:
在解答之前,得澄清一个概念,AI大模型分为
训练和推理
两个阶段。训练是学会知识的过程,推理是思考如何回答的过程,两者都需要GPU算力支持,大家能听明白吗?
弘老师:
如果GPU算力充足,模型能深入思考,回答质量更高;算力不足时,则质量下降,甚至可能出错。所以,
第一个
影响AI推理的关键因素是——
GPU算力
。
小涂:
弘老师,我平时用APP或网页版提问,也会遇到算力问题吗?
弘老师:
会。比如凌晨5点访问平台时,用户少,系统资源充足,模型有足够算力进行复杂推理,答案可能更准确;而在白天高峰期,用户多,算力紧张,准确性可能下降。在企业本地部署中,这种现象更明显,当算力不足时,模型可能会跳过关键步骤、降低计算精度,甚至直接罢工。解决办法只能是增加显卡,提升GPU算力。

弘老师:
大模型通过学习海量数据让自己变“聪明”,但它并不是死记硬背去存储这些“原始数据”,而是将学习到的
知识以参数的形式保存下来
,这些参数往往高达数千亿,在训练期间被不停的更新。
弘老师:
这个话题比较复杂,简单说,语言是由有限的单词组合而成,以“苹果”为例,一方面,大模型会不断完善“苹果”的维度,比如读了《苹果树的故事》一书,就知道苹果能吃;读了《乔布斯传》后,就知道“苹果”还是个品牌....这样的维度有成千上万个。另一方面,会完善“苹果”的空间位置,比如发现苹果和梨子常一起出现、一起被吃,于就会让它们的空间位置上更接近。无论是维度还是空间位置,都是大模型的参数,这些参数就是大模型学到的知识。
弘老师:
可以,但需要访问外部的数据
(
详见链接:
《
AI海马体
》
)
。比如企业数据或互联网数据。所以,
第二个
影响AI推理质量的因素是——
外部访问
。如果允许模型上网搜索,它可能从做错变成做对。
弘老师:
可以这么理解,
不过搜索不会让它记住
,
断开外部访问后,它还是不会!
小涂:
为啥,哦...我明白了! 因为记住等同于对其内部参数进行更新,这个过程代价很大,所以不会实时进行,对吗?
弘老师:
小涂很聪明!更新参数的过程就叫微调,属于模型训练阶段,而非推理。
彬老师:
我来说,
第三个
因素是——
专家交互
。弘老师是清华大学高材生,对数学研究很深,他能给出专业提示词,引导模型找到正确答案。比如今年高考最后一题,在弘老师引导下,部分大模型就能解出正确答案。但是我怎么试都不成功。也就是说,
同样的模型和题目,弘老师能让AI表现更好。
小涂:
我明白了。这就像彬老师您之前说的,不同人让 AI 大模型写
SQL
,效率差别很大。您是
SQL
专家,能合理引导、纠正不完善的地方,最后得到效率更高的 SQL,这和大模型做高考题的引导是一个道理。
(详情点
链接:《
SQL人生
》
)
老胡:
我还是不敢相信AI做高考数学题这么“拉胯”,太意外了!
彬
老师:
我要纠正一下,是大模型做高考数学很差,
不是所有的AI都这样
。认知误区又来了!
彬
老师:
Google
的
DeepMind
团队开发的
Alpha-Geometry2
,
在国际数学奥林匹克竞赛
(IMO)的几何体
测试中,第一次超越人类金奖得主的水平,你们听说过吗?
老胡:
我就记得在哪听过AI在国际奥数很厉害,那高考数学怎么不行?
彬
老师:
我们说的DeepSeek等是通用大语言模型,而非专用AI。
老胡:
哦,专用AI能拿国际奥数金奖,高考数学肯定不在话下。
彬
老师:
这是数学领域的几何专项工具,解高考几何题肯定是没问题的。不仅是在数学领域,
DeepMind
旗下的
AlphaGo
,围棋水平远超人类顶尖棋手
(详见链接《
狗大师崛起
》 ,《
狗大师修仙
》
)
。
而大模型虽然通过阅读大量围棋电子书籍也懂下棋,但水平也就
5级左右
(大模型们的自我判断),相差甚远!还有
AlphaFold
,
能够预测含有蛋白质结构,
为药物研发带来了新的可能
,其
CEO
哈萨比斯
还因此获得了
诺贝尔奖
。
老胡:
这些专用AI要么打败奥数金奖得主,要么碾压人类围棋顶尖高手,要么拿诺贝尔奖,太神了,为什么通用大模型就达不到它们的能力呢?
弘老师:
这里原因比较复杂,我先重点说
一个关键
——
数据
,
DeepMind
训练数学AI的大部分数据都是
合成
的,
这样就能生成无穷无尽的数据供 AI 训练,自然容易让 AI 变得强大。
弘老师:
这里不展开细说,简单举个例子,人类发现三角形内角之和等于180度、两边之和大于第三边、勾股定理等等。其实有足够多的图形数据和尝试,AI也能发现这些规律的,而且可能发现得更多。所以,合成数学数据是可行的。
弘老师:
其实
AlphaGo
的训练方式——左右手互搏完成数千万盘对局,不断总结进步,这些自我对弈的棋谱也是一种
合成数据
。
弘老师:
AlphaFold
则是在专门的蛋白质数据库上完成训练,这不是合成数据,但属于领域专业数据,通用大模型不一定能获取到。
除了数据,专用领域往往需要一些
特定的专业处理模式
,以便高效的发挥其性能,这就是
第二个要点
,这里不展开了。
小涂:
那有没有可能,通用大模型也能达到这些专用AI的能力呢?
彬老师
:
这是必然的,实现的方法也有很多,前期可能是
整合多种能力的混合架构模式
。目前,科学界的主流看法是,
未来3-5年内即可实现
。也就是说,大模型训练完毕后,便能在数学领域超越奥数金奖选手,在蛋白质折叠研究上与
AlphaFold
媲美,在围棋竞技中毫无悬念地战胜世冠...要是这些都成为现实,那就标志着通用人工智能
AGI
时代的初级阶段
已然来临。
老胡:
那还只是初级阶段?那达到怎样的程度才算算高级阶段呢?
弘老师:
我们刚才提到那些专业领域的重大突破,其实都是人类能够预想到的。当AI取得了
远远超出人类认知范围
,让大家连想都想不到的成就时,那便是进入
高级阶段
了。
总结
(三点认知)
1. 对当下
大模型学科能力的认知
目前,通用大模型在高考数学方面表现仍处
“学渣”
水平。不仅
如此,
在物理、化学、生物等科目上成绩也难以及格。不过,其在语文、英语、历史等科目中表现相对不错,准确率可达80%。
2. 模型与
个人能力强相关的认知
当下,
善用AI的人
优势将进一步
扩大
,个人
能力水平越高
,向AI提出的
提问越有智慧
,就越能从AI那里获得高质量的回复(
专家介入
)。而且,对AI大模型运行原理了解得越深入(
GPU算力,外部访问...
)
,你就越清楚如何让它更顺畅地运行,发挥出更好的效果
(详见链接
《
AI大揭秘
》
)
。
3. 对
大模型与专用AI差异的认知
虽说专用AI和大模型都采用了深度神经网络技术,但是两者架构差异很大。目前专用AI在垂直领域的能力
远超
通用大模型(
“奥数拿金奖”
vs
“数学不及格”,“碾压顶尖棋力”
vs
“围棋业余5级”,“诺贝尔奖”
vs
“略懂皮毛
”...
)。不过,未来大模型必定能一统江湖之时,
其实,这和
关系型数据库能开始融合各个专用数据库场景
,走向超融合(一体化),是一个道理。到那时,
就是通用人工智能时代到来之际
(详见链接:
《
穿越者
》
,
《
未来已来
》
)。
倡议
(从我做起)
在未来的网络环境中,虚假和错误的观点可能会愈发泛滥。一方面,部分博主为追逐热点,
盲目传播未经证实的信息
;另一方面,大模型本身也可能
给出诸多错误回复
。因此,我们必须保持
持质疑精神
,不轻易
接受
和
传播
未经核实的内容
。只有通过
亲自动手确认
、
多AI交叉验证
及查找
第一手信息源
(
详见链接
:《
乱象
》)
,才能有效避免被误导。
或许不久后,大模型就能达到高考数学满分的能力,但即使如此,大家也应自行验证其对错。如果无法判断数学题的正确性,可以请教相关专家或通过权威平台核实。不要盲目相信未经验证的答案。
令人担忧的是,我提到的那两个视频号主播的视频转发量竟已超过10万+。虽然他们的初衷可能是好的,但实际上却误导了孩子们。希望大家在发布信息时保持严谨,对分享的内容负责,共同维护健康、真实的网络环境。
更值得警惕的是,大模型通过微调可以“记住答案”,但稍作修改就可能出错,说明它并未真正掌握知识。因此,大家在使用时更要擦亮眼睛,系统学习,勤于思考,多向老师或领域专家请教
在当前大模型尚不成熟的情况下,
孩子们仍应以请教老师为主,尤其在理科方面。
即便大模型给出了正确答案,其讲解过程也可能存在错误,
孩子们难以分辨
。现阶段,更需要专业教师的引导,优化教学方法,帮助孩子们正确认识AI,拥抱变化,积极创新。
公众号:收获不止数据库
微信:ljbyxl1213
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/9091385/viewspace-3079013/
,如需转载,请注明出处,否则将追究法律责任。