ITPub博客

首页 > 人工智能 > 人工智能 > 警惕!对AI大模型的错误认知正在误导你

警惕!对AI大模型的错误认知正在误导你

原创 人工智能 作者:梁敬彬 时间:2025-03-26 09:29:43 0 删除 编辑
引言

DeepSeek 的横空出世引爆国内 大模型 热潮,但 乱象 也随之浮现。
老胡: 自从采纳了两位老师的建议,引入大模型技术后,我们团队的编程和运维效率就得到大幅提升,工作变得轻松多了 (详见链接: 《 A+B=C 》 , 《 DBA—>DBA² 》 , 《 AI✖️数据=  ∞ 》  ) 。但最近也有烦心事,家中孩子即将高考,数学成绩不佳,让我有些焦虑。
小涂: 您在工作中运用AI得心应手,为什么不试着在孩子的教育上也用用呢?现在 网上很多自媒体都在说, DeepSeek 的能力远超学校老师,能在高考各科中取得 满分 。甚至有人说教育界要变天了,只要孩子们跟着 DeepSeek 学, 人人都能考上清华北大 。老胡,您得抓紧机会啊。

1

全军覆没——大模型征战高考数学卷


弘老师: 一个月前,我刚用大模型测试了2024年的高考数学I卷,我让 DeepSeek 、通义千问、豆包、Kimi、文心一言、 GPT-o3、Claude-3.5-Sonnet 这七款大模型分别参与解答,你们猜结果如何?
小涂: 全部满分?

弘老师: 全军覆没! 表现最好的大模型离及格线还差十多分,还没考生的平均分高。



小涂: 这么差?这跟我们看到的信息差距也太大了!

彬老师: 很惊讶吧?你们可以自己试试,就会发现弘老师所言不虚。现在很多自媒体为了吸引眼球、博取流量,往往未经验证就急于追逐热点,发表意见,导致 以讹传讹,误导大众 。有趣的是,如果你问这些大模型考2024年数学高考卷能考多少分时,它们大多觉得自己能拿 135 分以上。下图中DeepSeek对高考数学各题型分数比例显然是错误,一般人就难以识别出来。
有的甚至认为自己能拿 满分 。总之,个个自信满满。
老胡: 哈,AI们 自我感觉这么好 ,看来 这种自信 也在 以讹传讹 上 助推波助澜 了,真是不可思议!
弘老师: 更不可思议的是,一个月前的测试结果和今天的抽样测试相比,DeepSeek的 准确率突然暴涨 ,已经接近满分了。不过,其他大模型的表现依然很糟。
老胡: 为啥?DeepSeek忽然变聪明了?
弘老师: 这应该是因为DeepSeek依据2024系列高考题,对模型进行了微调。不过,当我对题目稍做 调整后,就会发现DeepSeek又开始出错了。
小涂: 这么神奇,说明什么?DeepSeek并没有真正的掌握,只是记住了答案?

弘老师: 大模型“记住答案”其实就是更新参数的过程,你这么理解也算对。斯坦福大学曾发表了相关论文 《Putnam-AXIOM: A Functional and Static Benchmark for Measuring Higher Level Mathematical Reasoning》 ,指出,当题目稍作变换,准确率则会大幅下降。有兴趣的朋友可以下载阅读,深入了解。


小涂: 啊,水这么深啊!

彬老师: 其实,不止是高考,就连小学3年级以下的奥数题,各大模型的正确率也基本只能维持在50%左右,大家可以自行验证。但是你看下图,一位主播正眉飞色舞地分享如何用DeepsSeek教孩子学数学,还让DeepsSeek来出相似题目来考孩子,这样做,瞎出题的概率极高,很可能适得其反。



弘老师: 或许,未来DeepSeek真可以达到数学无所不知的水平,但至少当下是不行的。这里需要引起注意的是,为什么错误认知可以广泛传播?本质上是因为大多数人无法判断真伪,就好比这位主播,如果她是一位数学老师,或许很快就会发现大模型解题中存在的错误了。
小涂: 啊..我也刷到过大量类似这样的视频啊,而且我还真信了,以后我再也不用DeepSeek了。
彬老师: 千万不要从一个极端到另一个极端。从目前来看,至少对于语文、英语、历史等文科类知识而言,大模型还是非常强的。当然,正确的问法也能更容易得到正确答案,这一点后续可以专门展开来说。
现如今,多数人对AI大模型的认知不足,仍然以高考数学为例,我来考考大家, 如果用 同一款大模型多次测试同一道数学题, 你们觉得 每次解题的答案会保持一致吗?
老胡: 肯定一致啊,不然岂不是一会儿对一会儿错?
弘老师: 其实未必,真可能时对时错,这取决于 三大因素 。
小涂: 哪三大因素?

2

三大因素——保障模型推理质量的关键


弘老师: 在解答之前,得澄清一个概念,AI大模型分为 训练和推理 两个阶段。训练是学会知识的过程,推理是思考如何回答的过程,两者都需要GPU算力支持,大家能听明白吗?
老胡: 明白。
弘老师: 如果GPU算力充足,模型能深入思考,回答质量更高;算力不足时,则质量下降,甚至可能出错。所以, 第一个 影响AI推理的关键因素是—— GPU算力 。
小涂: 弘老师,我平时用APP或网页版提问,也会遇到算力问题吗?

弘老师: 会。比如凌晨5点访问平台时,用户少,系统资源充足,模型有足够算力进行复杂推理,答案可能更准确;而在白天高峰期,用户多,算力紧张,准确性可能下降。在企业本地部署中,这种现象更明显,当算力不足时,模型可能会跳过关键步骤、降低计算精度,甚至直接罢工。解决办法只能是增加显卡,提升GPU算力。



小涂: 原来如此,那第二个因素呢?
弘老师: 大模型通过学习海量数据让自己变“聪明”,但它并不是死记硬背去存储这些“原始数据”,而是将学习到的 知识以参数的形式保存下来 ,这些参数往往高达数千亿,在训练期间被不停的更新。
老胡: 弘老师,参数是什么意思? 我有点听不懂。
弘老师: 这个话题比较复杂,简单说,语言是由有限的单词组合而成,以“苹果”为例,一方面,大模型会不断完善“苹果”的维度,比如读了《苹果树的故事》一书,就知道苹果能吃;读了《乔布斯传》后,就知道“苹果”还是个品牌....这样的维度有成千上万个。另一方面,会完善“苹果”的空间位置,比如发现苹果和梨子常一起出现、一起被吃,于就会让它们的空间位置上更接近。无论是维度还是空间位置,都是大模型的参数,这些参数就是大模型学到的知识。
但训练结束后,这些参数就固定了。 比如某个大模型是 2024年10月训练完成的,它就不知道11月的事 (详见链接: 《 AI识字说 》 ,《 AI读心术 》, 《 AI修仙传 》, 《 AI断案路 》   )。
小涂: 不能实时学习吗?

弘老师: 可以,但需要访问外部的数据 ( 详见链接: 《 AI海马体 》  ) 。比如企业数据或互联网数据。所以, 第二个 影响AI推理质量的因素是—— 外部访问 。如果允许模型上网搜索,它可能从做错变成做对。


小涂: 哈,就是抄答案嘛。
弘老师: 可以这么理解, 不过搜索不会让它记住 , 断开外部访问后,它还是不会!
小涂: 为啥,哦...我明白了! 因为记住等同于对其内部参数进行更新,这个过程代价很大,所以不会实时进行,对吗?
弘老师: 小涂很聪明!更新参数的过程就叫微调,属于模型训练阶段,而非推理。
小涂: 那第三个因素是啥?
彬老师: 我来说, 第三个 因素是—— 专家交互 。弘老师是清华大学高材生,对数学研究很深,他能给出专业提示词,引导模型找到正确答案。比如今年高考最后一题,在弘老师引导下,部分大模型就能解出正确答案。但是我怎么试都不成功。也就是说, 同样的模型和题目,弘老师能让AI表现更好。
小涂: 我明白了。这就像彬老师您之前说的,不同人让 AI 大模型写  SQL ,效率差别很大。您是  SQL  专家,能合理引导、纠正不完善的地方,最后得到效率更高的 SQL,这和大模型做高考题的引导是一个道理。 (详情点 链接:《 SQL人生 》  )
彬老师: 对,总结得很好!

3

云泥之别——当下垂直领域专用AI碾压大模型


老胡: 我还是不敢相信AI做高考数学题这么“拉胯”,太意外了!
彬 老师: 我要纠正一下,是大模型做高考数学很差, 不是所有的AI都这样 。认知误区又来了!
老胡: 啊?可把我弄糊涂了。
彬 老师: Google 的 DeepMind 团队开发的 Alpha-Geometry2 , 在国际数学奥林匹克竞赛 (IMO)的几何体 测试中,第一次超越人类金奖得主的水平,你们听说过吗?
老胡: 我就记得在哪听过AI在国际奥数很厉害,那高考数学怎么不行?
彬 老师: 我们说的DeepSeek等是通用大语言模型,而非专用AI。
老胡: 哦,专用AI能拿国际奥数金奖,高考数学肯定不在话下。
彬 老师: 这是数学领域的几何专项工具,解高考几何题肯定是没问题的。不仅是在数学领域, DeepMind 旗下的 AlphaGo ,围棋水平远超人类顶尖棋手 (详见链接《 狗大师崛起 》 ,《 狗大师修仙 》 ) 。 而大模型虽然通过阅读大量围棋电子书籍也懂下棋,但水平也就 5级左右 (大模型们的自我判断),相差甚远!还有 AlphaFold , 能够预测含有蛋白质结构, 为药物研发带来了新的可能 ,其 CEO   哈萨比斯 还因此获得了 诺贝尔奖 。
老胡: 这些专用AI要么打败奥数金奖得主,要么碾压人类围棋顶尖高手,要么拿诺贝尔奖,太神了,为什么通用大模型就达不到它们的能力呢?
弘老师: 这里原因比较复杂,我先重点说 一个关键 —— 数据 , DeepMind 训练数学AI的大部分数据都是 合成 的, 这样就能生成无穷无尽的数据供 AI 训练,自然容易让 AI 变得强大。
小涂: 训练数据为什么可以合成?
弘老师: 这里不展开细说,简单举个例子,人类发现三角形内角之和等于180度、两边之和大于第三边、勾股定理等等。其实有足够多的图形数据和尝试,AI也能发现这些规律的,而且可能发现得更多。所以,合成数学数据是可行的。
小涂: 太不可思议了!
弘老师: 其实 AlphaGo 的训练方式——左右手互搏完成数千万盘对局,不断总结进步,这些自我对弈的棋谱也是一种 合成数据 。
小涂: 有道理。
弘老师: AlphaFold 则是在专门的蛋白质数据库上完成训练,这不是合成数据,但属于领域专业数据,通用大模型不一定能获取到。
除了数据,专用领域往往需要一些 特定的专业处理模式 ,以便高效的发挥其性能,这就是 第二个要点 ,这里不展开了。
小涂: 那有没有可能,通用大模型也能达到这些专用AI的能力呢?
彬老师 : 这是必然的,实现的方法也有很多,前期可能是 整合多种能力的混合架构模式 。目前,科学界的主流看法是, 未来3-5年内即可实现 。也就是说,大模型训练完毕后,便能在数学领域超越奥数金奖选手,在蛋白质折叠研究上与 AlphaFold 媲美,在围棋竞技中毫无悬念地战胜世冠...要是这些都成为现实,那就标志着通用人工智能 AGI 时代的初级阶段 已然来临。
老胡: 那还只是初级阶段?那达到怎样的程度才算算高级阶段呢?
弘老师: 我们刚才提到那些专业领域的重大突破,其实都是人类能够预想到的。当AI取得了 远远超出人类认知范围 ,让大家连想都想不到的成就时,那便是进入 高级阶段 了。
老胡: 期待那一天的到来!

总结 (三点认知)
1. 对当下 大模型学科能力的认知

目前,通用大模型在高考数学方面表现仍处 “学渣” 水平。不仅 如此, 在物理、化学、生物等科目上成绩也难以及格。不过,其在语文、英语、历史等科目中表现相对不错,准确率可达80%。

2. 模型与 个人能力强相关的认知

当下, 善用AI的人 优势将进一步 扩大 ,个人 能力水平越高 ,向AI提出的 提问越有智慧 ,就越能从AI那里获得高质量的回复( 专家介入 )。而且,对AI大模型运行原理了解得越深入( GPU算力,外部访问... ) ,你就越清楚如何让它更顺畅地运行,发挥出更好的效果 (详见链接  《 AI大揭秘 》  ) 。

3. 对 大模型与专用AI差异的认知

虽说专用AI和大模型都采用了深度神经网络技术,但是两者架构差异很大。目前专用AI在垂直领域的能力 远超 通用大模型( “奥数拿金奖”  vs  “数学不及格”,“碾压顶尖棋力”  vs  “围棋业余5级”,“诺贝尔奖”  vs  “略懂皮毛 ”... )。不过,未来大模型必定能一统江湖之时, 其实,这和 关系型数据库能开始融合各个专用数据库场景 ,走向超融合(一体化),是一个道理。到那时, 就是通用人工智能时代到来之际 (详见链接: 《 穿越者 》  , 《 未来已来 》  )。


倡议 (从我做起)

在未来的网络环境中,虚假和错误的观点可能会愈发泛滥。一方面,部分博主为追逐热点, 盲目传播未经证实的信息 ;另一方面,大模型本身也可能 给出诸多错误回复 。因此,我们必须保持 持质疑精神 ,不轻易 接受 和 传播 未经核实的内容 。只有通过 亲自动手确认 、 多AI交叉验证 及查找 第一手信息源 ( 详见链接 :《 乱象 》) ,才能有效避免被误导。

或许不久后,大模型就能达到高考数学满分的能力,但即使如此,大家也应自行验证其对错。如果无法判断数学题的正确性,可以请教相关专家或通过权威平台核实。不要盲目相信未经验证的答案。

令人担忧的是,我提到的那两个视频号主播的视频转发量竟已超过10万+。虽然他们的初衷可能是好的,但实际上却误导了孩子们。希望大家在发布信息时保持严谨,对分享的内容负责,共同维护健康、真实的网络环境。

更值得警惕的是,大模型通过微调可以“记住答案”,但稍作修改就可能出错,说明它并未真正掌握知识。因此,大家在使用时更要擦亮眼睛,系统学习,勤于思考,多向老师或领域专家请教

在当前大模型尚不成熟的情况下, 孩子们仍应以请教老师为主,尤其在理科方面。 即便大模型给出了正确答案,其讲解过程也可能存在错误, 孩子们难以分辨 。现阶段,更需要专业教师的引导,优化教学方法,帮助孩子们正确认识AI,拥抱变化,积极创新。


公众号:收获不止数据库

微信:ljbyxl1213

系列回顾



来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/9091385/viewspace-3079013/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
历任中电福富研究院副理事长、中盾安信研究院副院长、宁德时代技术顾问等职务,受聘电信集团专家和国家十四五课题负责人,著有《收获,不止Oracle》《收获,不止SQL优化》等多本畅销数据库技术书籍。

注册时间:2024-02-06

  • 博文量
    162
  • 访问量
    198088