大家好,我是皇子。
这两年各种新技术的诞生,都能让人们眼前一亮,可算是,每一次都能独领风骚。
从对话模型ChatGPT、到世界大模型Sora、再到首个AI程序员Devin的诞生,就是各种职业不存在了,甚至还有现实不存在“荒缪”言论!
今天我们来看下首个AI程序员Devin诞生,到揭穿Devin的谎言的过程
看下当时 Devin 的演示。
可谓是:一顿操作猛如虎,不知是猫还是虎
看到官方的宣传中,让我们“知道”的是:Devin 不同于 GitHub Copilot 等 AI 编程助手,Devin并非单纯辅助的角色,而是能够完全独立、端到端地完成整个开发项目,包括从编写代码、修复 Bug 到最终执行的完整编程生命周期。
那么那些拿到体验权限的人,反馈如何呢?
1、挑战任务:创建一个网站,可以在其中与 LLM 下棋。
挑战结果:部分任务执行成功,最终卡住,失败了。
2、挑战任务:执行一个数据分析的任务,创建一张过去五十年南极洲海水温度的地图。
挑战结果:部分任务成功,但地图存在标注的大块明显错误。
3、挑战任务:做了一个chrom插件,可以帮助用户把Github repo转化成Claude prompt。
挑战结果:作者要求Devin不断纠正了3个版本后,终于成功了。
最终体验是:
Devin产品化做得很好,他给人的使用体验是一个完整的产品而不是只是一个简单的对话框。同时确实在国外的互联网环境下能够完成自动部署,API密钥保护,随时修改和添加需求等等非常好的各种功能。
但缺点也明显,Devin的反应还很慢(当然作者也说,因为他用的是1M的Starlink来上网,所以反应慢很有可能是他自己的原因),其次就是还不能允许用户直接自己编辑代码,而且也没法协作完成。

这是一次 Devin “造假”被抓的现行,总结一下Internet of Bugs论证Devin造假的部分,包含:
1、 号称能解决任何Upwork任务,但演示中解决的问题并不是prompt要解决的那一个,做无用功;
2、看起来在修复bug,实际上修复的bug人类程序员根本就不会犯;
3、没有意识到简单两步就能解决问题,花里胡哨一顿操作,其实是自己把任务搞复杂了;
4、修改代码的水平一言难尽。
5、此外,光头哥花了半个多小时,把Devin演示视频中的upwork任务完成了一遍——而Devin完成任务可能用时6个多小时。
最后,尽管生成式人工智能很棒,但我们都希望围绕它的演示应该是诚实和透明的,比如OpenAI,能让我们去注册体验的。
而我们作为普通人别轻易相信各种演示,最好是能自己体验一下!
推荐阅读
详细、简单地学习这6种架构设计原则,再学设计模式也是 So Easy的事
原文作者:皇子谈技术;如有侵权,请联系管理员删除。