点击上方蓝字关注我们

    话说现在生成式AI领域，特别是基于大语言模型的文本创作与问答，chatGPT可谓是一骑绝尘绝对的王者。其他所有的竞品，包括Google Bard，百度文心一言，阿里通义千问，讯飞星火等，在各方面的能力还都稍逊一筹。不过之前就被称为chatGPT最大竞争对手的Claude最新推出了Claude 2，宣称在各方面的性能都有了巨大的提高，目标直指chatGPT4！特别是它支持高达10万个token的上下文，使得它具备了超强的“记忆”能力，关键是它还免费！

Claude 的出身

    Claude属于一家AI创业公司Anthropic，这家公司其实与 ChatGPT 有着不小的渊源。Anthropic 是由当初 OpenAI 的 员工离开后创办的，这群人里，其中就包括了 GPT-3 的核心成员，他们目标正是要“打造出 ChatGPT 的最强竞品”，因此Claude能够全面逼近chatGPT也就说得通了。有趣的是，这家公司背后的投资大佬正是chatGPT的最大竞争对手之一，Google公司（尽管Google有着自己的大语言模型产品Bard，但各方面还无法与chatGPT竞争）

Claude的独特之处

      Claude其实最独特的地方，也是相比chatGPT最大的能力差异就在于其支持超长的、长达100k token的上下文窗口，且支持直接上传大文档！这意味着 Claude 一次可以处理数百页的技术文档甚至一本书，你完全可以交给claude一份长篇大论的文档让AI帮你进行阅读后回答你的问题。用过chatGPT的都知道，通常大语言模型都有这样一个限制：在一次会话中最大的上下文窗口的token数量（token可以理解为一个单词或汉字折算后的单位）。如chatGPT目前4.0最大支持32K，3.5版本目前最大支持也只有16K，这有点类似于AI的记忆能力，当你一次会话过程的总token数量超过了这个窗口大小，AI就会丢失早期记忆。这对于一些需要与AI反复互动的内容创作、大文档的分析、复杂的代码编程等场景，AI就难以很好的胜任，比如当前chatGPT就无法支持上传较长的文档进行智能阅读与分析。

    有人把chatGPT4与Claude2做了对比，其主要的差异就是Claude2支持更长的上下文、更新的数据、更多的文档上传：

    claude2网站官方给出了一个例子：AI对上传的两个几十页的pdf文档阅读后，自动进行内容提炼与总结，并用表格形式进行了分段展示：

Claude 2的进一步提升

    根据官方介绍，最新发布的Claude2在多方面做了较大的提升，根据笔者的实测结果，个人认为其在整体能力上与chatGPT-3.5相当，在部分能力上甚至实现了超越chatGPT4！具体提升包括：

• 在编码、数学、推理等性能方面得到全面提高

* Claude 2在美国律师资格考试（ Multistate Bar Examination）的多项选择题中，得分为76.5%

* 在美国医师执照考试（United States Medical Licensing Examination）中Claude 2在3个科目的分数都超过60%

* 与申请研究生的美国大学生相比，Claude 2在GRE阅读和写作考试中的得分已经超过了90%的考生，并且在定量推理方面，它的表现与申请者的中位数相当

• 进一步增加了 Claude 输入和输出的长度，具备了更长的上下文窗口。Claude 2的上下文窗口已经扩展到200K，目前发布版本暂时只支持100k。

  
  

• Claude2可以生成最多4000个token的连贯文档，相当于大约3000个单词。而且更能够功能好的生成JSON,XML,YAML,代码和Markdonw格式的输出内容。

  
  

• Claude 2进一步在编码能力上进行了提高，这对于程序员是一个令人兴奋的消息。官方材料显示，在Python 编码测试Codex HumanEval上Claude2的得分比从56.0% 提高了71.2% 。该项目测试分数超过了chatGPT-4。

  
  

• ChatGPT 的知识截止日期为 2021 年 9 月，而 Claude 2 的知识则延长至 2023 年初，这使 Claude 2 能够根据最新发展和趋势处理请求。

  
  

• 与 Claude 1.3 相比，Claude 2在提供无害响应方面的表现要好 2 倍。

  
  

更多报告可以参考：

https://www-files.anthropic.com/production/images/Model-Card-Claude-2.pdf

实测Claude2

    我们尝试对Claude2进行一些问答创作、数学推理、代码等方面的测试，在大部分场景下claude2都有着不错的表现，事实上，很多时候你很难区分出Claude2的回答和chatGPT的回答。我们这里只看几个比较典型、有趣的测试用例的结果：

1. 上传一个公开的上市公司年报，要求他进行总结和提炼，工作的很好，之后我们也要求AI依据文档回答一些问题，比如最大的机构股东信息等，都能准确的给出答案。

2. 回答一个有陷阱的、很多AI都会回答错误的题目，也能够正确输出：

3. 编写代码是强项，不管是复杂的算法代码，还是复杂的业务逻辑代码，都能较好地完成：

4. 测试下之前经典的“奶奶式陷阱”问题，非常有趣的结果：

5. 当然少不了经典的鸡兔同笼，可惜最后一刻翻车了：

6.这个坑也还是会掉进去，看来生成式AI的“幻觉”问题还需要继续努力：

    整体上看，Claude用来替代chatGPT3.5感觉是完全可以胜任，但是在一些场景与chatGPT4还有一定的差距，当然他在超长上下文的场景上也能完胜chatGPT4，最强黑马当之无愧！

如何使用Claude

    Claude2还带来的一个更重要的升级，就是Claude2的使用已经无需借助第三方平台（之前需要借助于协作交流平台slack来使用)，直接在Claude2官方开放的Beta网站上使用即可（claude.ai）。

    坏消息是，由于claude.ai目前暂时只对美国与英国开放，因此国内如果需要使用，除了你自备魔法以外，另外一种就是借助之前Claude使用的平台Slack，该网站国内也可以使用，在slack注册账号创建频道以后，添加Claude应用为好友，即可通过与其对话使用Claude，功能与官网功能完全一致。

HOT SUMMER

识别体验AI创作与绘画