关键字: [亚马逊云科技， 生成式AI， Transformer， 大模型工作原理， 训练范式解析， 自注意力机制， 预训练监督微调， 强化学习训练]

导读

在这个演讲中，讲者解释了大型语言模型的工作原理和训练范式。他首先介绍了Transformer架构及其自注意力机制，用于解决序列到序列的问题。然后讲解了大模型的预训练和微调过程，包括有监督微调、知识蒸馏和强化学习等方法。最后讨论了大模型的优缺点，如泛化能力强但可能产生幻觉，缺乏真正的理解能力等，并提出了一些应对措施，如提示词注入、增加推理能力、负责任AI等。该演讲全面阐述了大型语言模型的核心技术和挑战。

演讲精华

以下是小编为您整理的本次演讲的精华。

欢迎回来，我们下午先讲点比较难的。先讲点比较难的，就是说一下大约模型的一个工作原理，以及呃，训练的一个基本范式。这个范式呢，其实是OpenAI提出来的，现在仍然是作为我们大多数这个圈引模型的大模型的一个一个一个一个标准的一个做法。

我们先看一下这个呃，Transformer，我们提到了一个大语言模型蓬勃发展的基石Transformer。Transformer是一种对神经网络的叫法，就是谷歌在2017年提出的论文里面，他写了一篇论文叫什么玩意，叫什么“All You Need Is Attention”，里面提出了这样的一种神经网络架构。那这种神经网络架构呢，用来解，最早是用来解决呃，就是就是自然语言翻译问题，就是从一段话翻译到另外一段话，我们上午讲过了。像这样的问题呢，其实是一个序列到序列的问题，对吧?序列到序列的问题那序列到序列问题，那用Transformer这样的神经网络来解决。

我们瞅一眼这个神经网络，它长成啥样呢?当然这个不是Transformer的架构，这是一个呃，就非常简单的一个神经网络，就是它是利用这个神经元，就是我们中间红点的这个，无所谓，就是这个红点，这个这个点就叫神经元。然后呢，神经网络呢，它的一个计算模式是，我通常会设置神经网络的输入，就一个神经网络，它的输入和输出是固定的，中间的结构，中间的节点数量，以及中间的连接形式，那个是随意的，当然这个里面画的图呢，超级简单，就是输入的这个呃，节点数量是是3个，输出的节点数量是一个，中间呢，它设了这么几个节点，只是设了4个节点，然后实际上我们使用网络可以任意复杂。

那么为什么说我说输入跟输出是比较较为固定的话，因为我们有一种比较标准的做法。举个例子，我们上午讲到这个呃，叫做有监督学习，我们如果做一个有监督学习的回归问题，假设我要预测房价对吧?预测股价，那我输出就是一个数字，一个连续的数字，那这个时候呢，无论我的输入是什么东西，那我的输出这个节点呢，就是一个。如果我预测的结果，数字的结果是一个回归分类问题，我要做二分类，判断一下这个一张图片，它的输入是它的到底是猫还是不是猫，那么这个时候我的输出的这个节点数量就是2，就两个对吧，那如果是三分类，那就3个节点，如果十分类就10个节点，如果10万个分类，就10万个节点，对吧?不要怕大，不要怕大，这个只要这个物理学允许，工程师都能想办法，再大计算机也能处理。

那所以说我们输出的节点数量是跟我们问题的一个种类分类相关的。那输入的节点数量呢，是跟你的这个输入的参数相关的，就是你的输入的样本相关的。比如说你的一个图像是1024*768的，那么你的输入的这个节点数量就1024乘以768乘以3，这么多个项量这么大的一个项量为什么要乘以3呢?如果你是彩色图像就乘以3，如果是黑白的就不成了，对不对?所以这是我们输入跟输出，那中间几点就随便了。

所以说神经网络呢，又叫人工神经网络，这里面的人工就是由人来去制定中间有多少节点，节点数量，有节点连接方式什么样子的，以及我的这个有多少层数，对吧?那这就很麻烦了，那我怎么知道哪种神经网络最适合我的业务呢，对吧?我要做一个呃呃人脸的分类和做一个声音的识别，还要做一个Transformer，我怎么设计中间的这些个网络层数呢，对吧?这是一个非常好的问题。

事实上，我们这个现在水泥网络的设计呢，它不是按照就是不，不是按照某种最基本的结构把它堆叠而成的，就类似于乐高积木搭积木。我们第一个模块呢，比如说我们前面设先设三层，这三层的模块呢，是为了提取特征，然后后面中间呢，是为了计算不知道什么东西，然后最后呢，我的输出是为了输出结果，对吧?这是我们的一个工作模式。

所以说我们看到的这个，呃，就是他的工作模式呢，是前向传播，这个就是计算那反向传播误差，这个怎么误怎么理解呢?就是我们刚才看到有个动画，对吧，就是我的输入的所有的数据乘以一个系数，这个系数，每一个系数，就是这里面画的一条线，乘以一个系数，然后呢，呃，我会依次计算中间每一个节点的输出，然后呢，直到最计算，到最后的呃输出据点，就最终那个，最终那个节点，然后这是前项的输呃计算，那前项计算是用来做推理的，假设我模型已经训练好了，那么我给他一个三维的输入，他就给我可以给我一个计算一维的输出，对吧?

那如果我现在还没有训练好，我才做训练，做training。那这个时候呢，我还要多做一步，叫反向传播，啥意思呢?就是我们把我的ground truth，我就我们的样本，带有标签样本，假设我要预测房价，对吧，输入，输入的节点是三个，输出节点是上海某个地方的房价，实际值是，比如说1，000万，结果我预测值是800万，对吧，就差200万吧，这200万就是误差，用这200万的误差去调整这条链路上面的所有参数，那正是因为这些参数不准，才造成的我有误差，对吧?如果你参数好，那说明你的这个预测非常准确嘛，对吧?所以我们要调整这个参数，这就完成一次训练，这就是一个呃一次迭代。1一次一次迭代，这就是简单的训练过程。

那么我们讲到这个呃传输方面呢，它是一种复杂的神经网络，我们待会会看一下它的结构，应该是有，PPT里面应该有，我们待会瞅一眼。然后它最早是用来解决呃语言这个翻译问题的。我们看到它的这个例子呢，是这个不知道啥语言对吧，也不知道哪哪哪个版本的，然后翻译出结果是“我是一个学生”，是英文版的，那无论是哪个语言，他输入也，是序列，输出也是序列。

像这种序列到序列问题呢，我们要解决几个问题。首先是我怎么把输入来做数字化，我们上午讲过了，任意神经网络只能接受数字的输入，只能接受数字，你给我一个这都不知道，什么字符串对吧?我根本不知道这是啥，我必须要把它转化为数字，那这是第一个。第二个的话，我需要去做连续的输出对不对?我输出是一个序列，我翻译的长长度有，有长有短，对吧?我需要解决我的第二个问题，就是长呃呃，输出的这么长短不同。那最后就是我要解决羽翼的长距离依赖问题，就羽翼之间依赖问题，啥意思呢?就我们去读一个文章的时候呢，他可能会有前面的伏笔，后面得有callback，还有一些各种各样的一种修饰方法，对吧?我后面的token呢，后面的句子呢，后面的内容呢，很有可能跟前面的某一些内容相关，这叫语义的这个依赖问题。

那比如说我们翻译，我举个最简单例子，就不要吃那些颜色鲜艳的蘑菇，对吧?你如果把它翻译成英文，那应该是动它，不啦不啦，不啦不啦。你如果把“不要”那个词给忽略了，因为它在最前面嘛，你是你的输入输到后面，把前面给忘了，那翻译出来结果呢，肯定一塌糊涂，对不对?所以这是我们要解决的第三个问题。

那最后就是我的这个训练的效率，就是我要有一个工程方面的优化，那这些问题呢，都被这个叫做呃呃，就是这个Transformer的这样的一个模型所解决了，它使用了一种叫自助注意力机制，叫staff。弹是哪?现在已经变种出来n种，弹是哪?什么自注意力，什么mask的注意力，什么乱七八糟别的，我们待会讲一下它到底是啥意思。

那么我们看一下下面这个图，下面这个encoder decoder像这种编码器解码器架构呢，是解决这种序列到序列问题的一个经典架构，就是我们通过一个编码器，这里面的编码器和解码器都是神经网络，我们通过编码器把我的输入把它变化成一个，压缩成一个像量对吧?压缩机智能。然后呢，我们再用解码器对这个像量做解码，然后再输出我的序列，怎么输出呢?自回归。我们上午讲过了，自回归，我每输入一个词呢，我会把这个词在怼到我的输入里面做下一次的输出，直到遇到句子结尾，直到遇到一个特殊头肯。所以我们解决了输入序列的一个变，输出序列的变潮问题。

那输入数学变长怎么解决呢?传输方面很简单，非常粗暴，就是你有多个输入的头肯，我给你准备多少个in coder，你可以把你可乐当做函数神经网络，神经网络就是函数对吧?我一个训练好的神经网络就是一坨参数加呃参数表示的函数。那么你给我来10个头盔，那我给你准备10个函数，还可以变形计算对吧?多好!所以说我们也解决了输入的变长问题。

那这个长距离依赖怎么解决呢?用的就是这个自，CF弹。水注意力机制，那注意力机制它本质上是计算权重，计算每两个token之间的correlation，就是相似度。我们举一个例子，后面会有一个对吧，大家看文章的例子，那我们看一本书，扫一眼，我们不可能是以同样的一个呃注意力，或者说以同样的一种就是专注度，去关注这里面每一个词，肯定有些词呢，我们就忽略掉了，比如说虚词，比如说一些不重要的词，对吧，连接词，我们只要掌握大意就行了。而计算机里面的注意力机制也是类似，就是你给电脑看一堆文章，他并不是对里面的每一个偷窥，都是以同样的权重在做后面的计算的。

也就是说，经过他神经网络的各种加减乘除之后，先经过一遍加减乘除，他得先做一下自助力计算，然后他会动态的计算出来一个权重。也就是说，我关注于第一个字，我应该给他关注，比如说分配0%点零0.05的权重，第二个0.03，忽然有一个字，我要给他分配80%的权重，这是啥意思呢?这就是因为这个词，这个词这个字对我当前的这个任务最重要，对吧?那这里面有两层含义，第一层是，首先这个注意力呢，它是动态的，我做不同的任务，它肯定是算出来不一样对吧?第二，他是算出来的，由谁算出来的?由神经网络自己算出来的。神经网络怎么能自己算出来?训练出来的。

大家如果在神经网络里面，比如看论文对吧?或者看每个每个文章，如果看到他出现一些稀奇古怪，的数字，不知道他哪来的对吧?你可以简单理解为这是训练出来的，你搞不懂就说他是训出来的。我们看看后面还有还有没有别的例子，那这还有个例子，那你说这里面来了一个句子，他说“she is eating a green apple”对吧?那么我们会量两呃，我们会依次的为这个句子当中的每一个词计算相似度，也就是说我会为我当我计算“she”的attention的时候，我会计算“she”和它自己、“she”和“is”、“she”和“eating”、“she”和“a”、“she”和“apple”、“she”和“green”之间两两的相似度，或者两两的注全奏，然后计算出一个权重来，这个权重经过标准化之后呢，它里面的参数加起来等于1，就是假设我的每一个token计算，就是在这个句子里面，我每一个token计算出来的权重项量是1234566为项量对吧?等同于你这个句子里面token的个数，如果你这个句子文章里面有600万个，那么我每一个句子计算出来的每一个词计算出来的token权重，注意力就是600万对吧?

这也解释了为什么大模型的这个呃成本是跟你的输入偷看和输入偷看正相关的，就是你输出的序列越长，他花费的算力越多，花的钱也越多对吧?所以这就是一种计算逻辑。当然这里面的这么一个呃例子指的是如果我要计算“apple”的话，那么“apple”和“eating”它们之间的一个相似度就很高，这个句子也不是很合理，不是很合理。

我再举一个别的例子，比如说我们有篇这样的一句话，比如说“i love Pizza eati love eating Pizza because eat tasted good”对吧?这句话。那这个“eat IT”，我们人类读一句话，读一遍这个句子，就知道这个“IT”代表的就是披萨，对不对?这是由于这个句子的语意所决定的。而计算机在读这句话的时候，他同样能够感知到这样的一种语义信息，他处理这个“IT”的时候，他就会拿披萨当成“IT”，也就是说这个“IT”和披萨他们之间的相似度是百分之百，他们之间是百分之百。

那即便是你把这个“IT”换成了另外一个他不认识的头肯，对吧?你给他换成一个表情包，他同样知道，这个表情包代表的就是披萨，或者说是这这个，我们经常有这样的体验对吧?我们如果跟一个英文的大模型交互的话，我们一不小心把提示词写错了，一个英文单词写错了，写那个英文单词根本就不是一个单词，但是不影响它这个模型理解你的语意，对吧?这是?就是这就是因为他通过其他的这个token之间的呃这种注意力机制的计算，能够推测出来这个词代表什么含义。

所以这就是注意力集聚的本质，它本质上是让这个模型呃从从呃，以这个线性角度去理解输入序列当中每两个词之间的statistic的correlation，并且是动态计算出来的。利用这样的一种能力呢，语言模型可以获得这样能力，就是假设一个模型，他从来都没见过表情包，我们给他训练语料当中从来就不包括表情包，但是呢，不影响他理解，表情包就是你给他的句子里面出现的表情包，那么他不不妨碍他理解这个句子的含义，当然前提是你这个句子呢，大部分头肯他还是看得懂的，如果这个句子全都是表情包构成的，那那基本上没戏了，那就白瞎了。

所以这是呃Transformer，Transformer?我们这个诶，我怎么只有30分钟，不是下午是30分钟一场吗?好吧，我们继续，继续。然后这个呃呃就是Transformer三种架构，我们上午讲了我们的不同类型的NLG任务，它的这个对于模型的就是结构会有一些个要求，会有不同的要求，那我们现在常用的是叫这个decoder only，全词方面，就中间这个就是大模型的一个，就是架构的话全都是decoder only。

全词方面我们就不去介绍这三种全词方面他们之间的这种结构上面差异了，这个说起来可能一下我都说不完对吧，我们只说他们为什么会产生这样的差异，对吧?一种第一层理解，我在对吧第一层，那就是呃，因为我这种呃encoder decoder产的方面，它既有encoder也有decoder，它是双向的，双向的就类似于就就适合于做翻译任务对吧?那我们做翻译任务呢，一定是我把这段句子读完了，我翻译我才能翻译得好，对不对?你让我只读前面翻译后面，那这个就不合理嘛，所以这个适合用于decoder encoder decoder全词方面。

那如果是生成呢，就像我们现在的大模型的，我跟他说上一句话，他接住我的话往下讲，这个相当于是我遮住一句话前面，然后让他预测后面，对不对?那这就适合用于这个decoder only transformer，因为它是用的一次一种特殊的注意力机制，叫mask的self attention，它只计算一半全相当相当于遮住后面，算前面就是遮住后面，让前面的头盔预测后面对吧，这是第一层理解对吧，这在第一层。

那第五层的话就是稍微高一点，对吧?因为为什么现在的大模型呢，都适合用于呃decode动力传输方面，是因为我们相对于incode decoder，我把incode砍掉了，砍掉了之后我模型实际上更简单了，模型更简单意味着我的参数量，我同样的参数量，同等参数量，我都可以把它用在decoder上面，我就相当于说我就把更多的一个资源用在生成上面了，对不对?这是第五层。

那这个大气层呢，就是其实decode only参数方Mer比传呃比incode decoder更适合用于，或者说更能够享受到scaring low带来的能力上的加持，也就是说随着我的算力的提升，我的呃这个输入数据的增加，模型规模的增长，带来的效果的显效果的提升抵扣的功率传输方面是要高于引扣的抵扣的和引扣的功率的，这是事实证明的。

这就是这个。其实我们如果看有一张图，我看一下后面有没，哎，对，这张图对吧，这张图我们瞅一眼。就是这个，呃，早期，早期就是decoder、incoder、Deco decoder，他们是差不多的，但是很明显，早期呢，会有两个，就是就是分支，一个是谷歌，一个是OpenAI对吧?GBD系列的和谷歌的这个叫叫Bert系列的，就是我们上午说的那个，就是那个Bert。

然后呢，后期的演变呢，直接一枝独大，大家都跑到了这个decode only这个这条分支上面，好，我们看到有我们熟悉的cloud，还有谷歌的，呃，这个叫什么?Germany对吧?拉玛，各种各样GPT都在这条这条分支上，反而另外两个分支呢，变得没那么多了，这就是大家公认为这个decode，功率传输方面儿，更能够享受到scheme。

那为什么这么说呢?我举个例子，就是Rfago，大家可能都听说过，就是几年前谷歌搞了一个强化学习的下围棋的一个智能体对吧，他在这个第一个版本叫Rfago，那他跟李世石下棋下了几盘?不知道，反正把李世石赢了。那其中第二盘还是第三盘，阿尔法go走出了一部惊天妙手，就当时所有的，好像第37部，当时所有的人认为这是一部凑齐，阿尔法go出bug了，但是事后证明，下到后面人发现，包括理事实也发现，那这部棋是一部妙手，而且说明这部棋超出了当时所有人对于围棋的一个认知。

当时人类最顶尖的围棋的专家都没有看出来这是一部好棋，但是被人电脑走出来了对不对?然后呢，这个但是在第四局好像是，然后李世石也吸取了教训，他也不按常理出牌，他走的这种骑法呢，也很奇葩，结果导致阿尔法狗出bug了，那是真出bug了，那局出的是一塌糊涂，输的一塌糊涂!

这是什么原因呢?事后谷歌团队分析，是因为阿尔法狗在训练的阶段呢，他首先先用了160K个人类的棋谱，就160K?还60K我忘了，就人类的棋谱先train了一把，然后呢，再让阿尔法go左右互搏，让他自己再去自己跟自己下，然后用用机器来训练机器，然后正是由于这160K个样本，让走出了第这个呃40第四场的那个那部凑齐，就是他代入了介入了过多的人类实验知识，然后呢，呃，被李世石给利用了，然后呢，于是就输的很惨，到后来下一代版本叫Arfazero，好像是对吧?然后就完全没有用那160K个人类的棋谱去做预训练了，它直接就是让这个两个阿尔法go左右互补，就跳过了人类的显眼知识的这一块。那后来我们都知道了，这个阿尔法zero跟中国的和解打比赛对吧?和解基本上没有任何机会，没有任何机会就输掉了。

这就是因为人类的心眼知识对于大模型来说，有时候是一个负面的影响，尤其是在我的数据规模比较大的情况下面，对吧，也就是说，不用人类的吸引知识，那么模型能够scaring loud更高一点，更厉害一点?那换句话说，encoder decoder transformer里面编码了太多的人类的吸引知识，人类觉得，你这翻译就应该这么，就这么学，你应该先把输入读明白了，然后再做输出，这样子的话，能做的好。但事实上人家模型不这么认为，对吧?

也就是我们那些个呃，越能够有呃scaling law大模型，它能够涉及到的人类先知识越少。我再举一个例子，CV领域，搞深度学都知道，CV领域早期比较包括现在用的比较多的这个模型结构叫卷积神经网络CNN。但是大模型没有用CNN的，为什么呢?CNN你就给他再大数据量，他的水平上限也就在那边，他上限非常有非常的低，但是他下限很高，他下限很高，他基本上你CNN训练出来的，不会差到哪里去，但是他上限不高。

为什么呢?因为CNN里面也有大量的人力吸烟知识。CNN是啥呢?就是我通过呃，就是我们人类观察图像呢，不是观察像素的，而是观察像素之上的概念的，对吧?比如说让人去分辨一张图片是猫还是不是猫，我们不会盯着那个像素本身去看，我们肯定是看这个图片哎，这是一个毛茸茸的四四只脚，还有尾巴，还有还有还有眼睛的这么一个动物哎，于是它是猫。所以说我们写上也让电脑也学会这样的一种认知形式就说，我们通过卷机，通过不断的从像素的一个patch层面往上提取特征，然后把这些毛茸茸的四条腿的，或者是长了两个耳朵大眼睛的这样的一种动物，把它提取出猫来。

但事实证明，这种做法呢，在数据规模比较大的情况下呢，它还不如传说former。早上我们有朋友问他说是为什么现在就现在的大模型呢?呃，就是呃，他，他怎么样处理多模态的，对不对?那处理多模，就是我们首先说，就是如果纯语言的大模型，他是没有办法接受图像作为输入的，你给他图像，他不认识。只有我们训练阶段，我们把图像也当成token，也当成文字。然后呢，让这个模型参与预训练，或者参与后期微调的这么一个过程之后，这个模型才具备了多模态的能力，也就是说他能够理解图像了。

他怎么理解的呢?其实也是类似于这种穿梭方面的模式，他会两两计算每一个像素之间的相似度，但一般不是像素，像素因为太太小了，一般不是像素，一般是像素的集合，就是patch。这是扯远了，这是穿梭方面。

那我们看到这是这是论文里面的架构，论文里面架构，这叫什么玩意，对吧?你看这又是图，又是框，又是又是线条的，不用管它，不用管它，这是一个左边是编码器，就是这个这个，这个编码器，左边那个小的编码器，右边是解码器，最上面那个小的是分裂头，我们讲的这个，呃呃，注意力计算呢，在这个地方，这个地方，这个地方，这个地方，也就是经典的模型呢，经典穿梭模型的三个地方，集团，集团、注意力。

然后上面呢，我们叫FFN，就是呃，一个一个叫做全连接，是你网络，我们可以这么简单理解。下面这朵黄的呢，是用来去提取特征的。上面这个难的呢，是用来存取知识的，就是我们让大模型记住的那些知识，他其实不是记到某个数据库里面，也不是按某种方式编码到他的这个某个地方，而是他把这些学习到的statistic correlation，以参数的形式编参数矩阵的形式编码到到斯尼网络里面了。

也就是说我们微调的时候，大部分微调的这么一个消耗，也是现在大模型大部分的这个参数的消耗，在上面就是蓝色部分。哎哎，要注意这个这个block呢，它重复了n次，就是说我第一次先做，呃，叫做特征提取FFN，下面特征提取FFN重复了n次。所以这是encoder only，encoder decoder decoder only就把这部分全部剔掉，全部剃掉，然后再把这部分剃掉，然后只有这么一个简单的特征提取FFN输出了，对吧?这是呃，穿梭方面。

我们看到它里面讲了这么多乱七八糟模块，不用管它，不用管它，中间这些个，呃，就是就是箭头，又叫支出来的箭头，叫做残差，就是正是由了这些箭头，我使你网络才能训练出来，没有他训不出来。最下面他说importing，啥意思?我们后面还会讲importing，就是解决我们模呃，呃，就是就是输入序列的这个数字化的问题，就每一个文字将会被这个embedding模块把它转化为一个数字，其实是转化为一个向量了，就通过embedding模块转化向阳的，而且这个embedding呢，还能带来其他的好处，对吧?我们都知道RAG，那RAG就一提RAG就是embedding对吧?其实embedding跟RAG一点关系没有，imbedding只是REG，只是利用了imbeding模型的一点点的语意的一个建模能力做的一个做的一种检索的方式而已。

好吧，这是字大模型。这个我们接着讲一下他训练范式，训练范式我们说了，主要是呃，现在OpenAI提出来的，这个就是模型训练呢，分为两个阶段，一个阶段叫预训练，一个阶段叫后训练。其中后训练呢，又分为呃SMT，就是用有监督的方式训练，第二种是紧接的一个强化学习方式来训练。

这三部分的训练的一个目标是不一样的，预训练的目标呢，是让模型获得语言的最基本感知能力和必要的知识，必要的知识。第二部分如果是有监督学习的话，让模型学会某种风格或者某种风格的一个回答形式，比如说对话类的啦，比如说批评类的啦，比如说推理类的啦，对吧。那强化学习的是让模型获得某种价值观，就是你如果不想让模型说脏话对吧，你就在强化学阶段给它灌入一个价值观，就是你说脏话是不对的。怎么灌呢?我给你一个叫做叫做奖励函数和奖励模型的一个东西，当这个模型说脏话的时候，我给他一个特别低的分数，比如说-1-100分，当这个模型不说脏话的时候，说的是正常化的时候，给他个0分，如果他化夸说夸人的话的时候，那给他个100分对吧?于是这个经过强化训练之后，这个模型就会嘴像抹了蜜一样。

所以这个是呃训练步骤。那这这不同的训练步骤，它所需要的样本是不一样的。我们多说两句，那第一部分预训练，它的规模比较大，在样本呢，要求比较多，所以我们不会去用太多的人类标注的这个样本，主要是因为标不起，没那么多钱，没那么多人人力。所以说第一部分预训练呢，用的是句子，就是我从各个地方，不管是网上，不管是你能想到任何地方爬下来的文章，这些文章经过，去掉那些重复的内容，去掉有毒的内容，去掉那些不好的内容，经清洗干净之后，然后再以合适的配比，注意下合适的配比，就是比如说我们在有时候做微调的时候，也要考虑呃数据的配比问题，然后我们组合成一个巨大的资源库，然后我再把这些文章拆成一个一个的句子，然后用句子去做预训练。

怎么去念呢?遮住前面，预测后面，比如说一个句子叫“may the false”，呃，就是“may the false”，不不不，不这么说了，比如说“我爱北京”，后面是空格，那让他预测北京是啥，是北京长城还是天安门，你有千万个这样的句子，然后我们通过这种遮呃，遮调后面，遮调这种后面，用前面预测后面的方式，就能够获得呃，就是预训练，达到预训练的这么一个目的。

那第二段有监督呢，训练呢，SMT呢，其实就是我们讲的微调，所以我们说大模型的微调，它本质上是预训练的延续，或者说是我们，在预训练基础之上，然后再做一次后面的后训练对吧?所以很多，其实现在很多能够被微调模型的那个微调脚本，就是他的训练脚本，只不过是你指向的那个输入数据是你自己提供的而已。当然你需要按照他要求的格式提供的。

现在一般来讲用的这种简单呃呃，微调的话，就是指定微调形式。SFT，你给他一个问题，给他一个答案，然后他会去读他的，读一个问题生成一个答案，和你的答案当中的grantruce做比较，然后再来调整他的参数。这是第二阶段。

最后就强化学习了。强化学习我们先啊，我们先先卖个关子，就不多说了。我们再往下啊，接着往下，这是啥玩意?预训练说过了!预训练说过了，然后呢，在广泛的数学机上，通通过自监督学习。所以说我们讲到这个呃，通过句子来学的话，也叫自监督，自监督学习。

其实呃呃，我其实本质上有监督的，用句子训练模型是有监督的，是有标签的，这个标签只不过是不需要人打而已了。因为句子它已经存在了，它不是随机的偷窥的组合，而是由一部分构成人类语法就是符合人类语法的偷窥按照合适顺序组合到一起的。这本身就是标签，只不过是不需要人工标注而已了。

所以这是预训练。那后训练的微调阶段，我们讲了，是用标注数据集做进一步的监督学习，就是我得给他问答对，我得给他一问一答，那除了一问，一答有没有别的形式呢?有，我们后面讲这个微调的形式，再来回顾这个这个这个这个数据。

数据来了，就是微调，微调，我瞅一眼，这个微调。我们主要是借说一下这个语言模型的微调，那不是语言模型的微调，像这种，stability fusion，像图图呃，文成图纸的微调，那这个是另外一种形式，那我们不说了。

那微调呢，我们分为知识增流和微调。其实知识蒸馏和微调它非常的类似，在某种程度上面呢，他们是可以当成是同一个，同一种逻辑。我先说一下啥是知识蒸馏，这是正德就让一个教师模型去教一个学生模型，让学生模型在某一个领域内，然后他能获得和教师模型类似的能力，甚至是相当的能力。

那具体做法就是用这个领域内的问答问题，然后先让教师模型答一把让教师模型的答案，然后去调整学生模型，我们刚才讲的grandchoose，你可以理解为grandchoose是教师模型生成的，对吧?然后呢，把这些让教用教师模型生成的样本去微调学生模型，那也也就是说，我们得到了一个新的模型，而这个新的模型呢，能够在这此类问题的一个范畴内，能够获得和教师模型类似的能力。而且一般学生模型，它的尺寸是要远小于教师模型的，对吧?比如DBC 671B满血版的，然后呢，我如果用全量微调，我会得到一个新的671B，就是我有俩670GP，我原先花了100万去部署一台DPC，我微调了100，还得再花100万对吧?你这个一般吃不消对吧?

所以我们用参数高效微调，就是说我新调的模型呢，可能没有那么大，可能没有670 b e b那么大，可能只有比如说比如说30B对不对?30来b那这样子的话，其实就是我在不不调整所有参数情况下面，再去获得一个类似的这么一个效果，它本质上是一种就是压缩，本质上是一种压缩。

呃，对，具体方法就是叫Laura。大家可能听说过Laura，我们昨天那个呃，微调比赛，里面有一个非常不起眼的参数，就是Laura那个r。那个r是啥呢?这个r越小，你的模型，你的微调后的模型的尺寸就越小。它本质上是用低矩阵低质分解的方式来去描述，来去拟合那个巨大的参数矩阵的。我们前面说了，无论是你的FFN层，还是transformer层，它本质上都是一系列参数矩阵。那你微调的话，也就是说你要微调这些参数句子，与其微调一个全量的，不如微调一个两个小的，n乘r， r乘n，这个r就是那个质，就低质那个质，r越小，你最后模型的这个尺寸就越小。这个是个非常重要的操餐。

呃，强化学习，强化学习，说来话长，强化学我们上午讲了一点点，就说是强化。如果你能把你的这个任务变成一个和环境序列交互的任务，那么你可以用强化学习的方式去尝试一下。这么说很抽象是吧?我举个例子，我举个实际业务例子，有家公司，他们家是做这个低代码开发的一些框架的，低代码开发，有有有一个编辑器，他们那个编辑器呢，能够通过人的这个拖拽，能够形成一些前后端的代码，这个代码一键就可以部署到云端。

那它本质上是把这个拖拽的控件，然后呢，用它内部的这么一个DST表，就是DSL表示然后，把它转化为后台代码或者前端代码GS或者CSS，对吧?然后他做了前向转化之后呢，想去融资的时候，发现这个讲不出啥故事来，对吧?他想做一个更牛更牛的事情，他看到别人家网站比较好，一键鼠标点过去，就能把他们家的CS，呃，就是GS跟CSS给薅下来。抛下来之后呢，他想的是转化成他内部的这个DSL表示，这样子的话，就不需要我们人工去拖拽了，对吧?我看谁家的好，我不是点一下就过来了。他想做这个反向的过程，那反向过程我们刚才经过，我们刚才抽象，我们可以把它抽象成一个序列到序列问题，对吧?从GS到这个，我的内部表示DSL。

刚开始想着用传送面搞，传送面搞了半天，效果还凑合吧，我看听说是有百分之不知道多少的准确率，但是呢，从指标上来看还OK，但是从实际体验上来看的话，非常差，因为用户才不管你，比如说你95%，用户才不管你95%转化正确的case呢，他总是说，你怎么又错了，怎么又崩了，怎么又看着不对劲了对吧?那5%的错误呢，会被严重放大，对吧?于是这种方案呢，就慢慢的被就抛弃了，就想了个办法，这怎么办呢，对吧?用强化学习啊，用强化学去做这种语言的力的转换啊，包括我们现在的这种code agent啊，做的比较好的，也是专门用过强化学算过的。

而且强化学是特别适合做这部分工作，就是你输，你的输出具有明确的判断依据，对吧?比如说做数学题，比如说写代码，比如说数据分析，对吧?像这类问题，你做的对还是错，一目了然，对吧?剩下来的，错了就是错了，你做数学题，再怎么的，你中间想要再花里胡哨，最终结果不对，那还是白瞎。所以说这类问题是比较适合用强化学做，强化学有个重要的概念，就叫奖励函数啊，奖励函数就是说我们的这个模型呢，我们这个agent呢，跟环境交互过程当中，我们可以给它定义它的动作啊，它有一定的状态，对吧?那我要定义一个奖励函数，就是在这样的动作下啊，在这样的状态下，你这个agent选择这个动作，我给你打多少分，对吧?你对于一个简单AJ呢，可以这么定义。

那对于大模型来说，它的动，它的状态是什么呢?我们先说动作好了，动作比较容易理解对吧?大模型如果跟外部交互的动作，指的是这个模型输出的偷看空间的维数，这怎么理解呢?比如说我模型有10万个头盔，假设我只能够，我能够支持10万个头盔，我每次输出不是10万个头盔里面取一个吧，对吧?所以我的动作就是1/100，000，我每次输出，我有10万个动作可以做，就是10万个动作可以选择，对吧?啊，这是动作，那如果是状态呢?他更大啊，是指的是模型的，就是所有可能遇到的提示词和他输出的这个结果，对吧?这是他的状态，你可以理解为任意一篇文章或者一篇提示就是他的状态。

那来你来告诉我，这个动作跟钟海这奖励函数怎么写啊?什么人?能告诉我，这个模型在这个状态下面选择这个token，我应该敢给他打多少分，对不对?人是写不出来的，对吧?碳基生物写不出来的。所以说早期的这种强化学习呢?大目前强化又叫人类反馈的强化学习，reinforcement learning with human force。这个人类反馈指的是OpenAI的。早一大帮人呃，他写了一大堆样本，就一个问题，5个答案，然后这5个答案排好序，第一个答案是什么?第二个答案怎么样?第三个答案怎么样?排好序啊，12345 排好序。用这样的数据，先训练一个reward model，然后用revolved model来指导模型做强化外语训练。也就是说，这个revolved model会接受用户接受这个模型输出的结果，然后给打分，对吧?这就是早期的强化学习，但现在没这么复杂了。

没这么复杂。现在你如果想做reinventment learning的这么一个呃呃，就是原模型reinvent learning，你可以找很多现成的这个Ramon model，比如说我上刚才讲的，如果是不想让他说脏话，那你就用它找一个判断说脏话的这么一个Ramon model，对吧?这样的Ramon会非常多啊。所以现在门槛没有那么高了。

还是那句话，我们做做微调呢?与呃，更多的就是呃，就是更要考虑我们什么时候要微调啊，或者我要不要微调啊?呃，陈浩宇这个不看了啊，这个不看了。我们早期还有这个，就是deepracer的，现在基本上没了啊。

好，我们接着往下看一下这个一些控制模型输出随机性跟多样性的参数。这个是用来去切换模型工作模式的，比如说它是工作室Agen，那我们让它变得不随机。如果是一个聊天的一个一个一个一个智能体，对吧?我们让它变得随机啊。那这里面呢，比较多的三个参数是temperature、top p、 top k啊，主要主要这3个参数，那有的时候呢，top k没有，有的模型没top k，但一定会有top p跟top k有一个啊。

我们先说结论啊，这3个参数越大越随机，越小越不随机啊，越大这三个都是这样的，越大越随机，越小越不随机啊。怎么理解呢?就是后面应该还有一页，还有一页是讲的对啊，是这边意思。假设啊。假设我的提示词是“一只猫正在后面空格”，模型会输出next token对吧?下一个token，它会输出它所有可能token的一个概率分布，就是下面的一个数字，这数字是我编的。然后如果我没有加任何的top t和top k，那这个时候它会在所有可能的头盔当中做RAMDMSM啊，做sample，于是它的随机性就大，对吧?那些即便是概率比较低的，也有可能给三步到。

假设我top k是5，那这个时候我会只取TOP 5的token，做3步。也就是说我可能出现的这么一个范围，只变成了玩、躺、吃、玩、玩、创、揉，只有5个词。那你是不是随机数变小了对吧?越大越不随机，越小越随机啊，这是k。那如果p呢?假设p等于p，是一个0-1之间的值啊，假设p是0.8的话，那我会从大忘小累加概率在这里呢，我0.8=零点零点零点三+零点零点三=0.9，就大于0.8了啊，所以我后面的两个词也被删掉了。最终这个token，呃，输出的这个token会在躺吃玩3个中间选一个啊，会在3选一，那我随机数是不是进一步降低了，对不对啊?所以top p越小越随越不随机啊，那这里面优先级最高的是t啊，就temperature，temperature影响的是底层的概率值啊，MP值越大概率值越平均，MP值越小概率值越不平均，就马太效应越严重，就原先那些很大的会变得更大啊，原先那些很小的会变得极小啊，这是这个呃这个这个这个就是这三个值啊，我们在我们在这个做，就是做一些蒸馏啊，做一些呃，a证的时候需要调这三个值啊，调这三个值那，呃，除了调节三个值之外，我们还是可以通过提示词来去做一定范围的一个适配啊。

这面这里面讲的是模型的这个优势啊，现现在几点了?我是讲几点45吗?我怎么只有不到一分钟的时间了啊，我再讲讲啊呃呃这个这个模型的优势就是泛化能力比较强啊，就是你无论跟他讲什么，他都给你编出来对吧?他都不会把话撂地上对吧?模型的缺点也是泛化能力比较强，因为他会胡说八道，就是传说中的幻觉。那我们说一下这个幻觉的本质是啥?那圆模型的幻觉，从某种程度来说是这个模型他不知道自己不知道什么对吧?你让你让他去做一个，呃，比如说我们上午有个同学问问了一个问题，他说我我有一个RAP系统，这个rack系统呢，其实是大概这么写的啊，你是一个a i，然后你要回答用户问题，我会给你提供这个问题的上下文。当你不知道问这个问题确切答案的时候，或者上下文不足以让你啊，不足以支持你回答这个问题的时候，请你选择不要回答，你就说不知道对吧?但是这个模型就不管你这假设，假设1 假设没有这个模型啊，没有这个提示词，那他无论你给他什么样的问题，他都会给你编一个答案对吧?他不知道哎，这个问题原来我不知道，我应该问一下别的一些AI，或者说我调一个工具查一下，对吧?他不知道有这么一个过程。

所以说我们解决幻觉的一个主要途径，主要途径啊，不是唯一途径，也是通过提示词让他能够知，让他知道他自己不知道是啥啊。所以我们通过工作流也好，通过residning也好，通过什么别的方式也好，就是让魔性能够在让他感知到自己不知道的时候，让他去调用一些工具，或者调查一些知识库，或者问别的a证的，或者说问人类啊，我是不是这么做是对的对吧?这就很大程度上就避免了幻觉的这么一个啊扩大啊。

啊，所以刚才讲的这个就是提示词啊，提示词我们稍微说两句啊，提示词其实现在到我们现在的这个阶段啊，到我们现在这个阶段，然后我们提示词呢，不需要去关注于一些技巧啊，就是我怎么的用一些词法，用一些语气，然后让模型怎么怎么的啊。其实现在总体来讲，模型的指令遵循能力是在不断提升的，就是你怎么样去跟人讲话，怎么样跟你的同事，跟你的下属去分配任务或者去沟通工作，那么你也怎么样跟模型讲就可以了。

举例来说，你要把话讲清楚，把目的讲清楚，把你的背景，把那要求，把结果的格式讲清楚就可以了啊。当然有一点就是如果有例子，对吧?这里面讲的少样本0样本，就是如果你在题词当中给人家举了个例子，那例子啊，这是要比不举要好的，而且例子多需要比例子少要好的，对吧?就是我们跟一个小朋友讲题，他从小学生，我讲微积分，他肯定要了亲命了，对吧?我如果给他举些例子就稍微好一点，举些例题，那一定是有例题比没例题好，多例题多比少例题少好，对吧?

那现在又来问题了，那我也想例题多呀，对不对啊?那我我从哪找那么多例题啊，而且我得写呀，写例题不得靠成本吗?对不对啊?而且我不同的场景我的例子肯定也不一样呀，那有的时候我例子我得这么写，有的时候是那么写，我总不可能我总不能kiss one吧，对不对啊?我写不出那么多啊，怎么办，对吧?Reg呀!啊，我们先马上就要讲Reg，我们讲Reg的本质是啥呢?Reg本质不就是通过检索来去构造一个提示词吗?对不对啊?那没有人规定我只能检索圣亚文啊，我检索粒子可不可?以检索对吧?我有一个巨大的粒子库啊，这个粒子库里都说了啊，什么场景用什么粒子，然后呢，当这个呃模型想要去生成一个带有shot、带有例子的提示词模板的时候，那么你想，你去把这个上下文场景和你例子库当中的某些场景做个检索，把检索到的那些case啊，就是这些个shot，然后丢到你的提示词里面啊，那你不就有例子了吗?对不对?

比如说我，我这个支库里的例，我这个库里面例子哪来?你人写呗啊，这是一个非常好玩的事情，你是可以帮助AI成长。我们上回讲的，其实现在机器学习，它本质上是机器不学习，对吧?因为无论我们调什么样的模型，只要没让它做预训练，没让它做微调，没让它做后续的这么一个调整，它就不会再变化了，它参数已经定死了，对吧?他永远不会再进化了。这跟跟我们的AGI的话相距甚远。现在是一个小朋友，他都知道跟环境去交互才能学到新东西，现在这么大的一个大模型，他居然不会去学习一些新的知识，对吧?但是我们是可以为他赋予一些外部的知识，对吧?就像我们讲的例子、经验、教训啊，让他可以通过检索来去得到这些个信息，然后在这些我再继续讲下去:

比如说我，我这个支库里的例子，我这个库里面例子哪来?你人写呗，这是一个非常好玩的事情，你是可以帮助AI成长。我们上回讲的，其实现在机器学习，它本质上是机器不学习，对吧?因为无论我们调什么样的模型，只要没让它做预训练，没让它做微调，没让它做后续的这么一个调整，它就不会再变化了，它参数已经定死了，对吧?他永远不会再进化了。这跟跟我们的AGI的话相距甚远。现在是一个小朋友，他都知道跟环境去交互才能学到新东西，现在这么大的一个大模型，他居然不会去学习一些新的知识，对吧?但是我们是可以为他赋予一些外部的知识，对吧?就像我们讲的例子、经验、教训啊，让他可以通过检索来去得到这些个信息，然后在这些信息当中增强到，或者说是把他呃呃写到他的这个上下文当中去啊，就是他短期记忆里面，让他获得一定程度上的成长。当然，虽然这不是最终解决方案啊，但毕竟这是往前迈了那么一步嘛，对吧?

所以这是呃，这是啥?多任务一体化啊，这是东郭泰的任务啊，东郭泰的任务啊，我们对东郭泰任务啊，我们瞅一眼啊，刚才现在来了，就是这个，这个知识的一致性问题啊，就是他的模型的一个一个一个一个这个呃，就是幻觉啊，自相矛盾这个呃，这个其实是在Reg系统当中常遇到的问题啊，就是我们在做知识库的时候啊，经常很多例子啊，很多什么自媒体或者很多文章会这么写啊，我们通过相量库对吧?通过这个这个这个呃，文章的呃，叫做文档的chanking啊，把每一个唱歌importing项链，然后拽到扔到我的知识库里面，我知识库就构建完成了，对不对?你这样子的一个系统呢，可能你做demo一下午能做好几个对吧?但是你上线的话，肯定半年上不了啊。

我举个很简单的问题，就是你怎么样确保你的知识是更新的对吧?你说简单呀，我新文档来了，往里写进去不就行了，对吧?那你怎么样确保你的知识是不冲突的，对吧?我们企业公司的规章制度啊，比如说我们年假是10天啊，后来企业发了福利，年假是15天啊，两篇文章，第一篇文章先进去10天的那个进去了，后面那个15天的怎么办?再进去的话，你如果不加任何处理，你会有讲，你会检索到两篇非常类似的一个文档，一篇是10天的，一篇是15天的，对吧?用户在问我们公司到底多少天年假，AI也崩溃了，你下面两篇文档，一篇10天，一篇15天，对吧?怎么解决?他可能真的就会胡说八道一套啊，这个不赖人AI，不赖人AI啊!

所以这是这个知识一致性啊。然后还有这是啥啊?这个是这个是呃呃提示词的一个反向用法，就是提示词的，叫做注入啊，或者提示词越狱对吧?就是说本来大模型吧，它都经过出厂之前，它都经过很多呃正直的价值观的训练，他不会说那些不符合社会主义核心价值观的话啊。但是不排除有某些恶意用户通过某些稀奇古怪的技术让他变得无所不谈啊。这个是有很多很多种方法的啊，比如说对吧，比如说什么越狱啦，比如说什么正话反说啦，比如说一些注入啦，对吧?这个是没有什么特别好办法的啊。我指的没有什么特别好办法指的是不是针对用户啊，如果说是终端用户，那办法多了去了啊。你是可以使用亚马逊的gather real，在输入之前以及在输出之前有一个过滤的，对不对啊?有各种各样防范的机制，当然你可以自己写啊，当然呃，但是如果我是一个开发者啊，你给我一个大模型的API啊，我肯定有办法把它给把它给，把它给话给套出来啊，就是就是这种这种方式啊，大家了解情况就行了。这个不能公开讲啊，不能公开讲呃，缺乏英国理解能力啊。

这个本质上是由于模型的一个先天限制导致的，因为模型它无论再怎么牛，就说我们再怎么聪明，它本质上就是一个推理机，对吧?我们给输入一定的输入，它根据我当前的输入决定next速度是啥?它不是因为所以它是在我前面已经有的前提下面，我推测我下一个token的最大概率的那个token是哪个，然后再不断的做自回归产生的啊，它并不具有我们逻辑推理的能力啊。但是这只是暂时的状态，暂时状态我们正常讲这个模型的这个，对吧?你看这种题目啊，啊，之前很经常有人拿这种题目来考这个模型，但现在模型做这种题目问题不大，什么我有几个鸡蛋，我打了几个，我又做中几个，对吧?现在现在的解决方案就是让模型一步一步的思考，就是通过推理的一种方式，让模型输出更少序列啊。

这里面有一个概念啊，就是说我们的世界是计算不可约的。所谓计算不可约就是我们现在现实世界当中的很多问题，我没有办法通过一个算法来预测最终的结果什么样子的，我只能花同等的算力去演化一下，我才能知道结果什么样子，对吧?有人告诉我，我我比如说某人80岁之后什么样子的，没有人能够预测出来，你只能这个人活到80岁，然后才能看成啥样子，对吧?那回到我们这，这里面一个一个具体问题，就是对于这些简单数学问题，他本质上也是不可约的，我只能够花同等的算力去演化一下，这个演化一下，你可以理解为花同等的算力去匹配一下，就我为了解决这个问题，我必须要花到这么多算力啊。

我们前面讲算力计是啥呢?我输出的token越长，我花费的算力也越大啊。所以说我经过思考之后，经过resilience之后哎，那我的这个算力就大了，我算力大了的话，我的这个就是呃，就是我的能力就强了，我就能回答你一些复杂问题了啊，这有点就是可以通过这种角度来去理解啊，就是就是呃呃计算不可约啊。

然后就是我们我我们最后一点提示啊，就是嗯我我们讲的这个呃呃就是大模型的这个认识能力啊，他他的现在我们把它叫做呃inference time computation啊，就是我把scaling low的这些个关注点就把我我我们从就是训练端的scaling low，把它慢慢迁移到腿里端的scaling low啊，就是我让他模型输出距离更长，这样子的话，他更能够能够延续现在in love的这个成长啊。但这么做有好有坏对吧?就好比有篇有一篇有一个有本书写的，就思考快与慢对吧?这个呃，reading的思考呢，就类比于我们的思维2，就是他总是去花很多时间去去去reading的啊，这是四维2，那么我们有的时候呢，不加思索的输出叫四维1啊，但四维1不一定是坏处对吧?有些场景下我们可以提升速度对吧?现在很多新的模型呢，它是有两种模式的，推理模式和不推理模式对吧?推理模式就是他先reading一把，不推理模式呢，就是呃呃就是就是直接输出对吧?这是我们讲的这么一个模型的一个一个一个一个结果啊，我瞅一眼啊，我看一下时间，已经乱套了，我讲到几点?两点半好像是哎，讲两还还有多长时间已经超了好吧，不好意思，看来这个时间是准的，我靠，好吧，后面不不砍了负责人AI，这个没啥好说的，这个就是呃，就是加gather real啊，就是我们在做应用的时候，尤其是面向c端的应用，你一定要去这个呃呃，确保你的这个输出呢是合法合规的啊。

要做到合法合规呢，最好的办法就是在你接受用户的输入之输入之后，然后呢，去处理一下，把那些不好的结果挡掉，然后在模型输给用户之前，再处理一下，把那些不好的结果挡掉啊，这就是这个是负责任的AI啊。好吧，后面这个科技人透明性这个不说了啊，这个是现在的呃，只能是缓解啊，你大磨局深度学习神经网络的可解之心呢，是一个，现在是一个世界性难题啊，现在很很很，就是没有很好的解决方案，主要是他的收益很低啊，他成他的这个花费的就是精力很多，但是收益很低啊。

哇，这个这个公平性，偏见性，本质上是在训练数据当中，本身就存在模型的偏差，就是数据的偏差，然后影响到模型，模型端之后才会这样结果。但是我们如果拿不到，我们就是没有办法从头训练的话，我们只能在事后做补救啊，还是加god real啊，加god real好。

最后仍然是做个硬广啊，我们如果考虑到大家如果想获得更多的信息的话，可以扫描屏幕二维码，我们有这个亚马逊的认证，以及我们的skill builder平台啊。

下面是一些演讲现场的精彩瞬间：

对于大模型来说，它的动作是指输出的词汇空间维数，而状态则是指模型遇到的所有可能的提示词和输出结果的组合。

总结

亚马逊云科技大模型工作原理与训练范式解析:

大模型的核心是Transformer架构，通过自注意力机制捕捉长距离依赖关系，解决序列到序列问题。训练范式分为预训练和后训练两个阶段。预训练旨在让模型获得语言基本能力和必要知识，通过自监督学习在大规模语料上训练。后训练分为有监督微调和强化学习微调，前者让模型学习特定任务风格，后者赋予模型某些价值观。

模型输出可通过温度、Top-p、Top-k等参数控制随机性。模型的优势在于泛化能力强，但也容易产生幻觉。解决幻觉需要引入外部知识，但仍存在知识一致性等挑战。模型缺乏真正的理解和推理能力，需要通过增加推理步骤来弥补。最后，应用大模型需注重负责任AI、透明性和公平性。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出，企业要从“成本优化”转向“创新驱动”，通过完善的数据战略和AI云服务，把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在AI时代突破。