1.大模型指标

比较典型的大模型指标：

模型大小(参数量)：通常以亿(Billion)或万亿(Trillion)计算的参数数目，影响模型能够学习的知识容量。

层(Layer)数量：模型中Transformer层的数量，与模型的深度相关，影响模型捕获复杂特征的能力。

隐藏层大小和宽度：每层的内部神经网络节点数，影响模型学习数据内在关系的能力。

注意力头(Attention Heads)数量：单个Transformer层内并行注意力机制的数量，越多可以捕捉更多并行化的关系。

序列长度(Context Window)：模型一次可以处理的最大单词/标记数量，影响模型理解长文本的能力。

预训练数据量：用于训练模型的数据总量，通常以TB(Terabytes)计量，影响模型的泛化能力。

微调(Fine-tuning)能力：模型在特定任务上调整以提高性能的能力，例如在具有特定领域集的任务上进行微调。

生成能力和多样性：模型生成文本的流畅性、相关性与多样性。

评价指标：使用来衡量模型性能的标准度量，例如BLEU、ROUGE、Perplexity、F1分数等。

处理速度和延迟：模型在推理过程中处理输入和产出生成文本的速度和响应时间。

高效性(效能)：计算资源消耗与性能的平衡，包括处理速度与所需功率的关系。

可伸缩性(Scalability)：模型是否能够在更大的硬件设施上进行有效扩展来改善性能。

鲁棒性(Robustness)：模型对于输入噪声和异常值的抵抗能力，以及是否能遵循公平性、可靠性和伦理标准。

GPT-3的参数：

模型大小(参数量)：GPT-3具有1750亿(175 billion)参数。

层(Layer)数量：GPT-3模型具有96个Transformer层。

隐藏层大小和宽度：在GPT-3中，隐藏层的宽度(即每个Transformer层内的神经元数量)是12288。

注意力头(Attention Heads)数量：GPT-3模型具有96个注意力头。

序列长度(Context Window)：GPT-3能够处理的最大序列长度是2048个标记(tokens)。

预训练数据量：GPT-3的训练数据量570GB。这些文本数据来源于多样的互联网文本，包括书籍、网站和其他类型的文本文档。

微调(Fine-tuning)能力：GPT-3展示出在多种任务上仅通过少量样本(few-shot learning)或甚至无样本(zero-shot learning)的指导下表现出色的能力。

生成能力和多样性：GPT-3在生成文本的质量、流畅性和多样性方面达到了惊人的水平，可以生成几乎与人类无法区分的文本。

评价指标：在多个基准和任务上，GPT-3都表现出色。具体评分(如BLEU, ROUGE等)依任务而异，但普遍被认为是迄今为止表现最好的语言模型之一。

处理速度和延迟：由于模型巨大，GPT-3在没有专门优化的情况下可能在速度和延迟方面表现一般，尤其是在标准的硬件上。

高效性(效能)：GPT-3的运算效率受其大规模的参数量影响，需要高性能的计算资源。

可伸缩性(Scalability)：尽管GPT-3在较大的硬件设施上能够实现规模扩展，但成本和效能比是实际应用时的重要考量因素。

鲁棒性(Robustness)：GPT-3显示出对不同类型输入的高鲁棒性，但仍可能受到特定类型的偏差、误导或滥用的影响。

用简单的话术来解释关于GPT-3这种语言大模型的一些关键指标参数：

模型大小(参数量)：就像大脑中的神经元数量。GPT-3的"大脑"有1750亿个"神经元"(参数)，这意味着它可以"记住"大量的信息。

层(Layer)数量：想象一本书的页数。GPT-3有96页，每一页有助于它更好地理解和生成语言。----参数量和每层的输入和输出有关系(乘积关系)

隐藏层大小和宽度：每一页的内容量。GPT-3的每一页含有大量的信息(神经元)，这让它能够处理更复杂的语言结构。

注意力头(Attention Heads)数量：一种类似于"关注能力"的机制。GPT-3可以同时关注96个不同的事项，帮助它准确理解上下文。---能对某些关键字权重识别更准确。

序列长度(Context Window)：GPT-3能一次记住的单词数量，可以记住长达2048个单词的语言序列，这有助于生成更连贯的文本。

学习率和优化器：这就像学习的速度和方法。GPT-3有一套自己有效的学习规则，帮助它快速并正确地学习。

预训练数据量：它读过的书籍和文章的数量。GPT-3在制作时阅读了大量的文本资料，所以它知识面很广。

微调(Fine-tuning)能力：在特定任务上表现良好。GPT-3就像一个全才，它可以专门调整自己以擅长完成特定的语言任务。

生成能力和多样性：能产生多么有创意和多样化的文本。GPT-3在创作故事、回答问题等方面表现就像一个有才华的作家。

评价指标：衡量GPT-3做得有多好的考试分数。它在各种语言任务上得到的分数都很高。

处理速度和延迟：思考问题和给出答案所需的时间。GPT-3虽然聪明，但由于它的"大脑"很大，有时需要更多时间来响应。

高效性(效能)：GPT-3做事的效率。考虑到它的能力，它执行任务时所消耗的能源和资源还是相当高的。

可伸缩性(Scalability)：如果要让GPT-3变得更强大，是否能简单地增加资源。现实中，使GPT-3变得更“聪明”对资源和成本的要求也很高。

鲁棒性(Robustness)：保持稳定和可靠的能力。GPT-3通常可以很好地处理各种复杂问题，但偶尔也会犯错或被一些问题难住。

以下是一些评价语言模型性能的典型指标：

准确率 (Accuracy)：最直观的评价指标之一，它指的是模型正确预测的样本比例。在分类任务中特别常用。

困惑度 (Perplexity)：特别用于评估语言模型在预测下一个词时的性能。困惑度越低，表示模型对语言的理解越好。

BLEU (双语评估替换)：主要用于机器翻译。通过比较模型的翻译与人类翻译的重叠程度，来评价机器翻译的质量。

ROUGE (Recall-Oriented Understudy for Gisting Evaluation)：主要用于评估自动文摘和机器翻译，关注的是模型输出与参考摘要之间的重合度。

F1 Score：综合考虑了模型的精确率和召回率，是这两者的调和平均数，常用于不平衡分类问题。

METEOR (Metric for Evaluation of Translation with Explicit Ordering)：这也是用于机器翻译评估的指标，它通过考虑同义词和句子结构来改进BLEU指标。

精确率 (Precision) 和 召回率 (Recall)：“精确率”表示识别为正的样本中确实为正的比例，而“召回率”表示所有正样本中被正确识别的比例。-----准确率说明的是识别的准确度，召回率说明的识别的能力。F1越高越好。

错误率 (Error Rate)：在诸如语音识别等任务中，错误率衡量的是模型输出与真实输出之间的差异比例。

SQuAD Score：用于问答系统，通过对指定数据集中的问题生成准确答案的能力来评价模型。

GLUE and SuperGLUE：这是一系列自然语言理解任务的集合，旨在评估语言模型在广泛的语言理解能力上的表现。

在广泛的任务和领域内进行评估，以验证其能力和普遍性。一些评价指标：

语言：

任务通常涉及语法、拼写、句法理解，以及语言生成能力。

如GLUE或SuperGLUE基准测试，它们包含多项任务，用于评估模型理解和生成自然语言的能力。

知识：

测试模型是否能有效地利用其训练数据中的事实和信息。

包含对事实的相关性、准确性的验证，以及对常识问题进行回答的能力。

推理：

包含逻辑推理、因果推断以及能否理解复杂概念和关系的多阶段问题。

涉及文本的深层次理解和在各类场景中应用问题解决技能的能力。

数学：

能力涵盖从基本算术到高级数学的知识理解和问题解决。

测试包括解数学题、推导等，评估其执行数学操作的能力。

代码：

评估模型在代码生成、代码理解、编程任务解决等方面的表现。

包括代码片段的预测、程序修复和代码理解等任务。

智能体：

通常是指模型在游戏、模拟环境或交互任务中的应用。

这可能涉及到与人类或其他智能体协作，解决问题，或在虚拟环境中导航。

其它还有一些文本生成质量、阅读理解、摘要、情感分析、问答、检索和排序、多模态等。

一个大模型文件大概是这样的：ChatGLM-7B

-rw-r--r-- 1 root root 722 4月 1 2023 config.json

-rw-r--r-- 1 root root 4119 4月 1 2023 configuration_chatglm.py

-rw-r--r-- 1 root root 1477 4月 1 2023 gitattributes.txt

-rw-r--r-- 1 root root 2699926 4月 1 2023 ice_text.model

-rw-r--r-- 1 root root 11336 4月 1 2023 LICENSE.txt

-rw-r--r-- 1 root root 55958 4月 1 2023 modeling_chatglm.py ---执行文件

-rw-r--r-- 1 root root 2347 4月 1 2023 MODEL_LICENSE.txt

-rw-r--r-- 1 root root 1904491802 4月 1 2023 pytorch_model-00001-of-00008.bin --参数文件1-8

-rw-r--r-- 1 root root 1879731432 4月 1 2023 pytorch_model-00002-of-00008.bin

-rw-r--r-- 1 root root 1980385902 4月 1 2023 pytorch_model-00003-of-00008.bin

-rw-r--r-- 1 root root 1913294120 4月 1 2023 pytorch_model-00004-of-00008.bin

-rw-r--r-- 1 root root 1879722289 4月 1 2023 pytorch_model-00005-of-00008.bin

-rw-r--r-- 1 root root 1879731496 4月 1 2023 pytorch_model-00006-of-00008.bin

-rw-r--r-- 1 root root 1074103621 4月 1 2023 pytorch_model-00007-of-00008.bin

-rw-r--r-- 1 root root 1233126123 4月 1 2023 pytorch_model-00008-of-00008.bin

-rw-r--r-- 1 root root 33416 4月 1 2023 pytorch_model.bin.index.json

-rw-r--r-- 1 root root 15054 4月 1 2023 quantization.py

-rw-r--r-- 1 root root 4977 4月 1 2023 README.md

-rw-r--r-- 1 root root 12523 4月 1 2023 tokenization_chatglm.py

-rw-r--r-- 1 root root 416 4月 1 2023 tokenizer_config.json

核心包括两个：参数文件+运行文件

参数文件包含所有参数，每个参数用16位浮点数来存储。6B大概有12GB，基本可以按照1B参数2GB来计算。

2.开源大模型

目前市面主要开源的版本：

通义千问

通义千问-7B-1.5(Qwen-7B-1.5)是通义千问的新版本，支持 0.5B, 1.8B, 4B, 7B, 14B,72B 的 chat 和 base 模型，并支持 awq，GPTQ，GGUF 版本。

智谱AI

ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数，魔搭 ModelScope 社区提供了全精度版本，以及 int8 和 int4 精度版本。

百川

baichuan-7B是由百川智能开发的一个开源的大规模预训练模型。基于Transformer结构，在大约1.2万亿tokens上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。在标准的中文和英文权威benchmark(C-EVAL/MMLU)上均取得同尺寸最好的效果。

Mistral

Mistral-7B开源模型

Gemma(Google)

Gemma开源模型，7亿参数的模型适用于GPU和TPU上的高效部署和开发，2亿参数的模型适用于CPU和设备上的应用。

LLama2(Meta)

LLaMa 2系列的大型语言模型(LLMs)，其规模从70亿到700亿参数不等。该系列模型提供了多种参数大小——7B、13B和70B等——以及预训练和微调的变体。

3.闭源大模型

GPT4、文心一言、MJ等，一般都有两个版本。

二、数据集

数据集：是方便共享及访问的数据集合，可用于算法训练、测试、验证，通常以表格形式出现。按照模态可划分为文本、图像、音频、视频、多模态等。

三、大模型训练与推理

1.训练

一次完整的模型训练包含了训练(train)和评估(evaluate)两个过程。训练过程使用训练数据集，将数据输入模型计算出loss后更新模型参数。评估过程使用评估数据集，将数据输入模型后评估模型效果。

2.推理

基于已训练好的模型，给定输出，返回输出。