都在说GPT，这些ChatGPT相关知识你知道几个？

本文来源：宋星

GPT

GPT是

“Generative Pre-trained Transformer”

（生成型预训练变换模型）的缩写，目的是为了使用深度学习生成人类可以理解的自然语言。

理解人类自然语言的模型有多种，GPT只是其中的一种。另一种很著名的模型是BERT 模型（后面会讲）。

GPT也不只是用在跟你“聊天”上的ChatGPT ，它还有更底层作为基座的InstructGPT 。

目前我们讨论的GPT一般指的是GPT-3以及它的升级版GPT-3.5，但GPT目前已经到了第四版，也就是GPT-4 。

生成式AI 和判别式AI

生成式AI ，就是帮你做东西的AI。判别式AI ，就是机器能够帮助辨别东西的AI，也叫决策式AI 。

比如，ChatGPT，在你提问之后说话给你巴拉巴拉一大堆，这就是生成式AI。你让一个作图AI，按照你提的要求做个画，这也是生成式AI。

生成式AI 为啥火，因为它能够直接响应人，直接跟人交流，这是人们最期待的AI 方式。就跟《星际穿越》里面的TARS 机器人一样。

判别式AI ，也挺重要的，典型的就是让机器具有像人一样的认识能力。比如，人工视觉、听音识曲、自动感知后自动判别然后再自动决策等。我们数字营销行业的营销自动化（MA ），就很可以利用上判别式AI 。比如，自主判别某个用户是否属于高机会型潜在客户，然后自动为他提供相应的商业信息或营销诱饵。

语料

语言的材料。这个词并不是在ChatGPT 等自然语言AI产生之后才产生的。例如，我们学习一门外语，也需要语料。毕竟，没有人天生就懂一门自己从来没有见过的语言。

语料的英语是Corpus，字典上的解释是：一套书面文本，特别是某一特定作者的全部作品或某一特定主题的写作。

在ChatGPT 等模型中，语料被分解为Token 和各种向量关系，通过预训练的方式，人们基于这些Token 和向量关系，建立起各种参数和模型，成为可被机器“消化、吸收”的原始学习素材。

所以，语料是ChatGPT的原材料，没有语料，就没有ChatGPT。

Token

Token 是语言模型用于处理和生成文本的文本单位。我们通常认为，一个单词就是一个Token，但实际上并不如此，比如OpenAI 算两个token，分别是open和ai，再比如ChatGPT是chat 、g、p 和t 这四个token。

Token对ChatGPT至关重要，是ChatGPT理解和生成语言的最基本元素。

在用户输入一段话后，它使用一个分词算法将每个输入的单词拆分成token 。例如，“Hello world！”将被拆分为3个 token ：[“Hello”，“world”，“！”]。“I’m happy 😊”将被拆分为5个token：[“I”, “’”, “m”, “happy”, “😊”]。

参数

参数这个东西，是人工智能中非常重要的一个概念，也是人工智能得以实现的非常重要的手段。

你可以这么简单地去理解参数：

在人工智能下，计算，不再是人去直接写算式，而是让机器去自主地调节“计算公式”。这个“公式”，随着要解决的问题的复杂度的升高，里面包含的变量和常量就会越来越多。每个常量或者变量所占有的权重不一样，对它们赋予不同的权重，计算后输出的结果也就会非常不同。机器要做的事情，就是基于它输出的这些结果的正确与否（结果正确与否，通常是人告诉机器的，但在一些应用中，也可以不需要人），来调整这些权重，直到每一次计算出来的结果，都是正确或接近正确的。

这些权重，实际上，就是参数。

除了权重之外，还有支持向量机中的支持向量，以及线性回归或者逻辑回归中的系数，也都是参数。支持向量和回归是什么，就不再多做介绍了，感兴趣的朋友查一下度娘，内容很多。

人工智能的一个重要方法（但不是唯一方法），就是通过训练，不断让机器学会自主调整这些参数。

（大模型，Large Model ）

现在另一个非常火的概念是大模型。

我先讲讲模型。

模型，就是我们在前面讲“参数”的时候，所提到的“计算公式”。

计算公式能够适应不同的场景（语境）的一个原因，就是因为这些公式里面有可被不断动态调整的参数。当然，公式本身也是可调的，也不是一成不变的。你可以简单地人为，参数和公式，就组成了模型。基于不断增加的学习材料（比如语料和token ），以及不断告诉机器它所做出的结果的正确与否，机器就能不断迭代和优化参数和公式。这个过程也就是模型不断被训练的过程。

人工智能、机器学习、深度学习等等这些技术，背后都离不开模型。模型的好坏，一方面由最初算法的好坏决定，另一方面，也由学习训练过程的好坏决定。

我们把语料转成token ，目的也就是让机器能够基于这些素材，建立模型，并不断优化。

那么，什么是大模型呢？

其实，当你看了我前面讲的“参数”是指什么，大模型也就很容易理解，就是那些拥有很多参数的模型。

LLM大语言模型

（Large Language Model）

了解了大模型，就很容易理解LLM （大语言模型）了。

大模型中，专门用来理解、处理、生成自然语言的模型，就是大语言模型。

大语言模型的大，主要就是我们前面所说的参数量特别大。而参数量大，又必须以语料库和token 数量大为基础。

前面也有提到，ChatGPT和BERT都是典型的大语言模型。未来，肯定还会有更多的大语言模型出现。

Prompt

和Prompt Engineering