本文来源:宋星
GPT是
“Generative Pre-trained Transformer”
(生成型预训练变换模型)的缩写,目的是为了使用深度学习生成人类可以理解的自然语言。
理解人类自然语言的模型有多种,GPT只是其中的一种。另一种很著名的模型是BERT 模型(后面会讲)。
GPT也不只是用在跟你“聊天”上的ChatGPT ,它还有更底层作为基座的InstructGPT 。
目前我们讨论的GPT一般指的是GPT-3以及它的升级版GPT-3.5,但GPT目前已经到了第四版,也就是GPT-4 。
生成式AI 和判别式AI
生成式AI ,就是帮你做东西的AI。判别式AI ,就是机器能够帮助辨别东西的AI,也叫决策式AI 。
比如,ChatGPT,在你提问之后说话给你巴拉巴拉一大堆,这就是生成式AI。你让一个作图AI,按照你提的要求做个画,这也是生成式AI。
生成式AI 为啥火,因为它能够直接响应人,直接跟人交流,这是人们最期待的AI 方式。就跟《星际穿越》里面的TARS 机器人一样。
判别式AI ,也挺重要的,典型的就是让机器具有像人一样的认识能力。比如,人工视觉、听音识曲、自动感知后自动判别然后再自动决策等。我们数字营销行业的营销自动化(MA ),就很可以利用上判别式AI 。比如,自主判别某个用户是否属于高机会型潜在客户,然后自动为他提供相应的商业信息或营销诱饵。
语料
语言的材料。这个词并不是在ChatGPT 等自然语言AI产生之后才产生的。例如,我们学习一门外语,也需要语料。毕竟,没有人天生就懂一门自己从来没有见过的语言。
语料的英语是Corpus,字典上的解释是:一套书面文本,特别是某一特定作者的全部作品或某一特定主题的写作。
在ChatGPT 等模型中,语料被分解为Token 和各种向量关系,通过预训练的方式,人们基于这些Token 和向量关系,建立起各种参数和模型,成为可被机器“消化、吸收”的原始学习素材。
所以,语料是ChatGPT的原材料,没有语料,就没有ChatGPT。
Token
Token 是语言模型用于处理和生成文本的文本单位。我们通常认为,一个单词就是一个Token,但实际上并不如此,比如OpenAI 算两个token,分别是open和ai,再比如ChatGPT是chat 、g、p 和t 这四个token。
Token对ChatGPT至关重要,是ChatGPT理解和生成语言的最基本元素。
在用户输入一段话后,它使用一个分词算法将每个输入的单词拆分成token 。例如,“Hello world!”将被拆分为3个 token :[“Hello”,“world”,“!”]。“I’m happy 😊”将被拆分为5个token:[“I”, “’”, “m”, “happy”, “😊”]。
参数
参数这个东西,是人工智能中非常重要的一个概念,也是人工智能得以实现的非常重要的手段。
你可以这么简单地去理解参数:
在人工智能下,计算,不再是人去直接写算式,而是让机器去自主地调节“计算公式”。这个“公式”,随着要解决的问题的复杂度的升高,里面包含的变量和常量就会越来越多。每个常量或者变量所占有的权重不一样,对它们赋予不同的权重,计算后输出的结果也就会非常不同。机器要做的事情,就是基于它输出的这些结果的正确与否(结果正确与否,通常是人告诉机器的,但在一些应用中,也可以不需要人),来调整这些权重,直到每一次计算出来的结果,都是正确或接近正确的。
这些权重,实际上,就是参数。
除了权重之外,还有支持向量机中的支持向量,以及线性回归或者逻辑回归中的系数,也都是参数。支持向量和回归是什么,就不再多做介绍了,感兴趣的朋友查一下度娘,内容很多。
人工智能的一个重要方法(但不是唯一方法),就是通过训练,不断让机器学会自主调整这些参数。
LM
(大模型,Large Model )
现在另一个非常火的概念是大模型。
我先讲讲模型。
模型,就是我们在前面讲“参数”的时候,所提到的“计算公式”。
计算公式能够适应不同的场景(语境)的一个原因,就是因为这些公式里面有可被不断动态调整的参数。当然,公式本身也是可调的,也不是一成不变的。你可以简单地人为,参数和公式,就组成了模型。基于不断增加的学习材料(比如语料和token ),以及不断告诉机器它所做出的结果的正确与否,机器就能不断迭代和优化参数和公式。这个过程也就是模型不断被训练的过程。
人工智能、机器学习、深度学习等等这些技术,背后都离不开模型。模型的好坏,一方面由最初算法的好坏决定,另一方面,也由学习训练过程的好坏决定。
我们把语料转成token ,目的也就是让机器能够基于这些素材,建立模型,并不断优化。
那么,什么是大模型呢?
其实,当你看了我前面讲的“参数”是指什么,大模型也就很容易理解,就是那些拥有很多参数的模型。
LLM大语言模型
(Large Language Model)
了解了大模型,就很容易理解LLM (大语言模型)了。
大模型中,专门用来理解、处理、生成自然语言的模型,就是大语言模型。
大语言模型的大,主要就是我们前面所说的参数量特别大。而参数量大,又必须以语料库和token 数量大为基础。
前面也有提到,ChatGPT和BERT都是典型的大语言模型。未来,肯定还会有更多的大语言模型出现。
Prompt
和Prompt Engineering
Prompt的意思是提示。
Prompt Engineering的意思是提示工程。
有人说,这就是魔法师的“念咒”:对机器念咒,就输出给你你想要的东西。对,差不多。
Prompt 这个词在计算机科学中出现的很早,类似于你给机器下达的指令,但这个指令又不是程序命令,而更偏向于人类的自然语言。今天,在生成式AI 中,prompt 其实就是给机器提要求。它是自然语言的要求,不过最好能够精炼、言简意赅,并且清除表示你想要什么。
不过,任何提问,哪怕是对着人提问,把问题描述清楚,都是一个非常重要的前提。衡量一个人是否聪明的一个重要标志性指针,就是这个人的提问,是不是更高水平的。
对机器的提问或者指示,也需要有更高的水平,机器才能更好理解,并最终能够按照你的需要给你做出输出。
所以,如何提出更好的prompt 是要学习的。有点类似于,你要学会如何跟机器说话。有些人在淘宝上贩卖现成的prompts ,已经成为了一个商机。
Prompt engineering则是把给机器下达指令作为一个严肃的工程技术来进行研究。它所做的事情,不仅是让我们的指令更合理,更能帮助我们得到我们想要的回答。更是帮助挖掘人工智能的极限,以及找到人工智能的缺陷。
Prompt engineering有很多的方法,比如few-shot 方法、zero-shot 方法、CoT 方法等。我在后面介绍。
相关内容:
详解现象级ChatGPT发展历程、原理、技术架构详解和产业未来
去年今日运营文章
- 2024: 2024企业年会盛典系列“披荆斩棘·聚势前行”活动策划方案(0)
- 2024: 塔斯汀中国汉堡品牌案例复盘(0)
- 2024: 如何通过UTM参数追踪运营效果!(0)
- 2024: 认证小红书专业号(0)
- 2024: 【小红书】如何选好博主(0)
本文转载于宋星,本文观点不代表爱运营立场,转载请联系原出处。如内容、图片有任何版权问题,请联系爱运营处理。