都在说GPT,这些ChatGPT相关知识你知道几个?

本文来源:宋星

GPT

GPT是

“Generative Pre-trained  Transformer”

(生成型预训练变换模型)的缩写,目的是为了使用深度学习生成人类可以理解的自然语言。

 

理解人类自然语言的模型有多种,GPT只是其中的一种。另一种很著名的模型是BERT 模型(后面会讲)。

GPT也不只是用在跟你“聊天”上的ChatGPT ,它还有更底层作为基座的InstructGPT 。

目前我们讨论的GPT一般指的是GPT-3以及它的升级版GPT-3.5,但GPT目前已经到了第四版,也就是GPT-4 。

生成式AI 和判别式AI

生成式AI ,就是帮你做东西的AI。判别式AI ,就是机器能够帮助辨别东西的AI,也叫决策式AI 。

比如,ChatGPT,在你提问之后说话给你巴拉巴拉一大堆,这就是生成式AI。你让一个作图AI,按照你提的要求做个画,这也是生成式AI。

生成式AI 为啥火,因为它能够直接响应人,直接跟人交流,这是人们最期待的AI 方式。就跟《星际穿越》里面的TARS 机器人一样。

判别式AI ,也挺重要的,典型的就是让机器具有像人一样的认识能力。比如,人工视觉、听音识曲、自动感知后自动判别然后再自动决策等。我们数字营销行业的营销自动化(MA ),就很可以利用上判别式AI 。比如,自主判别某个用户是否属于高机会型潜在客户,然后自动为他提供相应的商业信息或营销诱饵。

语料

语言的材料。这个词并不是在ChatGPT 等自然语言AI产生之后才产生的。例如,我们学习一门外语,也需要语料。毕竟,没有人天生就懂一门自己从来没有见过的语言。

语料的英语是Corpus,字典上的解释是:一套书面文本,特别是某一特定作者的全部作品或某一特定主题的写作。

在ChatGPT 等模型中,语料被分解为Token 和各种向量关系,通过预训练的方式,人们基于这些Token 和向量关系,建立起各种参数和模型,成为可被机器“消化、吸收”的原始学习素材。

所以,语料是ChatGPT的原材料,没有语料,就没有ChatGPT。

Token

Token 是语言模型用于处理和生成文本的文本单位。我们通常认为,一个单词就是一个Token,但实际上并不如此,比如OpenAI 算两个token,分别是open和ai,再比如ChatGPT是chat 、g、p 和t 这四个token。

Token对ChatGPT至关重要,是ChatGPT理解和生成语言的最基本元素。

在用户输入一段话后,它使用一个分词算法将每个输入的单词拆分成token 。例如,“Hello world!”将被拆分为3个 token :[“Hello”,“world”,“!”]。“I’m happy 😊”将被拆分为5个token:[“I”, “’”, “m”, “happy”, “😊”]。

参数

参数这个东西,是人工智能中非常重要的一个概念,也是人工智能得以实现的非常重要的手段。

你可以这么简单地去理解参数:

在人工智能下,计算,不再是人去直接写算式,而是让机器去自主地调节“计算公式”。这个“公式”,随着要解决的问题的复杂度的升高,里面包含的变量和常量就会越来越多。每个常量或者变量所占有的权重不一样,对它们赋予不同的权重,计算后输出的结果也就会非常不同。机器要做的事情,就是基于它输出的这些结果的正确与否(结果正确与否,通常是人告诉机器的,但在一些应用中,也可以不需要人),来调整这些权重,直到每一次计算出来的结果,都是正确或接近正确的。

这些权重,实际上,就是参数。

除了权重之外,还有支持向量机中的支持向量,以及线性回归或者逻辑回归中的系数,也都是参数。支持向量和回归是什么,就不再多做介绍了,感兴趣的朋友查一下度娘,内容很多。

人工智能的一个重要方法(但不是唯一方法),就是通过训练,不断让机器学会自主调整这些参数。

LM

(大模型,Large Model )

现在另一个非常火的概念是大模型。

我先讲讲模型。

模型,就是我们在前面讲“参数”的时候,所提到的“计算公式”。

计算公式能够适应不同的场景(语境)的一个原因,就是因为这些公式里面有可被不断动态调整的参数。当然,公式本身也是可调的,也不是一成不变的。你可以简单地人为,参数和公式,就组成了模型。基于不断增加的学习材料(比如语料和token ),以及不断告诉机器它所做出的结果的正确与否,机器就能不断迭代和优化参数和公式。这个过程也就是模型不断被训练的过程。

人工智能、机器学习、深度学习等等这些技术,背后都离不开模型。模型的好坏,一方面由最初算法的好坏决定,另一方面,也由学习训练过程的好坏决定。

我们把语料转成token ,目的也就是让机器能够基于这些素材,建立模型,并不断优化。

那么,什么是大模型呢?

其实,当你看了我前面讲的“参数”是指什么,大模型也就很容易理解,就是那些拥有很多参数的模型。

LLM大语言模型

Large Language Model)

 

了解了大模型,就很容易理解LLM (大语言模型)了。

大模型中,专门用来理解、处理、生成自然语言的模型,就是大语言模型。

大语言模型的大,主要就是我们前面所说的参数量特别大。而参数量大,又必须以语料库和token 数量大为基础。

前面也有提到,ChatGPT和BERT都是典型的大语言模型。未来,肯定还会有更多的大语言模型出现。

Prompt

和Prompt Engineering

Prompt的意思是提示。

Prompt Engineering的意思是提示工程。

有人说,这就是魔法师的“念咒”:对机器念咒,就输出给你你想要的东西。对,差不多。

Prompt 这个词在计算机科学中出现的很早,类似于你给机器下达的指令,但这个指令又不是程序命令,而更偏向于人类的自然语言。今天,在生成式AI 中,prompt 其实就是给机器提要求。它是自然语言的要求,不过最好能够精炼、言简意赅,并且清除表示你想要什么。

不过,任何提问,哪怕是对着人提问,把问题描述清楚,都是一个非常重要的前提。衡量一个人是否聪明的一个重要标志性指针,就是这个人的提问,是不是更高水平的。

对机器的提问或者指示,也需要有更高的水平,机器才能更好理解,并最终能够按照你的需要给你做出输出。

所以,如何提出更好的prompt 是要学习的。有点类似于,你要学会如何跟机器说话。有些人在淘宝上贩卖现成的prompts ,已经成为了一个商机。

Prompt engineering则是把给机器下达指令作为一个严肃的工程技术来进行研究。它所做的事情,不仅是让我们的指令更合理,更能帮助我们得到我们想要的回答。更是帮助挖掘人工智能的极限,以及找到人工智能的缺陷。

Prompt engineering有很多的方法,比如few-shot 方法、zero-shot 方法、CoT 方法等。我在后面介绍。

相关内容:

详解现象级ChatGPT发展历程、原理、技术架构详解和产业未来

ChatGPT 能做的49件事

去年今日运营文章

  1. 2024:  2024企业年会盛典系列“披荆斩棘·聚势前行”活动策划方案(0)
  2. 2024:  塔斯汀中国汉堡品牌案例复盘(0)
  3. 2024:  如何通过UTM参数追踪运营效果!(0)
  4. 2024:  认证小红书专业号(0)
  5. 2024:  【小红书】如何选好博主(0)

本文转载于宋星,本文观点不代表爱运营立场,转载请联系原出处。如内容、图片有任何版权问题,请联系爱运营处理。

(0)
爱运营的头像爱运营管理员
上一篇 2023年3月27日 下午2:16
下一篇 2023年3月27日 下午5:10

推荐资讯

发表回复

登录后才能评论
分享本页
返回顶部
因爱运营被人恶意刷短信验证码,暂停手机注册登录。历史手机注册用户请联系站长添加邮箱,微信:rubinhan或者QQ:2507391177,后续可以通过邮箱登录。