在之前聊ai画笔stable diffusion《github上为什么开始关注stable diffusion了》的时候,我们就说过一个新兴的技术是否正在成为潮流,github trending榜单是一个很好的参考。而前一段时间github上最火的项目莫过于chatgpt。而且chatgpt不仅仅是在程序员内部非常热门,甚至已经出圈了,出现在知乎,微博等各种信息平台。
那么今天就让我们来聊一聊chatgpt是什么,以及为什么发展成这个样子。
chatgpt是什么
chatgpt的官网介绍如下:
可以看到chatgpt是一个类似于siri,小爱同学等的一个聊天机器人。官方的介绍是“基于大型语言模型的聊天机器人”。
而chatgpt最大的特点就是很多时候他回答你的内容看起来很像是真人,而不是机械式或者固定的回答。甚至他能理解你说的上下文,也正是这一特点,chatgpt注册用户一周内就突破百万了(这还是在中国ip无法直接注册和使用的情况下)。
chatgpt的亮点
-
理解能力非常强
这个强主要体现在几个方面,第一就是支持多种语言混杂对话,chatgpt对这种情况的理解可以说是非常强。
第二就是上下文理解很强,我们知道正常我们对话很多时候都会省略之前提到的很多东西,因为对于我们来说,即使省略了,我们也能理解。而siri,小爱同学等之前的聊天机器人,哪怕很成熟,很多时候当我们省略一些前面提到的东西,它就无法正常理解了。而chatgpt在这一方面表现的非常优秀。
第三是概念理解能力强,比如鸡兔同笼问题,请假条等。而且不局限于某种特定概念,很多通用概念都理解的非常好。
2. 文本生成能力非常强
第一是支持多种类型短文本的生成,第二是生成的文本非常流畅,虽然偶尔逻辑上有瑕疵。但是文本生成具有多样性,不是固定几种选项。
3. 具备一定的解释、推理能力,比如正则表达式,找代码bug,做题之类的。
4. 具备一定的常识,不是固定的题库,比如鸡兔同笼的问题,即使换成其他的动物,也能准确地获得答案。
5. 具备一定的通用性,可以回答多种领域的问题。
gpt
chatgpt的巨大成功不是突然产生的,其依赖于背后的gpt模型,我们要了解chatgpt为什么这么强大,首先应该了解gpt模型,chatgpt使用了gpt3.5模型,关于gpt的发展历程见下图:
gpt是一个不断基于前文生成下一个词的续写模型,也就是一个自回归的语言模型。
gpt为什么到3.5才引起这么大的轰动,原因有几点,第一就是超大参数,之前学界普遍认为超大参数的模型会带来过拟合问题,也就是对训练集以外的认知能力会减弱,而gpt-3则直接将参数量提升了100倍,达到了1.750亿。
而另一方面,gpt-3的训练费用也超出了很多人的想象,达到了1200万。
同时 ,gpt-3本身对任务的理解能力已经超出了原作者的理解,如果说gpt-3作为一个续写模型,生成非常流畅通顺的文本是很正常的,但是gpt-3在训练后出现了一个意料之外的能力,那就是仅给一个任务描述和提示(zero-shot),或者在家一个或者几个范例,gpt-3就能够给出答案,虽然和传统的预训练+调校的训练还有差距,但是这种能力已经非常厉害了,这点作者本人也不能解释原因。
所以说chatgpt能出圈,最主要的原因是诞生了gpt-3这种远超预期的语言模型。
gpt-4
根据cerebras ceo的访谈中表示:“从openai对话了解中,预计gpt-4将会大约有100万亿个参数”,这是目前gpt-3的500倍,和人类的大脑突触个数一样多,这当然也会带来很多问题,但是不难看出,openai这家公司在这块所做的努力,也解释了知乎上有人问的为什么国内不出现chatgpt这种产品的问题。
gpt-3本身就是openai在语言模型的积累和大量投入产生的,而且这里面很多投入都是事前无法确定收益的情况下产生的,很多都不是预定个收益,而是挑战语言模型本身的问题。我们可以看到从gpt-1到gpt-3.5,周期是越来越长,如果说从gpt-1时,我们国内很多公司和组织也能做,到gpt-3.5就已经不是想简简单单照搬或者模仿就能做到的了。
chatgpt的一些有趣的回答
继续说回chatgpt,作为一个聊天机器人,它出圈的原因在于很多回答超出了人们对聊天机器人的预期,下面截取一些我认为很好的回答。
写小说
跑命令
常识
chatgpt的局限性
知乎上就有人问过chatgpt能不能作为搜索引擎,答案是不能的,虽然他可以回答 很多问题,但是实时性上chatgpt还是有这个局限的,这个从chatgpt的回答可以知道:
另一方面,在chatgpt的发展中就出现了一个 很严重的问题,那就是因为chatgpt是基于模型训练出来的,那他就会被引导做出不可预知甚至违背常理的回答,知乎上也有很多尝试的回答。这个是聊天机器人不可避免的问题,包括之前的siri,小爱同学,小冰都遇到过这个问题。
openai
在文章的最后我想继续聊一下openai这家公司,在ai画笔stable diffusion中就介绍过,这家公司的目的是为了将ai能力足够开放,从而被更多的人使用,来提升ai生态的发展。而stable diffusion背后的公司stability ai则是因为openai内部问题,才选择另起炉灶。可即使是这样,openai至少也是在朝着自己的愿景发展。
这也是之前热议的为什么国内开源项目发展不如国外的,因为开源本身是一件比商业更难的一件事情,他的愿景本身就不是为了盈利,而是为了一种愿景,无论这种愿景多么困难,如果失去了这个愿景,那么开源就会停止不前。国外的linux,openai,stability ai等开发组织的背后,离不开一小部分保持这最初愿景的人的坚持和维护,才让开源项目发展出超出预期的成果。而国内,这个现象也在慢慢变多,也相信国内总有一天会诞生超出预期的开源成果出来。
?
不会自己注册chagpt账号或者太麻烦,可以直接购买一个成品chagpt账号,直接使用!一人一号,独立使用!直接购买联系qq465693115 定制个人邮箱,非共享号码实时帮你接收验证码,非常快速