欢迎光临
我们一直在努力

ChatGPT

在之前聊ai画笔stable diffusion《github上为什么开始关注stable diffusion了》的时候,我们就说过一个新兴的技术是否正在成为潮流,github trending榜单是一个很好的参考。而前一段时间github上最火的项目莫过于chatgpt。而且chatgpt不仅仅是在程序员内部非常热门,甚至已经出圈了,出现在知乎,微博等各种信息平台。

那么今天就让我们来聊一聊chatgpt是什么,以及为什么发展成这个样子。

chatgpt是什么

chatgpt的官网介绍如下:

可以看到chatgpt是一个类似于siri,小爱同学等的一个聊天机器人。官方的介绍是“基于大型语言模型的聊天机器人”。

chatgpt最大的特点就是很多时候他回答你的内容看起来很像是真人,而不是机械式或者固定的回答。甚至他能理解你说的上下文,也正是这一特点,chatgpt注册用户一周内就突破百万了(这还是在中国ip无法直接注册和使用的情况下)。

chatgpt的亮点

  1. 理解能力非常强

这个强主要体现在几个方面,第一就是支持多种语言混杂对话,chatgpt对这种情况的理解可以说是非常强。

第二就是上下文理解很强,我们知道正常我们对话很多时候都会省略之前提到的很多东西,因为对于我们来说,即使省略了,我们也能理解。而siri,小爱同学等之前的聊天机器人,哪怕很成熟,很多时候当我们省略一些前面提到的东西,它就无法正常理解了。而chatgpt在这一方面表现的非常优秀。

第三是概念理解能力强,比如鸡兔同笼问题,请假条等。而且不局限于某种特定概念,很多通用概念都理解的非常好。

2. 文本生成能力非常强

第一是支持多种类型短文本的生成,第二是生成的文本非常流畅,虽然偶尔逻辑上有瑕疵。但是文本生成具有多样性,不是固定几种选项。

3. 具备一定的解释、推理能力,比如正则表达式,找代码bug,做题之类的。

4. 具备一定的常识,不是固定的题库,比如鸡兔同笼的问题,即使换成其他的动物,也能准确地获得答案。

5. 具备一定的通用性,可以回答多种领域的问题。

gpt

chatgpt的巨大成功不是突然产生的,其依赖于背后的gpt模型,我们要了解chatgpt为什么这么强大,首先应该了解gpt模型,chatgpt使用了gpt3.5模型,关于gpt的发展历程见下图:

gpt是一个不断基于前文生成下一个词的续写模型,也就是一个自回归的语言模型。

gpt为什么到3.5才引起这么大的轰动,原因有几点,第一就是超大参数,之前学界普遍认为超大参数的模型会带来过拟合问题,也就是对训练集以外的认知能力会减弱,而gpt-3则直接将参数量提升了100倍,达到了1.750亿。

而另一方面,gpt-3的训练费用也超出了很多人的想象,达到了1200万。

同时 ,gpt-3本身对任务的理解能力已经超出了原作者的理解,如果说gpt-3作为一个续写模型,生成非常流畅通顺的文本是很正常的,但是gpt-3在训练后出现了一个意料之外的能力,那就是仅给一个任务描述和提示(zero-shot),或者在家一个或者几个范例,gpt-3就能够给出答案,虽然和传统的预训练+调校的训练还有差距,但是这种能力已经非常厉害了,这点作者本人也不能解释原因。

所以说chatgpt能出圈,最主要的原因是诞生了gpt-3这种远超预期的语言模型。

gpt-4

根据cerebras ceo的访谈中表示:“从openai对话了解中,预计gpt-4将会大约有100万亿个参数”,这是目前gpt-3的500倍,和人类的大脑突触个数一样多,这当然也会带来很多问题,但是不难看出,openai这家公司在这块所做的努力,也解释了知乎上有人问的为什么国内不出现chatgpt这种产品的问题。

gpt-3本身就是openai在语言模型的积累和大量投入产生的,而且这里面很多投入都是事前无法确定收益的情况下产生的,很多都不是预定个收益,而是挑战语言模型本身的问题。我们可以看到从gpt-1到gpt-3.5,周期是越来越长,如果说从gpt-1时,我们国内很多公司和组织也能做,到gpt-3.5就已经不是想简简单单照搬或者模仿就能做到的了。

chatgpt的一些有趣的回答

继续说回chatgpt,作为一个聊天机器人,它出圈的原因在于很多回答超出了人们对聊天机器人的预期,下面截取一些我认为很好的回答。

写小说

跑命令

常识

chatgpt的局限性

知乎上就有人问过chatgpt能不能作为搜索引擎,答案是不能的,虽然他可以回答 很多问题,但是实时性上chatgpt还是有这个局限的,这个从chatgpt的回答可以知道:

另一方面,在chatgpt的发展中就出现了一个 很严重的问题,那就是因为chatgpt是基于模型训练出来的,那他就会被引导做出不可预知甚至违背常理的回答,知乎上也有很多尝试的回答。这个是聊天机器人不可避免的问题,包括之前的siri,小爱同学,小冰都遇到过这个问题。

openai

在文章的最后我想继续聊一下openai这家公司,在ai画笔stable diffusion中就介绍过,这家公司的目的是为了将ai能力足够开放,从而被更多的人使用,来提升ai生态的发展。而stable diffusion背后的公司stability ai则是因为openai内部问题,才选择另起炉灶。可即使是这样,openai至少也是在朝着自己的愿景发展。

这也是之前热议的为什么国内开源项目发展不如国外的,因为开源本身是一件比商业更难的一件事情,他的愿景本身就不是为了盈利,而是为了一种愿景,无论这种愿景多么困难,如果失去了这个愿景,那么开源就会停止不前。国外的linux,openai,stability ai等开发组织的背后,离不开一小部分保持这最初愿景的人的坚持和维护,才让开源项目发展出超出预期的成果。而国内,这个现象也在慢慢变多,也相信国内总有一天会诞生超出预期的开源成果出来。

?

不会自己注册chagpt账号或者太麻烦,可以直接购买一个成品chagpt账号,直接使用!一人一号,独立使用!直接购买联系qq465693115 定制个人邮箱,非共享号码实时帮你接收验证码,非常快速

赞(2)
未经允许不得转载:梦马网络 » ChatGPT
分享到

登录

找回密码

注册