chatgpt本周如此大热,我都被朋友们催稿了,不过作为ai领域的前沿参与者,我也认为有必要聊聊这个话题。前几天体验了chatgpt的效果,不仅感慨它专业的回答与人类如此接近,而且与之前ai作画、ai写诗对比,chatgpt还会写程序,让我这个写了二十年程序的码农感受到了面临失业的威胁。今天主要聊聊chatgpt的原理,让我们从创造者的视角去俯视它,找回我们人类在ai面前的尊严和优越感。
原理推测
由于openai没有直接公布chatgpt的论文和原理,我从官网上看到两个核心信息:一是提到“chatgpt is a sibling model to instructgpt, which is trained to follow an instruction in a prompt and provide a detailed response.”,因此研究instructgpt是一个线索。二是chatgpt的原理图和instructgpt论文中的原理图几乎是一致的。由此推测,从理解原理的角度,直接用instructgpt的论文可以八九不离十了。
gpt的基本工作模式
gpt模型的工作方式是按一个一个文字来生成的,比如输入“早上”,它会输出所有可能跟随的字,以及它们的概率。比如“早上起”,“早上好”,“早上的”,等等。在选择了其中一个输出之后,再把这个输出作为输入,让模型预测下一个字的输出,比如选择了“早上起”。
gpt接收到“早上起”之后,给出了后面接哪个字的概率。看到这里有人可能会担心是否每次都输出相同的结果,其实不会的,模型有随机的因素,多数情况下会输出不一样的结果。
大模型与fine tune
监督学习的弊端是需要有标注数据,但这从数据规模上限制了模型和效果。bert模型巧妙地利用了“完型填空”的方式,实现了自然语言处理模型的自监督学习。形式如下:
给出一个句子:手机听歌app可以使用qq音乐、 网易云音乐 、酷狗音乐、酷我音乐等。输入给模型时,可以先盖住一个词,让模型去预测,然后告诉模型正确答案以修正模型参数。
由于这种方式不需要人工标注,所以可以大量地使用,也由此进入了大模型时代。gpt-3模型具有训练参数1750亿个,数据量45tb,训练费用超过1200万美元。
大模型毕竟是一个基础模型,在具体应用场景时需要场景数据对模型做一些微调,也就常说的fine tune。
由于gpt使用的训练数据来自于网上材料和公开资料,不一定符合人类问答场景的需要。如果有一个资料是一个目录,里面索引了各地旅游的标题:杭州哪里好玩?北京哪里好玩?西安哪里好玩?等。很显然我们问gpt一个问题,不希望它反过来问我们一个问题,我们要的是答案。另外西湖和杭州同时出现的次数肯定很多,如果按统计概率,它可能会只回答西湖,但作为一个要来杭州旅游的人来说,回答应该尽量包含更多的景点介绍,这样更完整一些。这种情况下,我们用人类写一个回答,让模型去学习。由于只是fine tune,人类提供的数据量不会太多,只是让模型学习一下人类的偏好。
打分模型
gpt模型经过fine tune之后,虽然学到了人类的偏好,会输出一些让人类更满意的回答,但哪些回答是最优的呢?它还需要人类的指导。
“打分模型”用于训练人类对不同回答的评分,模型的数据,需要人类的参与。据说这次chatgpt公开测试就是为了收集人类的数据反馈。开放不到一周,注册用户就超过100万了,人类参与很积极。
通过强化学习选择最优结果
打分模型为强化学习模型提供reward,对符合人类偏好的输出给予高分奖励,对于人类不喜欢的输出给予低分进行惩罚。
至此,chatgpt的基本原理就介绍完了。概括一下:
-
利用自监督学习来训练一个大语言模型
-
利用少量人类答案进行finetune
-
利用人类选择信息有监督训练一个打分模型
-
利用强化学习根据打分模型的评分优化选择
感觉这个模型把最近十年ai领域的高端利器都用上了:自监督深度学习、有监督学习、强化学习、大模型,大规模gpu、大规模cpu,人类参与共创等。所以发展潜力还是很大的,对效果可以进一步期待,但同时也能看到了,由于原理上没有跳出当前的框架,也会有着相当的局限性。