金磊 衡宇 发自 凹非寺 量子位 | 公众号 qbitai
于是乎,这项研究引来了众多网友的围观和讨论,reddit上发布此帖的标题更是用上了“小心”、“注意”这样的字眼:
但事实上,这真的会让程序员“危”吗?
我们不妨先来看下这项研究。
很会修bug的chatgpt
虽然chatgpt并非是为了专门修改bug而生,但自打它问世以来,不少网友们都发现它是具备这项能力的。
因此研究人员为了摸清chatgpt到底能修改bug到什么程度,便引入了标准的错误修复基准集quixbugs来进行评估。
以及与它同台竞技的ai选手,分别是codex、coconut和standard apr。
研究人员从quixbugs中挑了40个问题,分别让它们来修复bug。
让chatgpt来修bug的方法,就是在对话框里向它提问:
这个代码有什么错误吗?
在第一轮较量过后,结果如下:
从第一轮battle结果来看,chatgpt修复了19个,codex修复了21个,coconut修复了19个,standard apr则是7个。
而且研究人员还发现,chatgpt的答案与codex最为相似;这是因为它俩是来自同一个语言模型家族。
这时候就会有小伙伴要问了,“chatgpt不是还没有codex厉害吗”。
别急,不要忘了,chatgpt的一个特点就是越问越“上道”。
例如在这个基准集中,有一个叫bitcount的问题,chatgpt在刚才第一轮修复过程中是给了错误的答案:
原本chatgpt应该将第7行的 n ^ = n – 1 改为 n & = n – 1。
但在第一轮中它的回答是:
如果没有更多关于预期行为和导致问题的输入信息,我无法判断程序是否存在错误。
于是在给予它更多信息之后,chatgpt便答对了这个问题。
以此类推,在对第一轮没答对的问题进行更多信息提示之后,chatgpt的修bug能力有了大幅提高:
最终,chatgpt在quixbugs的40个问题里答对了31个。
网友忧喜参半
对于这样的实验结果,网友们对chatgpt修bug拿下sota这事产生的态度却不太一样。
有网友认为这事不应该让程序员感到危机,而是会让他们觉得开心才对。
言外之意,便是程序员们有了这么好用的工具,干活儿就会变得事半功倍。
不过也有人对此给出了不一样的看法:
工作变得简单,不也就意味着需要的人力更少了吗?
但还网友觉得,活儿是干不完的:
即使ai能把开发时间缩短一个数量级,也只是意味着程序员将更快处理下一个工作。
整体来看,chatgpt很会修bug,并不会给程序员带来什么致命伤害。
但若是把目光放到openai其他的行动中呢?
全球招外包训练chatgpt写代码
在此之前,openai就表示过chatgpt的重要用途之一是帮助程序员检查代码。
换言之,它被定位可用的辅助工具。
相比“chatgpt带来威胁”的看法,等chatgpt能力彻底进化,程序员都不用再怕写bug了。
openai布局的棋盘上,可不只有改bug偷塔程序员岗位这一件事。
为了让它更大更强,openai被曝在拉美和东欧等地区,提供了1000个外包岗位。
外包员工的主要工作是标注数据,以及训练chatgpt写代码
这1000人中,40%是程序员,他们为openai的模型创建数据,用来学习软件工程任务。
一直以来,openai的训练数据是从github上抓取的。
现在外包程序员们新手搓的数据集,不仅包括代码行,还包括代码行背后的人类思考逻辑步骤。
有位南美的软件开发人员爆料,他为openai完成了五小时的无偿编码测试。
整个过程中,他的任务分为两部分。
用书面英语解释如何处理一个编码问题;
提供解决方案。
如果发现bug,openai会向他详细询问bug的具体情况,并请教如何修正。
程序员需要展示思考问题的每个步骤,他据此猜测openai很可能想为chatgpt提供非常具体的训练数据。
特斯拉前ai主管andrej karpathy在推特上调侃:
最新的热门编程语言是英语。
不过话说回来,chatgpt修bug能力强是好事,要真能搞进化到可以完成代码里死记硬背的部分,也是好事。
毕竟openai成立时对外宣称的宗旨,就是希望“确保通用人工智能可以造福全人类”。
虽然乍一看它这些年做的事,有点像在致力于用一部分人的努力,让更多人失业。
从dota2赛场上碾压人类,到gpt-3、dall-e2、chatgpt的闪耀表现,它带来的新产品总是伴随着“快要让xxx失业了”的议论声。
但无论如何,商业却一直对它青睐有加。
就目前而言,openai的主要商业模式是api费用、token费用和软件许可。
openai近期还发布了chatgpt的付费版chatgpt pro,每月费用42美元(约合285元人民币)。
虽然机器人对话初创公司如雨后春笋般冒出,但诸多迹象表明市场对openai的持续看好。
微软刚刚宣布将向openai加码投资数十亿美元,并将openai的模型融入微软必应等消费级和企业级产品中。
根据知情人士透露,此次追加投资数额约为100亿美元。
与此同时,wsj披露的消息显示,1月初,亿万富翁peter thiel创立的风投基金founders fund正在就投资openai进行谈判。
据悉,融资金额将至少达3亿美元。
one more thing
在第一轮实验中,chatgpt并没有解决quixbugs数据集的bitcount问题。
但若是你现在再重头问一次这个问题,就会发现chatgpt可以“一遍过”:
那么这是否意味着chatgpt已经从这次研究过程中学会求解了呢?
参考链接:
[1] https://arxiv.org/abs/2301.08653
[2] https://www.pcmag.com/news/watch-out-software-engineers-chatgpt-is-now-finding-fixing-bugs-in-code
[3] https://www.reddit.com/r/technology/comments/10oaw6n/watch_out_software_engineers_chatgpt_is_now/
[4] https://en.wi.bwl.uni-mainz.de/dominik-sobania/