在chatgpt展现了惊人的实力之后,离发布仅仅四个多月,openai又扔下了一颗核弹:
gpt-4发布了。
openai在今天的博文中写到:
我们创建了gpt-4,这是 openai 努力扩展深度学习的最新里程碑。gpt-4 是一个大型多模态模型(接受图像和文本输入,提供文本输出),虽然在许多现实世界场景中的能力不如人类,但在各种专业和学术基准上表现出人类水平。
在随后youtube上进行的live demo中,openai的总裁和联合创始人greg brockman展示了gpt-4的真正实力——总结文章、写代码、报税、写诗……gpt-3.5做不到的, gpt-4轻松拿下。
但这仅仅是表面,gpt再一次进化,虽然可能不是你想的那样。
新的模型:迭代优化
怎么样证明一个人比另外一个人更厉害?考试。
那怎么证明一个ai模型比另外一个更厉害?同样是考试。
openai让gpt-4在参加了许多项人类的通用考试,结果证明,它在许多测试和基准测试中的表现比前一代确实大大提高:
根据他们的测试结果,gpt-4的sat分数增加了150分,现在能拿到1600分中的1410分;
它能通过模拟律师考试,分数在应试者的前10% 左右,相比之下,gpt-3.5的得分在倒数 10% 左右;
在sat阅读考试中和sat数学考试中,gpt-4的成绩都能达到领先的排名……
“我们花了6个月的时间使用我们的对抗性测试程序,以及在chatgpt身上累积的经验教训来迭代调整gpt-4,从而在真实性、可操纵性和拒绝超出设定范围方面取得了有史以来最好的结果。”openai称。
“我们的 gpt-4 训练运行(至少对我们而言!)前所未有地稳定,成为第一个我们能够提前准确预测其训练性能的大型模型。”
此外,gpt-4还有了一个质的飞跃——可以开始处理图像。
经常使用chatgpt的人肯定知道,它只能处理文本,但gpt-4开始接受图像作为输入介质。
在openai提供的一个示例中,gpt-4准确地回答了几个网络meme为什么搞笑的问题(虽然解释得并不好笑)。
图四
图源:《纽约时报》
在《纽约时报》提供的案例中,同样可以看出gpt-4可以同时解析文本和图像,这也使它能够解释更复杂的信息。不过,目前图像输入的权限尚未公开,所以目前还没看到更多例子来证明gpt-4在图像方面的处理能力。
在随后举行的live demo中,openai也表示,还没有公开提供这部分技术,但已经在和一家名为be my eyes的公司进行合作,对方会使用gpt-4来构建服务。
此外,gpt-4已经开始具备一点点的幽默感。它已经可以讲出一些模式化的、质量不咋样的冷笑话——但是,至少它已经开始理解“幽默”这一人类特质。
图源:《纽约时报》
当然,更多的方面,gpt-4的改进是迭代性的。在随意的谈话中,gpt-3.5和gpt-4之间的区别可能很微妙。但是,当任务的复杂性达到足够的阈值时,差异就会出现——gpt-4比gpt-3.5更可靠、更有创意,并且能够处理更细微的指令,可以更准确地解决难题。
比如说,北卡罗来纳大学教堂山分校的医学副教授兼心脏病专家anil gehi就向gpt-4描述了他一天前看过的一位患者的病史,包括患者术后出现的并发症被送往医院,描述中包含几个外行人无法识别的医学术语。
当gehi医生问gpt-4应该如何治疗病人时,gpt-4给了他完美的答案。“这正是我们对待病人的方式,”gehi医生说。当他尝试其他场景时,gpt-4给出了同样令人印象深刻的答案。
当然另外一个好消息是,gpt-4对于英语以外的语种支持也得到了大大的优化。
许多现有的机器学习基准测试都是用英语编写的。为了初步了解gpt-4在其他语言上的能力,openai使用 azure translate,将一套涵盖57个主题的1.4万多项选择题的mmlu基准,翻译成了多种语言,然后进行测试。
在测试的26种语言中,有24种语言,gpt-4优于 gpt-3.5和其他大语言模型的英语语言性能。
其中中文达到了80.1%的准确性,而gpt-3.5的英文的准确性为70.1%,也就是说,在这个测试中,gpt-4对于中文的语言理解,已经优于此前chatgpt对于英文的理解。
live demo:报税、写诗、写代码,无所不能
如果说着这些数据、案例,似乎还难以让人直观感受到gpt-4的真正实力,那么openai的总裁和联合创始人greg brockman,就亲自在youtube上进行了一把直播,来实时演示live demo中,展示了gpt-4的真正实力——总结文章、写代码、报税、写诗……gpt-3.5做不到的, gpt-4轻松拿下。
greg brockman展示了gpt-4的新的使用界面,左侧是系统框,可以规定ai的角色,以及整体的回答原则,中间则是对话框,可以输入具体的对话形态来对具体的内容进行调整、追问或者给出反馈。最右侧是一些参数设置。
在演示中,brockman就使用使用左侧的“系统”框,让gpt-4相继成为“chatgpt”、“ai编程助手”、“taxgpt”,来解决不同的问题。
chatgpt模式下,gpt-4可以处理超过2.5万字的文本,可以轻松地总结一篇超长文章的核心内容,比如把openai今天发布的这篇讲述gpt-4的雄文总结要点。
甚至还可以像在演示中的那样,以各种奇怪的形式来提炼它——比如,以全是“g字母开头”的单词来总结。
或者要它把这些内容要点写成一首诗。
在“ai编程助手”模式下,还可以让它轻松写代码,生成一个网站,或者更复杂的,写一个基于discord的机器人,如果出现错误,比如要调用比较新的api而出错,甚至也不需要向它解释,而是把错误代码复制进去,它就会自动纠错,生成新的代码。
或者要它变身成taxgpt,要它基于税务法则,来计算出一对夫妻要缴纳多少税,而且还要把计算理由一步步写出来,让人们可以检阅。
图十
对于gpt-4展示出的专业能力,greg brockman大为赞赏,他表示那段税务文件,他自己读了半个小时也没有搞懂,然而gpt-4却可以很快给出答案。
或许这段不到一个小时的演示,才真正道出了gpt-4的强大之处——它不再仅仅是普通用户的“聊天机器人”,而将成为开发者手中的利器,在文本、编程、税务以及更多可以想见的领域,成为强大工具的开发基石。
从这一点来说,它比chatgpt带来的影响,将更加广泛。
满嘴跑火车:还在跑,但是好一点
不得不提的是,尽管功能强大,但 gpt-4 与早期的 gpt 模型具有相似的局限性。最重要的是,它仍然不完全可靠——它仍然会大胆自信地编造事实,并且会出现推理错误。openai强调,仍然推荐在使用它的时候要附加诸如人工审查、或者附加上下文,甚至在高风险情境中,要避免使用它。
在gpt-4公告中,openai强调该系统已经接受了六个月的安全培训,在内部对抗性真实性评估中,gpt-4的得分比最新的gpt-3.5高:“响应不允许内容的请求的可能性降低了 82%,产生真实事实的可能性提高了 40%,优于 gpt-3.5。”
这也意味着, gpt-4 相对于以前的模型来说,还是显著地减少了一本正经胡说八道的频率,而且用户千方百计提示它以让它说出被禁内容的成功率,也小了很多。
但是,这并不意味着系统不会出错或输出有害内容。例如,微软透露其bing聊天机器人其实一直由gpt-4提供支持,但许多用户还是能够以各种创造性的方式打破 bing的护栏,让机器人提供危险的建议、威胁用户和编造信息。
此外,gpt-4仍然是基于2021年9月之前的数据训练的,这也意味着它和前一代一样,仍然缺乏对于2021年9月之后的数据的有效理解。
“gpt-4 仍有许多已知的局限性,我们正在努力解决,例如社会偏见、幻觉和对抗性提示。”openai表示。
应用:面向开发者,越来越贵
当然,除了表现方面,还有一个明显的不同是,chatgpt-4比以前的版本“更大”,这意味着它已经接受了更多数据的训练,因此运行起来也更加昂贵。openai 只表示它使用了微软azure来训练模型,但没有公布有关具体模型大小或用于训练它的硬件的详细信息。
这也意味使用它的成本越来越高。与chatgpt不同的是,这个新模型目前还不能免费公开测试,虽然它鼓励开发者申请试用,但是将需要上等待名单。
新模型将提供给chatgpt的付费用户chatgpt plus(每月20美元),也将作为api的一部分提供,允许开发者付费将ai集成到他们的应用程序中。openai表示,多家公司已经将gpt-4集成到他们的产品中,包 duolingo、stripe和khan academy等。
当然,如果你不是开发者或者付费用户,但是实在是想尝尝鲜,微软的bing会是最好的选择——bing的ai聊天机器人,过去六周以来,已经开始使用gpt-4了。
你感觉到了吗?