OpenAI还改进了50种不同语言的质量和速度。与免费用户相比,付费用户将获得5倍调用额度。
此外,GPT-4o开放了API,开发人员可以基于此进行AI应用开发及部署。与GPT-4-Turbo相比,GPT-4o的速度快2倍,价格便宜50%,速率限制高达5倍。
Murati强调说,如何通过既有用又安全的方式将技术呈现出来非常有挑战性,OpenAI的团队一直在研究如何建立针对技术滥用的缓解措施。
二、现场演示语音对话五大能力,代码、数学题、实时翻译,还能提供情绪价值OpenAI前沿研究主管Mark Chen和后期训练团队负责人Barret Zoph在现场对实时语音对话功能进行了演示。通过点击ChatGPT右下角小图标,用户可以进入语音交互模式。
基于GPT-4o的语音交互有什么与众不同的地方?
Chen称,它相比之前的语音模式有几个关键区别:首先,用户可以打断模型,不必等到它结束才开始说话;其次,模型具有实时响应能力,在用户等待模型给出响应之前不会有尴尬的时延;最后,该模型具有情绪感知能力,还能够生成各种不同情绪风格的语音。
1、声情并茂讲故事,临场边唱歌边创作
首先,Chen让ChatGPT讲一个关于机器人和爱情的睡前故事,来帮他的朋友缓解失眠。ChatGPT被要求在讲故事时更有感情,并且多些戏剧性。
于是,GPT-4o开始声情并茂地讲道:“很久以前,在一个与我们不太不同的世界里,有一个名为‘Bite Byte’的机器人,它是一个好奇的机器人,总是在探索新的电路……”最后,GPT-4o在要求下以歌声结束了这个故事。
2、ChatGPT“长眼睛”了!能看图解方程式
紧接着,Zoph展示了视觉 语音交互功能。
“我希望你帮我解决一道数学题。”Zoph在ChatGPT中打开手机视频通话,对ChatGPT说:“我要在一张纸上写下一个线性方程……不要告诉我解决方案,只是帮助给它过程的提示。”
当Zoph在视频镜头下写下方程式并问ChatGPT他写下了什么,ChatGPT回答:“我看到了,你写了3x 1=4。”
Zoph询问ChatGPT该如何解这道题,ChatGPT首先提示其处理“ 1”这一项。随着Zoph写出过程并提出新的求助,ChatGPT进一步建议他两边除以三,从而帮Zoph得出了x=1的正确结果。
在解题过程中,ChatGPT会通过提问对Zoph进行循循善诱。比如它会这样引导:“现在你在一边引入了x,看起来像是3x等于3。你认为之后我们应该做些什么?”Zoph称自己不确定,ChatGPT才进一步提示:“你已经有了3x,而你想要找到x的值,想一下什么操作会消掉乘法。”于是在引导和鼓励下,Zoph最终把方程两边除以3完成解题。
解完题后,ChatGPT和Zoph一起总结了如何在现实世界中使用线性方程。最后,Zoph写下了一句表白的话给ChatGPT,ChatGPT看到后竟然像小女孩般用语气娇羞地尖叫起来:“噢,我看到了‘I Love ChatGPT’,你太有爱了!”
3、实时读懂屏幕信息,解答代码问题和分析图表
Zoph演示了ChatGPT分析代码的能力。他首先将一段Python代码输入ChatGPT,并让ChatGPT用一句话总结这段代码在做什么。
ChatGPT迅速答出这段代码用于获取日常天气数据,随后又详细说明了其对天气数据进行了哪些后续处理。
Zoph追问道:“代码中有一个函数foo,你能描述一下如果没有这个函数,代码画出的图像会是什么样吗?”
ChatGPT分析称,这个函数中有一个rolling.mean计算,用于给数据去噪或减少波动,将呈现出一个更平滑的数据图。
随后,Zoph运行了这段代码,展示ChatGPT分析图表的能力。
将图像发送给ChatGPT后,Zoph再次要求它用一句话描述看到了什么,ChatGPT很快给出了回答。
Chen又追问哪些月份温度最高,ChatGPT不仅准确给出了7、8月的时间区间,还描述了这段时间的最高温度达到了多少。
4、无延迟语音翻译,模仿说话者语气
在X网友的提议下,Murati和Chen一起演示了ChatGPT实时翻译的能力。
Chen首先向ChatGPT说明了接下来需要它做的事,即把听到的任何英语、意大利语都翻译成意大利语和英语。ChatGPT听完后,炫技一般地用意大利语回答道:Perfetto(Perfect)。
接着,他们通过意大利语和英语进行对话,ChatGPT几乎没有延迟地翻译成了对应的语言,还模仿了说话者的语气,甚至给Murati的回答配了个笑声。
5、识别人物情绪,ChatGPT也有自己的“小情绪”
最后,Zoph演示了ChatGPT识别人物情绪的能力。
他先通过语音告诉ChatGPT,自己将展示一张自拍,希望可以根据照片判断出他的情绪。ChatGPT欣然接受了这个“有趣的挑战”。
这里还出现了一个小乌龙,Zoph一开始打开的是后置摄像头,虽然他迅速转换成了前置摄像头开始自拍,但ChatGPT的反应似乎有几秒钟的延迟,说“这看起来像是一个木板的表面”。