GPT-4o的o代表着“omni（全能）”。Murati称，GPT-4o为每个用户都提供了GPT-4级别的智能，同时还改进了GPT-4在文本、视觉以及音频方面的能力。
此前，GPT-4经过图像、文本数据的训练，可以分析图像和文本从中提取文本或者描述画面内容等，在此之上，GPT-4o增加了语音功能，使得用户与ChatGPT的交互更接近人与人的交互体验。GPT-4o在英语文本和代码上的性能与GPT-4 Turbo的性能相匹配，在非英语文本上的性能有显著提高。
Murati说，GPT-4o的发布意味着OpenAI在大模型的易用性方面迈出了一大步，其正在改变人机交互的协作模式。她谈道，在人们的互动中，如轻松打断对方、对话中包含多个声音的背景噪音、理解语调等对模型而言都非常复杂。
此前，用户使用语音功能与ChatGPT对话时，GPT-3.5的平均延迟为2.8秒，GPT-4为5.4秒。语音功能由三个独立模型组成的Pipeline：一个简单模型将音频转录为文本，GPT-3.5或GPT-4接收文本并输出文本，第三个简单模型将该文本转换回音频。
这个过程中，GPT-4会丢失大量信息，如无法直接观察音调、多个说话者或背景噪音，也无法输出笑声、歌唱或表达情感等。
借助GPT-4o，OpenAI通过跨文本、视觉和音频端到端训练了新模型，使得所有输入和输出都由同一神经网络处理，进一步降低了延迟。
Murati谈道，OpenAI的一个重要使命是将先进的AI工具免费提供给每个人。
她还宣布OpenAI将推出桌面版ChatGPT，其可以被轻松集成到用户的工作流程中。同时，为了让用户与ChatGPT交互更加容易、自然，OpenAI还更新了用户界面，使得用户无需关注用户界面，只需要关注如何协作。
目前，已经有超过1亿用户使用ChatGPT来工作、学习，OpenAI的更高级产品目前只提供给付费用户。
从今天起，用户能免费使用GPTs和GPT Store。Murati透露，已经有超百万用户使用GPTs创造了令人惊叹的体验，这些是适用于GPT Store中提供的特定使用情形的自定义GPTs。
现在，这些用户也可以使用视觉能力，能够上传屏幕截图、照片、包含文本和图像的文章等，同时还可以基于其记忆能力，让对话更有连续性。同时，用户也可以使用“浏览”功能搜索对话中的实时信息，使用“高级数据分析”功能分析上传的图表或信息等。
