來源:IT之家
OpenAI 昨日凌晨發布 GPT-4o 模型,可以視為 GPT-4 的升級版本,可以實時推理處理音頻、視覺和文本內容,而且能更加無縫地和 ChatGPT 交互。
OpenAI 總裁兼聯合創始人格雷格布羅克曼(Greg Brockman)隨后發布了上手演示,讓兩臺運行 GPT-4o 的設備進行語音或視頻交互。
布羅克曼在演示開始之前,表達了自己的期望:讓兩臺 AI 聊天機器人互相交流。布羅克曼向其中 A 聊天機器人講述了他的期望,并讓 B 聊天機器人可以調用攝像頭觀察周圍世界。
B 聊天機器人會調用前置攝像頭,并清晰地描繪出用戶的穿著和所處的環境。然后 A 聊天機器人可以與它對話并提出問題,包括移動攝像頭和它所看到的內容。
對話中,新版本 ChatGPT 不僅能通過視覺 AI 能力理解攝像頭中發生的事情,同時還能夠將理解的內容通過語音交互,進行更加豐富有趣的互動,同時還支持中途打斷和對話插入,且具備上下文記憶能力。