近日OpenAI宣布推出新版ChatGPT，增加了兩項新功能：語音輸入和圖像輸入。據OpenAI稱，新功能將在未來兩周內向ChatGPT Plus訂閱用戶推出，其他人也將“很快”能夠使用這些功能。
語音輸入功能類似于手機上的語音助手，用戶只需按下一個按鈕，說出自己的問題，ChatGPT就會將其轉換為文本，然后生成答案，再將答案轉換為語音，播放給用戶。OpenAI表示，這樣的交互方式更加自然和便捷，而且由于LLM的技術優勢，答案的質量也會更高。OpenAI還開發了一種新的文本轉語音模型，可以根據幾秒鐘的樣本語音，生成與之相似的人聲。用戶可以從五種選項中選擇ChatGPT的聲音，而且這種模型還有更多的潛在用途。例如，OpenAI正在與Spotify合作，將播客翻譯成其他語言，同時保留播客主持人的聲音。不過，這種模型也存在一些風險，比如可能被惡意利用來冒充公眾人物或進行詐騙。因此，OpenAI表示，這種模型不會被廣泛開放，而是會受到嚴格的控制和限制。
圖像輸入功能則類似于Google Lens，用戶可以拍攝自己感興趣的事物，并上傳到ChatGPT中。ChatGPT會嘗試識別用戶想要詢問的內容，并給出相應的回答。用戶還可以用應用中的繪圖工具來幫助表達自己的問題，或者配合語音或文本輸入來進行交流。ChatGPT的優勢在于它可以進行多輪對話，而不是一次性搜索。如果用戶對答案不滿意或想要更多信息，可以繼續向ChatGPT提問，從而得到更準確和全面的答案。當然，圖像搜索也有一些潛在問題。例如，在處理人物圖片時，OpenAI表示他們限制了ChatGPT對人物進行分析和直接評價的能力，既為了保證準確性，也為了保護隱私，這意味著上傳一個人的照片就能知道他/她是誰還無法實現。
IT之家注意到，自從2022年初推出ChatGPT以來，OpenAI一直在努力為其機器人增加更多功能和能力，同時避免造成新的問題出現。通過這次更新，該公司試圖在這條界線上尋找平衡點，通過有意識地限制其新模型能做什么來實現這一目標。但是這種方法并不是長久之計，隨著越來越多的人使用語音控制和圖像搜索，以及ChatGPT逐漸成為一個真正的多模態、有用的虛擬助手，要保持安全和合理的邊界會變得越來越困難。
