IT之家2月19日消息,OpenAI在去年11月召開的DevDay活動中,推出了GPT-4 Turbo,最多支持12.8萬個token:輸入token價格是GPT-4的三分之一,輸出token價格是其二分之一。
OpenAI近日發布新聞稿,宣布GPT-4 Turbo速率上限翻番,每分鐘最多可處理150萬個token(TPM),而且完全取消了每日限制。

OpenAI為了防止濫用、確保公平性和管理基礎架構負載,限制企業訪問API的速率。這種限制可以防止惡意超載應用程序接口,確保所有用戶都能公平訪問,并通過節流指定時間內允許的請求數量,在高需求期間保持平穩的性能。
IT之家注:OpenAI一共使用了5種速率限制:RPM(每分鐘請求數)、RPD(每天請求數)、TPM(每分鐘tokens數量)、TPD(每天tokens數量)和IPM(每分鐘圖像數量)。
需要注意的是,速率限制是對組織級別實施的,對個體用戶沒啥影響。速率限制因所使用的模式而異,組織每月在API上的總支出也有"使用限制"。







