·山姆·奧特曼表示，新的進(jìn)步不會來自于讓模型變得更大，“我認(rèn)為我們正處于巨型模型時代的末尾”。他的說法表明，GPT-4可能是OpenAI“使模型更大并為其提供更多數(shù)據(jù)”戰(zhàn)略中的最后一個重大進(jìn)展。

人工智能開發(fā)機(jī)構(gòu)OpenAI的首席執(zhí)行官山姆·奧特曼最近表示，ChatGPT的研究策略——巨型AI模型模式已經(jīng)結(jié)束，目前尚不清楚未來的進(jìn)步究竟來自何處。

近年來，OpenAI通過采用現(xiàn)有的機(jī)器學(xué)習(xí)算法并將其擴(kuò)展到以前無法想象的規(guī)模，取得了一系列令人印象深刻的進(jìn)步。GPT-4是其推出的最新模型，可能使用了數(shù)萬億個文本單詞和數(shù)千個強(qiáng)大的計(jì)算機(jī)芯片訓(xùn)練，整個過程耗資超過1億美元。

(資料圖)

OpenAI首席執(zhí)行官山姆·奧特曼。

奧特曼上周在麻省理工學(xué)院舉行的一次活動中告訴觀眾，新的進(jìn)步不會來自于讓模型變得更大?！拔艺J(rèn)為我們正處于巨型模型時代的末尾?！彼f，“我們會以其他方式讓它們變得更好。”

科技媒體《連線》4月17日報(bào)道稱，奧特曼的聲明表明，在開發(fā)和部署新AI算法的競賽中出現(xiàn)了意想不到的轉(zhuǎn)折。未來人工智能的進(jìn)步將需要新的想法。

自O(shè)penAI于去年11月推出ChatGPT以來，微軟利用底層技術(shù)為其必應(yīng)搜索引擎添加了聊天機(jī)器人，而谷歌則推出了聊天機(jī)器人Bard。與此同時，包括Anthropic、AI21、Cohere和Character.AI在內(nèi)的眾多資金充足的初創(chuàng)公司正在投入大量資源來構(gòu)建更大的算法，以努力趕上OpenAI的技術(shù)。在中國，大批企業(yè)爭相公布大模型產(chǎn)品，試圖盡快擠入這個賽道。

奧特曼的聲明表明，GPT-4可能是OpenAI“使模型更大并為其提供更多數(shù)據(jù)”戰(zhàn)略中的最后一個重大進(jìn)展。他沒有提出什么樣的研究策略或技術(shù)可能會取代它。在描述GPT-4的論文中，OpenAI估計(jì)，擴(kuò)大模型規(guī)模的收益在遞減。奧特曼表示，企業(yè)可以建造的數(shù)據(jù)中心數(shù)量和建造速度也存在物理限制。

Cohere的聯(lián)合創(chuàng)始人尼克·弗羅斯特（Nick Frosst）表示，奧特曼的想法聽起來是對的。他也認(rèn)為，Transformer（GPT-4及其競爭對手的核心機(jī)器學(xué)習(xí)模型類型）的進(jìn)展超出了擴(kuò)展范圍。 “有很多方法可以讓Transformer變得更好、更有用，而且很多方法不涉及向模型添加參數(shù)?！彼f，新的AI模型設(shè)計(jì)或架構(gòu)，以及基于人類反饋的進(jìn)一步調(diào)整是許多研究人員已經(jīng)在探索的有前途的方向。

在ChatGPT首次亮相后，技術(shù)專家推測GPT-4出現(xiàn)時將成為規(guī)模和復(fù)雜性令人眩暈的典范。然而，當(dāng)OpenAI最終宣布GPT-4時，并沒有透露它的參數(shù)規(guī)模有多大——也許是因?yàn)橐?guī)模不再是最重要的。在麻省理工學(xué)院的活動上，奧特曼被問及訓(xùn)練GPT-4是否花費(fèi)了1億美元，他回答說：“不止于此。”

在這個活動中，奧特曼也證實(shí)OpenAI目前沒有訓(xùn)練GPT-5。他在回應(yīng)呼吁暫停更高級AI訓(xùn)練的公開信時表示， “這封信的早期版本聲稱OpenAI目前正在訓(xùn)練GPT-5。我們沒有，而且一段時間內(nèi)不會?！?/p> 責(zé)任編輯：