近日，人工智能領(lǐng)域迎來重要進(jìn)展，多模態(tài)推理大模型o3與o4-mini正式推出，號(hào)稱是目前最強(qiáng)、最智能的模型之一。
然而，這一備受矚目的技術(shù)成果卻引發(fā)了一系列爭議。研究機(jī)構(gòu)發(fā)現(xiàn)，OpenAI官方公布的測試結(jié)果與第三方的實(shí)際測試數(shù)據(jù)存在顯著差異，這引發(fā)了公眾對(duì)其透明度和測試方法的廣泛質(zhì)疑。
去年12月，OpenAI在預(yù)發(fā)布階段就曾宣稱，o3模型在解決 FrontierMath（一組高難度數(shù)學(xué)問題）方面的能力有了質(zhì)的飛躍。當(dāng)時(shí)數(shù)據(jù)顯示，該模型能夠正確解答超過25%的問題，遠(yuǎn)超其競爭對(duì)手的表現(xiàn)。
然而，第三方測試機(jī)構(gòu)Epoch AI近期公布的結(jié)果顯示，o3的實(shí)際表現(xiàn)僅為約10%，與官方宣稱的25%存在明顯差距。這一發(fā)現(xiàn)引發(fā)了關(guān)于OpenAI測試方法是否存在問題的廣泛討論。
對(duì)此，Epoch AI指出，雙方測試結(jié)果差異可能源于評(píng)估標(biāo)準(zhǔn)和數(shù)據(jù)集的不同。OpenAI可能使用了更先進(jìn)的內(nèi)部框架或進(jìn)行了更多計(jì)算資源投入，而他們自己的測試基于更新版本的 FrontierMath 數(shù)據(jù)集。
此外，獨(dú)立研究機(jī)構(gòu)ARC Prize Foundation也發(fā)表報(bào)告稱，正式發(fā)布的o3模型與預(yù)發(fā)布版本存在顯著差異，后者在性能上更為突出。這進(jìn)一步支持了第三方測試結(jié)果的有效性。
值得注意的是，這種情況并非孤立現(xiàn)象，在人工智能領(lǐng)域，隨著各類模型的快速迭代和市場競爭加劇，基準(zhǔn)測試爭議已逐漸成為行業(yè)普遍關(guān)注的問題。
近期還有其他知名公司也面臨類似指控。例如，埃隆·馬斯克創(chuàng)立的xAI被指其最新模型Grok 3的測試數(shù)據(jù)存在誤導(dǎo)性；Meta公司的Llama 4大語言模型也被質(zhì)疑宣傳與實(shí)際表現(xiàn)不符。
這些事件凸顯了當(dāng)前人工智能領(lǐng)域在技術(shù)評(píng)估和推廣中存在的潛在問題。如何建立更加透明、統(tǒng)一的基準(zhǔn)測試標(biāo)準(zhǔn)，成為整個(gè)行業(yè)亟待解決的重要課題。
編輯：金杜
湘公網(wǎng)安備43010502001700號(hào)