AI評測機構更換題目免大模型「做熟」 兩個國產模型得分暴跌
新聞摘要
以下為來源提供的節錄，完整報道請查看原文。
AI公司發布新模型時，總會附上一大堆跑分，聲稱在多項測試中「全球第一」，但測試題目公開得愈久，模型便愈有機會「做熟」題目，分數未必反映真實能力。獨立評測機構Artificial Analysis最近更新其知識測試AA-Omniscience，刪走舊題後，多個大模型的分數隨即下跌。 所謂「跑分」，即以一套標準題目測試AI模型，比較它們在數學、編程、知識問答等方面的表現，就如學生應考公開試。