摘要: 語言模型相關技術是否達到極限了?
Google 旗下的人工智慧公司 DeepMind 發佈了下一代最新的語言模型 Gopher,聲稱它擁有接近高中生的閱讀理解能力。研究人員在開發和研究更強大的語言模型時,也就是在致力預測和生成文本的系統,這對於建立先進的人工智慧會有巨大的開發潛力。
語言模型旨在接收詞彙後,可以預估接下來詞彙所出現的分佈機率,但若要讓它聰明且順利的運作,需要的是極為大量的數據資料,才會產出讓我們能瞭解的語法結構。
語言模型相關技術的極限
當前的語言模型其實都還存在著一些邏輯推理能力較弱的問題,那我們是否可以通過添加更多的數據來改進?或者我們已經達到了語言模型相關技術的極限?
在 DeepMind 的研究當中,裡頭訓練了大大小小的 Transformer 語言模型,涵蓋了從 4,400 萬個參數到 2,800 億個參數的模型,而最大的模型被命名為 Gopher。
這個名為 Gopher 的語言模型能夠通過大量文本資料庫而大幅提高閱讀理解能力,且 Gopher 能夠在高中生的閱讀考試當中獲得高分,甚至接近於一般人類水準的表現,不過它的數學和推理能力都還有待提升。
Gopher 是「超大型的語言模型」
DeepMind 表示,Gopher 是一個「超大型的語言模型」,在一次的測試研究中,Gopher 能夠與人類進行完整的對話,連貫以及通順性都讓研究人員感到非常驚訝。
人工智慧如何發展出像人類一樣具備邏輯、意識和推理的認知能力,是該研究一直在探索的方向,以目前來看,通過大規模資料去訓練巨量人工智慧模型,在目前被認為是主流實現通用人工智慧的一個重要方向。
而研究人員也能透過調查這些不同大小語言模型的優勢和缺點,找出能夠藉由增加規模,繼續提高效能的領域。
轉貼自Source: buzzorange.com
若喜歡本文,請關注我們的臉書 Please Like our Facebook Page: Big Data In Finance
留下你的回應
以訪客張貼回應