online gambling singapore online gambling singapore online slot malaysia online slot malaysia mega888 malaysia slot gacor live casino malaysia online betting malaysia mega888 mega888 mega888 mega888 mega888 mega888 mega888 mega888 mega888 標題黨太嚇人?這篇文章會告訴你DeepMind關係推理網絡的真實面貌

摘要: 每當DeepMind發表一篇新論文時,媒體都會狂熱的跟蹤報道,而且會使用很多誤導人的短語。

 


標題黨太嚇人?這篇文章會告訴你DeepMind關係推理網絡的真實面貌

 

每當DeepMind發表一篇新論文時,媒體都會狂熱的跟蹤報道,而且會使用很多誤導人的短語。比如關於該關係推理網絡的報道:

DeepMind開發了一種神經網絡,能夠感知其周圍的物體。

實際上這種報導不僅僅是誤導性的,而且使得很多不明真相的吃瓜羣衆感到恐慌:AI真的已經強到如此地步了嗎?在這篇文章中,將介紹DeepMind論文:A simple neural network modulefor relational reasoning,試着通過最簡單的方式介紹這個最新的架構。

 

什麼是關係推理(Relational Reasoning)?

 

從最簡單的角度來說,關係推理就是學着去理解不同物體之間的關係(思想)。這種能力被認爲是智能的一個基本特徵。作者使用了一個圖來解釋什麼是關係推理:

 

標題黨太嚇人?這篇文章會告訴你DeepMind關係推理網絡的真實面貌

 

圖1,模型需要關注一個不同形狀、大小、顏色的物體,並能夠回答關於多個物體之間關係的問題

 

推理網絡

 

作者提出了一種神經網絡,其本質是爲了捕捉關係(就像卷積神經網絡是爲了捕捉圖像的特徵)。他們提出了一個如下定義的架構:

 

標題黨太嚇人?這篇文章會告訴你DeepMind關係推理網絡的真實面貌

 

等式1:推理網絡的定義

解釋:

對O的關係網絡是函數fΦ,其中O是想要學習關係的一組物體。

gθ是關於兩個物體:oi, oj的方程。輸出爲我們所關心的「關係」。

Σ表示計算所有可能的物體對,計算他們的關係並加和。

 

神經網絡與函數

 

在學習神經網絡,反向傳播等的時候,我們很容易忘記這點,但實際上,神經網絡就是一個數學函數!因此,上面等式1描述的就是一個神經網絡,更準確的說是兩個神經網絡:

1.       gθ,計算了一對物體之間的關係

2.       fΦ,計算了所有g的加和,並計算了整個模型的最終輸出

gθ和fΦ在最簡單的情況下都是多層感知機。

 

關係神經網絡的靈活性

 

作者提出了關係神經網絡作爲組件。他們可以接受編碼過的物體作爲輸入,並從中學習關係,更重要的是,他們可以很容易的插入到卷積神經網絡,以及長短期記憶網絡(LSTM)中。

卷積網絡可以通過圖像學習到物體。這對於實際應用有很大幫助,因爲從圖像中推理遠比用戶手工定義物體數組更實用。

LSTM和單詞嵌入何以用來理解問題的含義。這同樣更有實際意義,目前模型已經可以接受英文句子作爲輸入,而不是編碼的數組。

作者提出了一種方法將關係網絡、卷積網絡、LSTM網絡結合到一起,構建了一種端到端的神經網絡,以學習物體之間的關係。

 

標題黨太嚇人?這篇文章會告訴你DeepMind關係推理網絡的真實面貌

 

圖2:端到端關係推理神經網絡

圖2的解釋

 

圖像會通過一個標準卷積神經網絡(CNN),在這個過程中卷積神經網絡會通過k個濾波器提取圖像特徵。推理網絡中的「物體」即是圖中網格每點的特徵向量。例如,途中黃色的向量就代表一個「物體」。

問題會通過一個LSTM網絡,這會產生該問題的特徵性向量。可以粗略地表示這個問題的「含義」。

對於等式1,這裏有一個輕微的修正,加入了一個額外的項:

 

標題黨太嚇人?這篇文章會告訴你DeepMind關係推理網絡的真實面貌

額外的一項q,表示LSTM的最終狀態。

在這之後,從CNN網絡中得到的「物體「以及從LSTM網絡中得到的向量被用來訓練關係網絡。每個物體對,以及從LSTM中得到的問題向量都被用作gθ(一個神經網絡)的輸入。

將gθ的輸出求和,作爲fΦ(另一個神經網絡)的輸入。然後優化fΦ以回答問題。

 

Benchmarks

 

作者在幾個數據集上展示了該模型的有效性。這裏只介紹一個最重要的數據集中的結果—CLEVR數據集。

CLEVR數據集包括不同形狀、大小和顏色的物體的圖像。模型會被問到如下圖的問題:

這個立方體的材質與這個圓柱體的材質一樣嗎?

 

標題黨太嚇人?這篇文章會告訴你DeepMind關係推理網絡的真實面貌

 

圖3:物體的類型(上),位置組合(中&下)

作者表示,在準確度方面,其他系統都遠遠落後於他們的模型。這是由於關係網絡就是爲捕捉關係而設計的。他們的模型達到了前所未有的96%+的準確度,相比之下,使用stacked attention模型的準確度只有75%。

 

標題黨太嚇人?這篇文章會告訴你DeepMind關係推理網絡的真實面貌

 

圖3.1 CLEVR數據集上不同方法的比較

 

結論

 

關係網絡機器適合於學習關係。該方法可以高效地使用數據。同時該方法也足夠靈活,可以與CNN,LSTM一起作爲一個混合解決方案。

本文也想通過正確的解讀,來打破許多大型媒體關於「AI將會接管一切」的宣傳,讓大家正確的瞭解目前最好的方法能夠做到什麼程度。

本文由我們編譯,欲進一步瞭解,請閱讀原文。

原文地址:https://hackernoon.com/deepmind-relational-networks-demystified-b593e408b643

 

論文地址:https://arxiv.org/pdf/1706.01427.pdf

 

轉貼自: 幫趣


留下你的回應

以訪客張貼回應

0

在此對話中的人們