online gambling singapore online gambling singapore online slot malaysia online slot malaysia mega888 malaysia slot gacor live casino malaysia online betting malaysia mega888 mega888 mega888 mega888 mega888 mega888 mega888 mega888 mega888 臺灣大學黃意堯:深度殘差網絡下的弱監督關係抽取

摘要: 在今年的 EMNLP 2017 上,臺灣大學黃意堯與加州聖塔芭芭拉大學 (UCSB)William Wang 教授有一篇合作論文被錄用。黃意堯撰寫了關於這篇論文的研究歷程,以供學習與參考。我們做了不改動原意的編輯與修改,將繁體字轉換爲簡體,並將一些臺灣常用表述轉換爲大陸的通用說法。

 


臺灣大學黃意堯:深度殘差網絡下的弱監督關係抽取

 

在今年的 EMNLP 2017 上,臺灣大學黃意堯與加州聖塔芭芭拉大學 (UCSB)William Wang 教授有一篇合作論文被錄用。黃意堯撰寫了關於這篇論文的研究歷程,以供學習與參考。我們做了不改動原意的編輯與修改,將繁體字轉換爲簡體,並將一些臺灣常用表述轉換爲大陸的通用說法。

論文名稱:Deep Residual Learning for Weakly-Supervised Relation Extraction

論文地址:https://arxiv.org/abs/1707.08866

近年來,越來越多人關注在關係抽取 (Relation Extraction) 的題目上,大部分的研究集中在使用更復雜、更結構化的神經網絡,並測量在 SemEval 2010 的關係抽取數據庫上。

但在這個數據庫上,最大的問題是數據太少,總共只有 10,717 條數據,導致大部分的模型參數不能太多,要不然會有過度擬合 (over fitting) 的現象發生。

相較於另一個數據庫,NYT dataset,總共有 695,059 條數據,採用半監督式學習:distant supervision 來收集數據。這個數據庫有足夠大的數量來進行大型神經網絡的實驗。

出於這個動機,本文進行大型神經網絡在 NYT dataset 數據庫的實驗,並提出深度殘差網絡來解決 distant supervision 帶來的噪聲干擾。

 

問題探討

 

我們使用卷積神經網絡來進行關係抽取,取經於計算機視覺與深度卷積神經網絡的成功,我們透過增加層數,來增加神經網絡的參數,希望可以幫助關係抽取的學習。結果如圖一:

 

臺灣大學黃意堯:深度殘差網絡下的弱監督關係抽取 | EMNLP 2017

 

圖一、各式卷積網絡的結果

但我們卻發現,使用 9 層卷積神經網絡 (CNN-9) 的效果,並沒有單層 (CNN) 的好。這個結果跟過往的經驗違背。我們猜測原因是,在 distant supervision 的數據裡面,有太多錯誤標籤的數據,這些數據帶來太多的噪聲,而這些噪聲隨著越深層的神經網絡而被放大,導致 9 層卷積神經網絡 (CNN-9) 的結果比單層 (CNN) 更差。爲了解決這個問題,我們使用殘差網絡,來幫助網絡的特徵學習。

 

殘差網絡在半監督式學習的應用

 

基於上面的實驗,我們知道淺層網絡在 distant supervision 的數據庫中,能學習到比較好的特徵。於是,我們設法讓淺層網絡的特徵,可以跳躍傳遞至深層網絡。

 

 

臺灣大學黃意堯:深度殘差網絡下的弱監督關係抽取 | EMNLP 2017

 

圖二,殘差網絡在關係抽取的架構

如圖二所示,我們使用擁有兩層卷積網絡的殘差區塊,將淺層網絡的特徵傳到較深層的網絡。特過這樣的設計,我們可以依照數據庫的大小,來堆迭網絡架構,讓網絡可以選擇較不被噪聲影響的那層網絡特徵來進行關係分類。

 

結果

 

這篇文章,提出一種,解決 distant supervision 噪聲對大型網絡影響的方法。在表一,我們可以看到,9 層的殘差網絡,與 state-of-the-art(PCNN+ATT) 的模型,有差不多的結果,並在高順位候選的關係上,有更棒的效能。證明,利用殘差網絡,可以在 distant supervision 的數據庫中,抽取更有用的特徵。

 

臺灣大學黃意堯:深度殘差網絡下的弱監督關係抽取 | EMNLP 2017

 

表一,殘差網絡與其它網絡結構的結果比較

 

結論

 

本篇文章提供讀者、研究人員可以在 distant supervision 的數據庫使用大型深度神經網絡。但要注意,此種半監督式學習的噪聲,會影響到實驗結果。利用殘差網絡可以解決這樣的問題,這篇文章在關係抽取的研究上,證明其結果。

 

文章趣事

 

本篇文章是我在加州聖塔芭芭拉大學 (UCSB),做交換學生時完成的作品。其實聖塔芭芭拉是一個充滿陽光,很美的海灘,每天都可以衝浪、曬太陽、玩水,加上當時課選很少的情況下,覺得生活過得太安逸,決定加入當時新晉教授 William Wang 的實驗室,學習相關領域的知識。但沒想到,我是實驗室前 5 個進來的學生,導致所有知識都要靠自己來,自己吸收與學習。幸運的是,教授有許多時間,跟我討論題目,但另一方面,我也好像在過一個博士班學生單獨奮鬥的生活,每天死盯著論文,想理解關係抽取到底發生了什麼事。很幸運地,最後我把文章完成,並且順利的投上 EMNLP。很感謝 William Wang 教授願意給我機會,與我進行大量的討論。William Wang 教授在知識圖譜的相關研究很厲害,有興趣的同學,可以申請到他的實驗室進行研究。

原文:https://arxiv.org/abs/1707.08866

項目:https://github.com/darrenyaoyao/ResCNN_RelationExtraction

 

William Wang 教授主頁:https://www.cs.ucsb.edu/~william

 

 

轉貼自: 幫趣


留下你的回應

以訪客張貼回應

0

在此對話中的人們