實不相瞞，我想要找出一種方法，可以偵測一篇文章中論及多少事件，並將這些事件自動切出段落。但目前礙於我搜尋能力的不足，以及論文閱讀速度的限制，實在沒有找到一個合適的方法。今天來介紹成大資工所方國安所撰寫的《應用基因演算法於中文廣播新聞中情境切割及分類》學位論文，希望能得到一些啟發。
這篇論文主要在描述使用基因演算法，試圖對中廣同一個主播連續報導不同新聞事件的語音進行切割。最重要的是對新聞加以分類，並在每個分類中找出具有代表性的專有詞彙，作為辨識新聞主題的工具。下圖描述新聞情境切割的流程，也是本篇文章的主軸。整個演算法主要分成兩大部分：一、找出分界點；二、評估分界點；以下詳述之。
▲新聞內容切割流程圖(Story Segmentation)
使用滑動視窗找出分界點
作者先將新聞分成14群建立類別，再從這14群中找出代表的關鍵字。接著作者對長串的新聞，設計了一個滑動視窗以偵測主題的改變，大小為語料庫中平均故事(Story，這裡指的是一則新聞)長度的一半。滑動視窗每次往下移一個句子，並統計之中文字內容所屬類別(群)，依照類別強度繪製強度曲線。我們可以找出類別交錯點，估計新聞主題轉換處。實務上常出現的問題是在轉折處變成緊密夾雜類別的現象，因此要將類別轉換做平滑化的處理。
作者定義「碎裂」為區塊類別持續性小於平均故事的四分之一，而平滑的方式是計算碎裂區塊的向量，看包含哪些所屬的類別，其中強度又為何。如果向量強度偏向於前方的區塊，則往前合併，反之亦然。
使用基因演算法評估分界點
基因演算法通常被用來解決解空間大、計算複雜度大以及需要求全域最佳解的問題。在本研究中，作者對上述方法找出的分界，分別往上與往下算半篇平均故事的長度，形成一個「模糊區塊」。模糊區塊中包含了兩個故事的分界，因此接下來的任務就是透過基因演算法在模糊區塊中找到實際的分界處。
一篇未切割的文件包含n個切割點(n+1個故事)，在本實驗中將任一種切割方法視為一個染色體，而n為染色體序列的長度。其中將未切割的文件視為一個染色體(裡面包含多個基因)，每個模糊區塊為一個基因，基因的數值k代表從該模糊區塊的第k行作切割。本實驗產生100個染色體族群，則每個族群中染色體的初始值是由亂數產生的(當然不能超過全句數)。世代數為500，交配機率0.25，突變機率0.01，以上均為經驗法則產生之引數。
基因演算法最重要的環節是評估函數，在本實驗中評估函數就是評估分類的正確性，如果切割的解越好，會得到分數越高的分類。再將分類成功度的總數相加，求其最大值。
心得
將基因演算法用在文件切割我認為是非常有創意的，但是必須經過太多的限制與前置條件，才能得到八成的準確率，實際上是否合用還需要要深思。我們注意到，首先必須統計語料庫中的文件，找出通常一則故事的長度；接著必須將故事加以分群，找出每群的特徵。將這兩個重要的預處理做好，才能夠開始切割文件。所以真正的問題是，這樣的切割方法沒辦法用在生活中的語料，例如一篇作文或專題報導；只能夠限定在差不多長度的新聞上。
我認為使用統計方法一定會受到這樣的限制，因為電腦始終無法解讀文件內容的涵義，只能瞎子摸象。就算是訓練有素的瞎子，可以精準的摸出每隻大象的眼睛、鼻子、嘴巴或耳朵的位置，但是對象換成一匹馬，瞎子就無法抓出他五官的位置了。因此如果要使電腦能準確的對文件分段，絕不是反覆訓練他摸各種大象，而是告訴他眼睛是什麼、鼻子是什麼、耳朵是什麼…這樣只要不是外星來的生物，應該都有九成以上的辨識能力。
▲瞎子摸象，訓練有素的瞎子不管從大象的何處開始摸，都能摸完整隻大象，但摸別的動物又要重新訓練了…
我想也許還不需要運用到機器學習、人工智慧的技術，但文法剖析對自動分段確有其必要性，如此才能從根本改善分段的準確性。另一個可以思考的方法是我們先對文章進行人工分段，再透過倒傳遞類神經網路找出分段的關鍵，讓機器找到文法剖析的邏輯，也許效能會比我們預先輸入邏輯還蓋面向更廣…但是神經網路該如何設計將是一大挑戰。
最後一點值得考慮的是若要將文件概念分段，畫出文件的樹狀結構也是個不錯的方法，但是就連一般人都需要相當深厚的功力，而且劃分的方法也會因背景知識不同而大相逕庭。不過如果能做出這樣的樹狀結構，在未來將是相當有前瞻性的…也許我該買本國中的歷史地理參考書來看看，找出之中的規則…
讀者回應 ( 1 意見 )
訂閱張貼留言 (Atom)
好久沒有來逛學長的網頁了
因為這學期的課，我也在玩GA
正嘗試把GA應用在網頁搜尋上
哈哈
張貼留言
如果沒有帳戶，建議使用｢名稱/網址｣留言喔^^