結合網頁分類代理人之平行化階層式文件群聚法

Abstract

面對網際網路上大量的網頁資訊，如何有效組織這些網頁資訊已經成為很重要的課題。本研究結合WebACE網頁分類代理人，運用解群技術、平行處理架構，實現「以高頻項目組合為基礎之階層式文件群聚法」(FIHC, Frequent Itemset-based Hierarchical Clustering)，希望能有效提升網頁文件群聚執行效能，以及群聚品質。我們提出將WebACE網頁代理人所取得之分類網頁，利用「預先分類資料之解群方法」(Pre-classified De-clustering Method, PCD) 切割成為均等的工作單元，有效達成平行處理節點之間的負載平衡。在我們的平行架構中，各運算節點處理完成後，將運用FIHC演算法所產出之群集主題樹 (Topic Tree)，將各節點所回傳之群集結果，利用XML檔案合併策略，將多個相同標籤的群集結果進行合併動作。最後，測試結果顯示在平行架構上採用FIHC演算法，在群聚品質與執行效能方面都有相當大幅度的提升。