基於詞彙式大字符集、二階預測模型之文本資料壓縮

Abstract

本論文研究基於詞彙式大字符集之文本資料 壓縮方法，將中、英文檔案以詞彙為單位剖析出 token，再對token 以二階混合式預測模型或部分匹 配預測模型來估算出現機率，接著以算術編碼對該 機率編碼。由於字符集很大，影響預測模型的處理 速度，因此我們也研究一些可以加快處理的方法。 將上述想法實作為實際可壓縮、解壓縮的程 式後，作壓縮率的測試實驗，再和PPMd、bzip2、 及GZIP 程式作比較。對於中文檔案，我們的平均 壓縮率，比PPMd 好1.12%，比bzip2 好5.48%， 比GZIP 好17.02%。對於英文檔案，平均壓縮率 則比PPMd 好0.29%，比bzip2 好2.04%，比GZIP 好12.08%。所以，文本資料壓縮率的改進，相當 不容易，而本研究或多或少都得到了一些改進。議