中文分詞系統 - SCWS 簡易中文分詞系統

因為這次案子的功能需求，在網路上找到兩種方式來分詞。一種是 SCWS 採用的詞庫方式，另一種是 WP 的 plugin Bigram Full-Text Search 所採用的 UTF-8 分詞方式。

詞庫方式的分詞系統大都採用知名部落客 蔡志浩 的論文：MMSEG: A Word Identification System for Mandarin Chinese Text Based on Two Variants of the Maximum Matching Algorithm 及 CScanner - A Chinese Lexical Scanner 中的理論來開發詞庫系統。

SCWS 簡易中文分詞系統 是由 hightman 開發，版權方面並沒有很清楚的宣告，僅僅宣告「本人保留一切相關權利」。但是套件中包含所有原始碼及正體/簡體中文詞庫，論壇中也有許多網友一起討論，就像一般 Open Source 套件開發社群的運作模式。另外也有其他網友把 scws 移植到 windows 環境。