bogofilter の日本語対応 (bogofilter+MeCab patch)

概 要

bogofilterはベイズ推定をSPAMフィルターに応用したソフトウェアです。 MeCabは日本語を単語に分解し、品詞評価を行う形態素解析エンジンです。 大雑把に言うと、ベイズ推定利用の肝は単語毎に統計を取るところにあります。元来日本語は、欧米系の言語と違い、 単語を空白で区切らないという表記形式をとっており、そのままではこの単語毎の統計という処理がうまく働きません。そこで、 一続きに書かれた日本語の文を単語に区切るという操作(分かち書き)が必要になります。これを行うのが形態素解析エンジンです。 形態素解析エンジンとしては kakasiや ChaSenなどが知られています。 ここではMeCabを採用しました。
最近(2018現在)では解析精度の高いJUMANN++なるものもあるようです。(処理スピードに難有り?)
kakasiを使った日本語対応(bogofilter-1.2.4用kakasi-0.5 patch)はこちら

なお、このパッチのご利用はご自身の責任の範囲でお願いします。

ダウンロード

• bogofilter-1.2.4用 mecab-0.1 パッチ
• bogofilter-1.2.5用 mecab-0.1 パッチ

必要なもの

• Bogofilter
• MeCab sourceと辞書

インストール

• MeCabのインストール(本家を参照のこと)

  $ tar zxf mecab-X.Y.tar.gz
  $ cd mecab-X.Y
  $ ./configure --with-charset=utf8
  $ make
  $ make check
  $ sudo make install
  

• MeCab用辞書のインストール

  $ tar zxf mecab-ipadic-2.7.0-XXXX.tar.gz
  $ cd mecab-ipadic-2.7.0-XXXX.tar.gz
  $ configure --with-charset=utf8
  $ make
  $ sudo make install
  

• bogofilterのインストール

  $ tar jxf bogofilter-1.X.Y.tar.bz2
  $ cd bogofilter-1.X.Y
  $ zcat ../bogofilter-1.X.Y+mecab-0.1.patch.gz | patch -p1 -T
  $ CFLAGS="-I/usr/local/include -DWAKATI" LDFLAGS="-L/usr/local/lib" LIBS="-lmecab" ./configure
  $ make
  $ sudo make install
  

  LinuxやSolarisでlibmecab.soが見つからないというエラーが出るときは

  $ sudo ldconfig
  

  を試してからbogofilterを再makeしてみてください。

使い方

---- .procmailrcの抜粋 ----

#### bogofilter passthrough-update ####
#:0fw
:0Efw
| bogofilter -p -e -l

# -f)isher, -p)assthrough -u)pdate, -l)og -e)xitcode 0 for spam and ham
# -v)erbose
#### begin error catcher ####

:0e
{
        EXITCODE=75
        HOST
}
#### end error catcher ####

Technical Notes

• 日本語(と判断した)文字列を内部処理用にutf8に変換します
• 内部処理の順序はutf8変換->MeCabによる分かち書き->wordlist処理のようになっています
• 簡易文字コード判定を行っており、MIME encodeやContent-Typeのcharset指定に依らずに変換します
• 簡易文字コード判定は厳密ではなく、8bitコードはEUC-JP、Shift-JIS、UTF8のどれかに判別されます
• bogofilterのcompile時にautoreconf実行->src/Makefile.in更新->src/lexer_v3.c更新が走るとcompileエラーに繋がることがあるのでpatchコマンドに'-T'を付けている