迷惑メール

「欲深い人間はその欲深さゆえに苦悩する」

何のページ?

迷惑メール（いわゆる spam）が50%を超えたので、いろいろと対処しようとしています。ここはそれ関係のページです。

と書いてから2年以上が経ちましたが、いま迷惑メールが何割あるのかよくわかりません。ただ CRM114 のおかげでほとんど迷惑メールを目にせずにすむようになったのは確かです。

更新履歴

2006/09/04

v1.4は2004年5月以来2年間ずっと使ってきて全く問題がなかった。しかしここ数日、content-type を指定せずに shift jis を生で本体に入れてくる迷惑メールが増えて、それが CRM114 をすり抜けてくるので、 content-type や charset は信用しないことにした。

prepare.rb v1.7。うそつき content-type とか charset とかがあるのでヘッダを信じないでコーディングの判定を nkf に任せるようにした。
廣松さんのパッチなどを載せた。

2004/05/12

prepare.rb 初版 (v1.4) 公開。

前処理用スクリプト

ベイジアンフィルターなどを使って迷惑メールを検出しようとするとき、そのフィルタが英語用に書かれていると（だいたいそうだが）分かち書きされていない日本語のテキストだとうまくいかない。で、UNIX の場合、kakasi を使って分かち書きにするのが一般的なやりかたです。

これをするのに bogofilter の日本語対応のページでは bogofilter 自身にパッチを当てるというやりかたをしてます。また CRM114 の日本語対応のページでは CRM114 のプログラムである mailfilter.crm を書き換えて kakasi を呼び出すようにしてます。でも、この手の前処理はどんなフィルタでも共通でしょう。それで書いたのがこのプログラムです。

機能

MIME のマルチパートを解釈して、テキスト部分が base64 や quoted-printable に符号化されてたらそれを生の状態に戻します。例：元メール→処理後
text/html の部分では、コメントや訳のわからんタグを取り除きます。例：元メール→処理後。（もしブラウザが賢くてテキストを HTML として解釈するようなら、ソースを見てください。そういうのが穴になるんだけどなぁ……。）
マルチパートじゃないところに RFC822 的なメールが埋まってる感じなら、それをマルチパートだと解釈して上の処理をします。これはヒューリスティック。うまく動かなかったらごめん。 qmail のエラーメールがそんな感じなのでつけてみた。例：元メール→処理後
マルチパートでテキストとかじゃないところは削除します。邪魔だから。（上の例で取り除いてます。）
テキスト部分を kakasi に食べさせて分かち書きの状態にします。出力は EUC です。例：元メール (ISO-2022-JP)→処理後 (EUC)

まだない機能。

Subject: などにあるコード化された日本語を戻す機能はまだない。
charset は信じないで nkf に任せた方がいいかも。（これはもう少し日本語の迷惑メールの動向を見てから。）

必要なもの

Ruby（私は1.6.8を使ってます）
RubyMail（0.16を使ってます）
標準的なパッケージじゃないけど、これのおかげで MIME 関係の賢いことができる。ありがたや。
kakasi（2.3.4）
nkf（2.0）

これらが動く UNIX 上なら大丈夫だと思う。適当にインストールして使います。

使いかた

標準入力からメールを食べて、標準出力に分かち書き（などの処理が）されたメールを出します。だから自分が読むメールは別口で読めるようにしとく。たとえば procmail を使うなら、 0cw とかを使ってコピーをこのプログラムに送り、その先をフィルタに食わせて終了コードで迷惑メールかどうか判定しましょう。

私の使いかたを以下に説明します。真似して変なことが起きると悲しいので、自分の設定をするときには、ちゃんとマニュアルを見たり、よく知ってる人に相談したりして下さい。

.procmailrc

メールを受け取るのに使ってる Postfix が maildir 形式で $HOME/Maildir/ にメールを落としてきます。mbox 形式の場合は junk/. のあたりが変わってくるかな。

MAILDIR=$HOME/Maildir/
DEFAULT=$HOME/Maildir/
:0c:
backup

:0
* < 1048576
{
  :0cw:
  | /bin/sh $MAILDIR/isspam.sh

  :0a:
  junk/.
}

きれいなプログラムではないのでお好みに合わせて適当にきれいにして下さい。

prepare.rb はメール1通を丸ごとメモリに入れてから処理するので、あまりでかいメールがくると困ったことになるかも知れない。普通はメールサーバのプログラムが上限を設けてるけど、念のためここでは 1MB 以上のメールは処理しない設定にしました。

isspam.sh

.procmailrc に直接このコードを書いてもいいけど別にしてみた。

#!/bin/sh
MAILDIR=$HOME/Maildir

# mailfilter.crm should be configured so that it exits with 0 if it's spam
# (configuration is given in mailfilter.cf)

cd $MAILDIR
/usr/local/bin/ruby prepare.rb | /usr/local/bin/crm -u $MAILDIR mailfilter.crm

何かの理由で設定がへくったときでもよいメールが junk/ に落ちないために、正常終了を迷惑メール、異常終了をよいメールという設定にしてます。

では、設定がうまくいきますように。

頂いた意見やパッチなど

時間がなくて私自身では確認などしていませんが、いろいろと頂いたものやご意見などをそのままここに載せておきます。

HTML の処理を w3m に任せるためのパッチ。 prepare.rb v1.7 用。（廣松さんより頂いたものを v1.7用に改変） Cygwin 上で HTML の処理で prepare.rb が固まる場合にはこのパッチを当てて回避できる（多分）。
.procmailrc で :0 HB などとすることで、テストだけを行なえるので、メッセージのコピーを作る必要はないのでは。例えば以下のようにする。
```
# for bogofilter
:0 HB
* ? ruby $HOME/bin/prepare.rb | bogofilter --spam-cutoff 0.9 --unicode=no -k 10
spam/.
```
（廣松さんより）

リンク

読みもの

A Plan for Spam

メールフィルタ関係

Kazuto Tominaga ( tominaga あっと inu.tomilab.net )

$Date: 2006/09/04 03:20:14 $