SpamAssassin upgrade (最新版spamassassin 可執行檔版本, 版友經驗分享)

Darrell Chiu · 一級 註冊時間: 2008-01-29 文章: 8

Hi,

How to install SpamAssassin 3.2.4? cannot makefile. But this new version suppost better than 3.1.0 right? Could we start using new version of SpamAssassin?

Thanks,

Darrell

Arnor · 發表於: 星期四六月 05, 2008 3:56 pm 文章標題:

這個版本我並沒有試過,
目前無法給你回答.
_________________
*若是想問問題的話, 請務必不要塗改任何 IP, 網域資料, 您若不願貼上IP或網域, 請改以電子郵件來詢問. 謝謝您的配合.*
*若是回報疑似軟體的運行或邏輯或資料處理有誤的問題, 小弟很樂意去了解您的情況, 但請務必以最新版來做回報, 如果以郵件詢問, 請參考 http://www.raidenmaild.com/tw/feedback.html 的說明, 最好標題加個 RaidenMAILD 字樣, 才不致會遺漏了您的信唷. 謝謝您的配合^^*
*在版上發文請遵守網路禮儀, 並請持著虛心敘述問題請教他人, 凡發現違反的文, 均一律刪除為優先, 不另行通知喔.
*與使用者教學相長腦力激盪是我輩成就感的來源, 誠心希望您能不吝指教.
*雷電MAILD 知識庫文件 http://www.raidenmaild.com/tw/kb/

素還尊
Team John Long.
Email: arnor@raidenmaild.com
公司網站 http://www.raidenmaild.com/company/

Darrell Chiu · 一級 註冊時間: 2008-01-29 文章: 8

Thanks! I use 3.1.0 and hope you will try the new version later and teach us how to config.

Besides I configured ClamWin and tested the file "eicar_com.zip", however the ClamScan cannot find virus and have following log, what happened?

--Scan Summary--
Known viruses: 306321
Engine version: 0.93
Scanned directories: 0
Scanned files: 1
Infected files: 0
Data scanned: 0.00 MB
Time: 6.922 sec (0 m 6 s)

Arnor · 發表於: 星期四六月 05, 2008 8:47 pm 文章標題:

先關閉你的防毒軟體喔,
免得你mail client 先通過防毒軟體早就被拿掉病毒檔了
_________________
*若是想問問題的話, 請務必不要塗改任何 IP, 網域資料, 您若不願貼上IP或網域, 請改以電子郵件來詢問. 謝謝您的配合.*
*若是回報疑似軟體的運行或邏輯或資料處理有誤的問題, 小弟很樂意去了解您的情況, 但請務必以最新版來做回報, 如果以郵件詢問, 請參考 http://www.raidenmaild.com/tw/feedback.html 的說明, 最好標題加個 RaidenMAILD 字樣, 才不致會遺漏了您的信唷. 謝謝您的配合^^*
*在版上發文請遵守網路禮儀, 並請持著虛心敘述問題請教他人, 凡發現違反的文, 均一律刪除為優先, 不另行通知喔.
*與使用者教學相長腦力激盪是我輩成就感的來源, 誠心希望您能不吝指教.
*雷電MAILD 知識庫文件 http://www.raidenmaild.com/tw/kb/

素還尊
Team John Long.
Email: arnor@raidenmaild.com
公司網站 http://www.raidenmaild.com/company/

bbfish · 一級 註冊時間: 2008-06-07 文章: 16

敝實驗室的伺服器原本使用SpamAssassin 3.1.0, 因無法啟動Bayes判斷, 故我最近將SpamAssassin升級到了3.2.3.5-win32版. (如Bayes有啟動, 應會在信件標頭檔出現BAYES_xx的字樣, 如BAYES_99. 我在dos prompt或是"執行"底下跑SpamAssassinVBS都可啟動Bayes判斷, 但將SpamAssassinVBS加入事件處理器後卻不行, 真是怪事). 3.2.3.5-win32版不需要裝perl, 感覺相當好用, 辨識準確率也很高, 甚至不用Bayes判斷也比我之前學了幾百封信的結果要來的準確, 唯獨速度又更慢了些. 以下是我的安裝流程, 可供參考:
一..
1.下載SpamAssassin for Win32 command-line tools, sa-learn, 與sa-update(http://sawin32.sourceforge.net/)

2. 將SpamAssassin-3.2.3.5-win32.zip, sa-update-3.2.3.3.zip, sa-learn-3.2.3.3.zip都解到C:\SpamAssassin\

3. 將spamassassinVBS.vbs放至c:\mail\spam\, 並建立c:\mail\spam\BusyCheck\與c:\mail\spam\BusySpam\兩個資料夾

(註: 根據說明檔, spamc.exe搭配spamd.exe會比使用spamassassin.exe有效率, 並且我使用spamassassin.exe搭配事件處理器時仍會發生無法啟動Bayes判斷的問題, 因此以下的步驟我採用spamc.exe搭配spamd.exe取代原本的spamassassin.exe)

4. 在dos prompt或"執行"裡輸入c:\SpamAssassin\spamd.exe --syslog="c:\SpamAssassin\spamlog.txt"(如此spamc.exe判斷的結果會存入spamlog.txt中)
(註: 此時spamd.exe會長駐於系統, 欲關閉需從"工作管理員")

5. 測試語法
spamc < A.eml > B.eml (A.eml為一封垃圾郵件, B.eml為輸出結果)
假如有在 B.eml 的標頭檔裡看到

X-Spam-Flag: YES, score =
或是 X-Spam-Flag: NO, score =

那表示你的 spamassassin 模組已經可以運作了.
如果要測試Bayes判斷是否有啟動,
在"tests="這個欄位裡看有沒有BAYES_xx即可(xx可能為00,05,20,40,50,60,80,95,99)

6. 打開 SpamAssassinVBS.vbs, 注意下面的設定
Const strBusyCheck = "c:\mail\spam\BudyCheck\"
Const strBusySpam = "c:\mail\spam\BusySpam\"
Const strLogPath = "c:\mail\spam\SpamAssassin.log"
Const strNoSpamFile = "nospam.txt"
Const strClamWinExePath = "d:\clamwin\bin\clamscan.exe"
Const strClamWinTempDir = "d:\clamwin\temp"
以上都與素大的教學一樣設定
Const strSpamAssassinBatPath = "c:\spamassassin\spamc.exe"
上面這裡注意要執行的是spamc.exe而非spamassassin.exe
Const strGlobalWhiteList = "c:\mail\spam\whitelist.txt"

再來找到下面這行
Result = WshShell.Run(strSpamAssassinBatPath & " -x -e < " & strFromPath & strFilename & " > " & strToPath & strFilename,7,True)
請改為
Result = wshshell.Run("cmd /c " & strSpamAssassinBatPath & " -E < " & strFromPath & strFilename & " > " & strToPath & strFilename,7,True)
(註: 因spamc.exe似乎只能在dos prompt下執行, 因此需在前面加上cmd /c)

7. 接下來就是設定雷電MAILD 的事件處理器去應用這個 spamassassin 模組,與素大的教學一模一樣, 不再贅述.

8. 若使用學術網路, 可能會發現spamc的速度超慢, 這時候可以打開C:\SpamAssassin\etc\spamassassin\local.cf將自己學校或單位的DNS加入, 例如我在清大資工, 就在裡面加入dns_available test: 140.114.87.20 140.114.64.1
若有其他設定需增加或刪減, 也是從這裡改. (注意更動local.cf後, 需重新啟動spamd.exe)

9. 由於每次使用spamc.exe時, 都需要spamd.exe, 可將c:\SpamAssassin\spamd.exe --syslog="c:\SpamAssassin\spamlog.txt"加入"啟動"或"排程". (我是將spamd.exe加入排程, 然後兩小時check一次是否alive, spamd.exe若死掉, spamc.exe就無效了)

二.. (使用sa-learn.exe與sa-update.exe - 非必要)
1. sa-learn是用來學習垃圾信和非垃圾信, 各學習200封之後, Bayes判斷就會啟動. 學習垃圾信的語法是sa-learn --spam 垃圾信路徑; 學習非垃圾信的語法是sa-learn --ham 非垃圾信路徑. 我是寫一個小程式來讓sa-learn到每個MAILD使用者資料夾去學習非垃圾信, 再到-unsolicited-資料夾學習垃圾信. 並將這個程式加入排程, 每天執行兩次. 如此只要使用者有正確歸類信件, spamassassin就可以自動學習.
2. sa-update用來update spamassassin資料庫, 可每隔幾個月執行一次C:\SpamAssassin\sa-update.exe --nogpg, 如有更新, 他會自動安裝至C:\SpamAssassin\share\. 我也是將他加入排程, 兩個月執行一次.

報告完畢...

Arnor · 發表於: 星期一六月 09, 2008 3:29 pm 文章標題:

感謝心得分享,
這個可執行檔的版本在它剛釋出時我有試過, 不過當時慢到誇張(可能有查RBL),
所以就沒繼續再嘗試了.
_________________
*若是想問問題的話, 請務必不要塗改任何 IP, 網域資料, 您若不願貼上IP或網域, 請改以電子郵件來詢問. 謝謝您的配合.*
*若是回報疑似軟體的運行或邏輯或資料處理有誤的問題, 小弟很樂意去了解您的情況, 但請務必以最新版來做回報, 如果以郵件詢問, 請參考 http://www.raidenmaild.com/tw/feedback.html 的說明, 最好標題加個 RaidenMAILD 字樣, 才不致會遺漏了您的信唷. 謝謝您的配合^^*
*在版上發文請遵守網路禮儀, 並請持著虛心敘述問題請教他人, 凡發現違反的文, 均一律刪除為優先, 不另行通知喔.
*與使用者教學相長腦力激盪是我輩成就感的來源, 誠心希望您能不吝指教.
*雷電MAILD 知識庫文件 http://www.raidenmaild.com/tw/kb/

素還尊
Team John Long.
Email: arnor@raidenmaild.com
公司網站 http://www.raidenmaild.com/company/

bbfish · 一級 註冊時間: 2008-06-07 文章: 16

回素大,
他裡面的RBL, DUL, RSS, NML (http://www.mail-abuse.com/enduserinfo.html) DCC(http://rhyolite.com/anti-spam/dcc/), Pyzor(http://pyzor.sourceforge.net/), 和Vipul's Razor(http://razor.sourceforge.net/)等check似乎都會連到網路資料庫.

我安裝完後的速度也是相當慢(檢查一封信需要半分鐘以上), 將學校DNS加入local.cf之後, 大約十秒可檢查完一封信, 速度還可以接受.

個人覺得DCC以及Vipul's Razor資料庫的判別率還不錯, 也許可以考慮加到MAILD的房廣告信機制中

gramy · 九段 註冊時間: 2007-09-21 文章: 188

素大、bbfish大您好：

我也想幫我家的郵件伺服器換裝新版的SpamAssassin，
但...素大與bbfish大都有提到新版本的SpamAssassin檢查速度很慢，
而bbfish大有提到把學校的DNS加入Local.cf 後，一封信約10秒，

因我們公司的每日郵件約2500~5000封，
假設我把公司內網的DNS加入也是10秒一封信快的話，
5000封信*10秒=50000秒
50000秒/60秒=833.333分
833.333分/60分=13.888小時
怕也是要花很多時間，而造成短暫的帳號lock收信錯誤

可否問一下bbfish大的實驗室郵件的每日郵件流量大約是多少呢？？
感謝~

Arnor · 發表於: 星期三六月 11, 2008 11:08 am 文章標題:

bbfish · 一級 註冊時間: 2008-06-07 文章: 16

回素大:
如果要加快速度, 得在local.cf加上下面這些

skip_rbl_checks (0|1) (default: 1) #設成0關閉RBL check
rbl_timeout n (default: n=15) #表示等待DNS的回應最長為n秒鐘, 可以設短一點

另外Dcc, Pyzor, Razor2, DKIM, Domain key, spf等check也會查詢網路資料庫, 所以下面這些可能都得關掉或是將timeout設短
#DCC check
use_dcc (0|1) (default: 1) #設成0關閉DCC check
dcc_timeout n (default: n=

#DKIM check
dkim_timeout n (default: n=5)
#Domain key check
domainkeys_timeout n (default: n=5)
#Pyzor check
use_pyzor (0|1) (default: 1) #設成0關閉Pyzor check
pyzor_timeout n (default: n=3.5)
#Razor2 check
use_razor2 (0|1) (default: 1) #設成0關閉Razor2 check
razor_timeout n (default: n=5)
#spf check
do_not_use_mail_spf (0|1) (default: 0) #設成1關閉spf check
do_not_use_mail_spq_query (0|1) (default: 0) #設成1關閉spq query
spf_timeout n (default: 5)

我還沒實測過把以上的check通通關掉後可以加快多少, 之前只把skip_rbl_checks設成1, 感覺並沒有差很多.
不過我想利用timeout的設定, 可以在素大說的效率跟辨識率間取得平衡.

-----
測試補充: 我剛才將一封分數為2.6的非垃圾信餵入spamc, 檢查時間約7秒鐘; 將上面的option通通關掉之後, 檢查時間變為2-3秒. 分數則由2.6降至0.9. 速度確實加快許多.
----

回gramy大,
我們的spamassassin還沒上線, 目前不曉得十幾封信一起來的話, 速度會如何. 但spmac.exe可以平行處理郵件, 所以速度不會慢到50000秒這麼誇張.
帳號我想應該不會lock住, 假設spamc來不及處理, 信都會先收到根目錄裡, 等處理完後, 再移到未驗證資料夾.

gramy · 九段 註冊時間: 2007-09-21 文章: 188

bbfish大您好：

我指的是假設我們公司一天若最高有5000封信進來的話，
若電腦要處理，所花費的總時間約需50000秒，(以一封10秒來處理的話)
意即公司該台電腦一天會有一半以上的時間在處理郵件，

因為以前安裝ClamAV也是有時郵件進來會處理很久，
若多封信同時處理時，有時會忙不過來而導致當機，(會開幾十個DOS視窗)
後來就沒用ClamAV掃毒了，
(怕新版的SpamAssassin若處理過久，也會同樣狀況)

公司有幾個信箱是有設定轉發其它多人的郵件地址，
(當作可對外的群組郵箱使用)
所以有時會同時處理10幾封信是正常，

因公司很依賴電子郵件，
所以我不太敢亂改設定，
郵件收發一有問題，主管就會來關切了～

我下星期先找一台來試試，
試完再跟大家說，
感謝唷～^^b

bbfish · 一級 註冊時間: 2008-06-07 文章: 16

回gramy大,

這樣我恐怕無法幫忙測試了, 我們lab一天的信件流量估計是1000封左右.
若依照我在local.cf的設定, 關閉一些拖慢速度的測試, 速度會加快些, 不過辨識度也會跟著下降.
目前看起來, 大部分的時間應是花在查詢網路資料庫, 這段時間不吃CPU資源, 如果記憶體足夠, 伺服器應當能夠應付才是.

我覺得新版SpamAssassin有幾個特色
1. 安裝容易: 這是最大的好處. 我們的server使用XP-64, 灌perl64時有發生過當機情況, nmake15.exe也不給解壓縮, 因此多花了幾個步驟才把舊版的SpamAssassin裝上. 新版的SpamAssassin只要解完壓縮就搞定了.
2. 辨識度高? 如果不採用Bayes判斷, 舊版的SpamAssassin大概只能抓到四成的垃圾郵件, 新版可以達到七八成. 不過這跟垃圾信的來源和種類有關, 我尚未做過全面性的測試, 不敢斷言.
3. 可update資料庫: 可以利用sa-update自動下載並安裝新的資料庫, 但我不清楚是否會有大幫助.
4. 速度太慢: 這是我遇到的唯一問題, 不過可以經過設定local.cf來調整.

如果有進一步的心得, 我會再告知的.

gramy · 九段 註冊時間: 2007-09-21 文章: 188

素大、bbfish大：

不好意思，上星期沒時間試，
前天才開始測試，(直接上我們公司的伺服器)
測試兩天，目前還算ok，
除了照bbfish大的方法外，只有小改 local.cf檔，加入白名單與信任IP網段，
其它像RBL、Dcc、Pyzor...都沒有關，
查詢內部DNS也沒有加，
(是否是改local.cf內的「dns_available yes」這行為「dns_available test: aaa.bbb.ccc.ddd aaa.bbb.ccc.ddd」)

由spmaassassin的log來看，非廣告信判斷還算快，幾秒就搞定了，
廣告信會判斷比較久，約10~20秒，
雖然郵件一多時時也是會跑很多個dos視窗出來，(目前看到最多的是近十個)
cpu使用率昇到100%，但還ok，目前可以消化掉
(spamd.exe會佔約一百多MB的記憶體，好像會愈來愈大？這是正常的嗎？)

本想做更多測試的，但怕改到原先舊有的設定，就沒動了，
想請問一下bbfish大，
可否再仔細說明一下如何做到
一、把c:\SpamAssassin\spamd.exe --syslog="c:\SpamAssassin\spamlog.txt"加入"啟動
(是要寫bat檔，再把bat檔加入啟動嗎？)
二、spamd.exe加入排程，並兩小時check一次是否alive？
(spamd.exe加入排程我會，但不知道如何兩小時check是否alice)
三、sa-learn寫小程式使其到每個maild的使用者資料夾去學習非垃圾信與垃圾信，

(因我有設定每星期自動重開機一次，所以若不能重啟後自動執行spamd，仍是需手工啟動才行)

另，因目前新的Spamassassin判斷為廣告信後，會把該廣告郵件變為附件，
郵件本文則是廣告判斷的詳細得分分析，
想問一下，是否原先自行設定的local.cf內的條件還可再加進來改嗎？
如自定關鍵字的得分、不把廣告郵件變為附件...
(不改其實也沒差啦，只是看得覺得比較習慣些)

感謝唷~^__^b

bbfish · 一級 註冊時間: 2008-06-07 文章: 16

gramy · 九段 註冊時間: 2007-09-21 文章: 188

感謝bbfish大唷~
待會馬上加入試作與調整