[精讚] [會員登入]
488

自行撰寫syslog server建立資訊安全控管中心#4 -- 過濾條件設定

利用PERL將syslog收攏到資料庫的程式,過濾條件設定

此文完整連結 http://n.sfs.tw/11446

複製連結 自行撰寫syslog server建立資訊安全控管中心#4 -- 過濾條件設定@新精讚
(文章歡迎轉載,務必尊重版權註明連結來源)
2017-07-17 12:21:32 最後編修
2017-07-17 00:55:50 By 張○○
 

此文分為四個部分

自行撰寫syslog server建立資訊安全控管中心 #1 -- 前言及syslog介紹
自行撰寫syslog server建立資訊安全控管中心 #2 -- 架構和作法
自行撰寫syslog server建立資訊安全控管中心 #3 -- 程式下載和安裝
自行撰寫syslog server建立資訊安全控管中心 #4 -- 過濾條件設定

4. 程式功能及設定

4.1  過濾掉不重要的syslog

syslog 很多,但並不是每個一都值得記錄到資料庫分析,所以必須有過濾的機制把不要的syslog濾掉,判斷方法有二種:單一條件及多重條件。

(1) 單一條件判斷

在程式上可以直接進行過濾的設定,每組設定由雙引號分隔,內有三個欄位:主機名、鍵值、限制由分號 ';' 分隔。

"HOST; KEY; RESTRICT"

HOST(主機名)為 syslog 送過來的主機名,除了syslog-ng送出的syslog會自帶主機名外,未帶主機名的syslog則由函式 gethostbyaddr() 由dns取得主機名稱,若該函式查找不到名稱則會用IP或IP6來顯示。
KEY(鍵值)可以為 program、facility、level、piority、message等五種。
RESTRICT(限制)可以使用 '!' 作為 NOT 運算,多個限制以逗號 ',' 分格,以下是設定的範例:

  • "ldap; level; info..emerg" => Save syslogs of host ldap with level from info to emerg, and drop those syslogs beyond this range
  • "ldap; level; !info..warning" => Ignore the syslogs of host ldap with level from info to warning.
  • "www; facility; mail, auth, authpriv" => Only the three facilities (mail, auth, authpriv) of host www are saved.
  • "www; level ; !info" =>  The filter will not accept syslogs only with level info.
  • "ftp.tcc.edu.tw; program; sshd" => Only save syslogs of host http://ftp.tcc.edu.tw with program sshd.

假設想限制主機ldap的程式不收錄 ldapd及 sendmail ,寫成這樣是不正確的,因為RESTRICT遇到任何一個條件符合就回傳為真,所以程式 sendmail 符合 !ldapd:
"ldap; program; !ldapd, !sendmail"

所以,正確的寫法應該是寫成兩筆:
"ldap; program; !ldapd", "ldap; program; !webmail"

(2) 多重條件的判斷

假如我們希望只記錄程式為 named 且等級為 info到warning之間,則寫為:"dns; level, info..warning", "dns, program, named" 並不是我們要的結果,他的意思是等級 info到warning "或" 程式為 named 都接受。所以當我們需要用多個條件的組合時,可以用關鍵字 'and' 或 '&&' 去組合,所以下面的寫法才是正確的:
"dns; (level; info..warning) and (program; named)"

他的語法是:

"HOST; (KEY1; RESTRICT1) and (KEY2; RESTRICT2) and (KEY3; RESTRICT3)..."

同時,過濾也可以接受NOT 運算,但這裡判斷可能要傷一點腦筋才會寫出正確的結果,例如我們要濾掉程式named等級為info..warning的記錄。就得要這樣寫:
"dns; (level; !info..warning) and (program; !named)" <== CORRECT

而下面的寫法語意上是錯誤:
"dns; (level; info..warning) and (program; !named)" <== INCORRECT 1
"dns; (level; !info..warning) and (program; named)" <== INCORRECT 2

慢下來思考,(level; !info..warning) 意思是不要等級 info..warning,而 (program; !named) 則意為不要記錄程式 named,換句話說,要過濾為TRUE,不過濾為FALSE,兩者使用AND運算,因此(TRUE) and (TRUE)= TRUE=FILTERED;而後面兩者的意思分別為:
INCORRECT 1  (FALSE) and (TRUE) = FALSE=ACCEPTED
INCORRECT 2  (TRUE) and (FALSE)= FALSE= ACCEPTED

4.2 寄發值得注意的log給管理員

接下來要將異常的 log 寄給管理員,為了不打擾管理者也避免被郵件過量被判斷為垃圾信,所以系統可以設定寄通知信的週期:
my $enable_email ="YES";    # Set to YES if you want the administrator to catch abnormal email notification.
my $email_interval=600;        # interval to send notification email in second.

因此每個週期,系統將會把符合設定的記錄匯整後寄信給管理者,其設定除了HOST 可以使用 '*' 代表全部的記錄外,其他和上一節過濾是相同的,語法為:

SYNTAX "HOST; KEY; RESTRICT"

以下是範例:

將所有等級為 emerg..err 或 facility 為 (auth 或 authpriv) 的記錄寄給管理者
"*; level; emerg..err", "*; facility; auth, authpriv";

同上,但主機的指定為 http://www.tcc.edu.tw,因此只有主機 http://www.tcc.edu.tw 的管理人會收到信,管理人的 email 另建立資料表 manager,表格結構如表2。
"www.tcc.edu.tw; level; emerg..err", "www.tcc.edu.tw; facility; auth, authpriv";

多重條件亦可。將所有等級為 emerg..err 且 facility 為 (auth 或 authpriv) 的記錄寄給管理者
"*; (level; emerg..err) and (facility; auth, authpriv)";

4.3 進到資料庫的記錄查詢

未過濾的資料會存放在資料庫,資料庫的欄位設計有參照syslog-ng 的建議格式,所以可以使用網路上已有的 php-syslog-ng 之類的管理工具以管理在資料庫中的記錄。此外,我們另有開發一個輕量級的網頁管理介面,其畫面如圖:

但這個程式目前已廢棄不用,因為資料量大的時候,處理的速度很慢

4.4 syslog 的流量統計

針對過濾及現有的syslog,系統將每分鐘的流量記錄下來,並另外撰寫一隻取出流量的程式以結合 MRTG 繪製流量圖,實機網址為http://log.tcc.edu.tw,如下圖。

(a) 繪製總量及各伺服器分析

(b) 依等級分類繪製

經過實際測繪發現,單位中的 syslog在每五分鐘的統計中曾高達 1608 筆記錄;週平均量每五分鐘約230筆記錄,其中過濾掉的低重要性 syslog 平均約170 筆,占約 75%,剩餘的寫入資料庫,發現一週的量達17萬筆,上線一個月餘資料庫的記錄筆數已突破百萬筆。下圖是下達SQL 語法 SELECT `host`, count(`host`) FROM `perllogs` where `date`>TIMESTAMPADD(day,-30, now()) group by `host` 取出近30日的筆數統計,可以看出PIX防火牆的 syslog 高達14萬筆,這麼多的 syslog 並不是管理人有能力去看的,要提醒的是總 syslog 數包括被濾掉的部分,因此約為存入的4倍,相當可觀。

5. 利用MRTG測繪

這只是一個雞肋的程式 syslog2mrtg.pl

修改 MRTG log檔放置的位置,行尾的'/'請保留 vi syslog2mrtg.pl

my $mrtg_workdir = '/usr/local/www/apache22/data/diagrams/';

執行範例

/path/to/syslog2mrtg.pl 哪個伺服器來的log,cfg檔設定範例

WorkDir:/usr/local/www/apache22/data/diagrams
Options[_]:growright, nopercent, gauge
Logdir: /usr/local/www/apache22/data/diagrams
WithPeak[_]:wmy
EnableIPv6:yes

Target[total]:`/root/syslog2mrtg.pl total`
MaxBytes[total]: 2000
Title[total]: Total Syslog Traffic count
PageTop[total]: <h1>Filtered Syslog count
hortLegend[total]: row(s)
YLegend[total]: Syslog count of total
Legend1[total]: Incoming Syslog Count
Legend2[total]: Filtered Incoming Syslog Count
Legend3[total]: Maximal 5 Minute Incoming Syslog Count
Legend4[total]: Maximal 5 Minute Filtered Incoming Syslog Count
LegendO[total]:  Incoming Syslogs:
LegendI[total]:  Filtered Syslogs:

Target[ldap]:`/root/syslog2mrtg.pl ldap`
MaxBytes[ldap]: 1000
Title[ldap]: Syslog Traffic count of ldap
PageTop[ldap]: <h1>Filtered Syslog count
ShortLegend[ldap]: row(s)
YLegend[ldap]: Syslog count of ldap
Legend1[ldap]: Incoming Syslog Count
Legend2[ldap]: Filtered Incoming Syslog Count
Legend3[ldap]: Maximal 5 Minute Incoming Syslog Count
Legend4[ldap]: Maximal 5 Minute Filtered Incoming Syslog Count
LegendO[ldap]:  Incoming Syslogs:
LegendI[ldap]:  Filtered Syslogs:

(4) crontab 的設定檔

# 定時繪製 syslog MRTG---如此方可正確產生 utf-8 的網頁
*/5 * * * * env LANG=C /usr/local/bin/mrtg /path/to/your/filter.utf8.cfg

6. 通知信範例

本系統只要符合通知的規則就會寄出通知信,以下為通知信的範例

 

你可能感興趣的文章

PERL的真值和假值(布林值) 整理Perl中的判斷真假的結果

[PERL] split 寫法 Perl 將字串分開可以用 split 這個函數,此函數可以用Regex作分隔判斷

[PERL] 11- 雜湊的範例 Perl 的幾個雜湊範例

自行撰寫syslog server建立資訊安全控管中心#3 -- 程式下載和安裝 利用PERL將syslog收攏到資料庫的程式,程式下載和安裝

[PERL] Regex 字元集(群組) 幾個Perl在regular express會用到的特殊符號notation:字元集

PERL一次讀取檔案所有內容的方法($/) perl可以使用slurp mode一次讀完檔案所有內容的方法及一些範例

[PERL] 09-迴圈 perl的迴圈

[PERL] 可用中文取名的中文名函式和package 原來perl 也可以用中文當函式、類別、方法的名稱啊

PERL 正規表達式會用到的符號 PERL在比對時常常會用到符號整理

[PERL] 16-字串取代和置換 Perl 字串比對及置換

我有話要說


限制:留言最高字數1000字,超過部分會被截掉。請注意:留言不可帶有網址,會被濾掉。 限制:未登入訪客,每則留言間隔需超過10分鐘,每日最多5則留言。

訪客留言

[無留言]

隨機好文

[jQuery] textarea 的取值和給值 HTML 的 TEXTAREA 標籤若要用 jquery 取值,不能使用 .text() 或 .html() ,使用 .

談借錢 人借錢時手心向上頭向下,人還錢時手心向下頭向上

[HP DL380G7] 生效啟動第3,4片網卡/開啟或關閉內建的網卡 HP DL380G7 預設第3,4片網卡裝完系統後找不到,難道是壞了?要怎麼辦?

UTF-8 BOM (Byte Order Mark) 的問題 在 Michael Kaplan 那看到 Every character has a story #4: U+feff

[札記] 2016.7~12月札記 札記,只是札記