大數據之眼：讓你看見潛伏的威脅

簡介

劉順德

現職：中華電信研究院EyeQuila新創專案負責人

學歷：中央大學資訊管理博士

經歷：•中華電信大數據辦公室•中華電信研究院資通安全研究所

專長：大數據/人工智能技術於新興資安威脅分析及資安事件分析等領域。

個人興趣：惡意檔案、網路攻擊偵測技術及大數據分析技術研究。

rogerliu@cht.com.tw

企業發現潛伏威脅攻擊的平均時間

> 200天

大家都知道的攻擊，還是持續發生

3

1

釣魚郵件

遠端控制

攻擊者

企業網路

發動釣魚攻擊

4

2安裝駭客工具

FW

內網探測內網攻擊

5

3

防

禦

措

施

分支機構/合作商 防禦措施：防火牆/IPS/WAF/IDS/APT沙箱/……

重要網段

脆弱的防護

行為類似，但意涵不同

Scan (在1秒連了超過100個IP)

CoinHive(在1秒連了超過100個IP)

4

機器可以窮舉可能的偏離現象

Source IP

< 100

>= 100

30303<50

30303>=50

Accept<20

Accept>=20

TCP<50

TCP>=50

TCP<50

TCP>=50

Num of Dest IP Proto DPort Action

5

時間拉長，類似行為會產生另外的意涵

Day1Day2

6

3 Days7 Days

Slow Scan

• 緩慢大小的攻擊行為

• 類週期的控制行為

• 碎片化的攻擊行為

• 偏離日常行為模式的滲透行為

現行偵測機制存在的缺口：長天期分析

8

網路封包/Log資料

SOC (SIEM)

NIDS

LIDS短時間(數分鐘)分析

長天期(數天)分析

特徵/關聯分析

分群/分類/機器學習

• NIDS: Network Intrusion Detection System• LIDS : Log-based Intrusion Detection System

• 連線至已知惡意網址

• 10分鐘內連續20次登入失敗

• 存在已知的惡意程式

資安事件管理

取得資料

發送告警

長天期數據+機器學習

機器學習

L1告警網路活動數據

攻擊行為

正常行為

L1告警

是

不是

8

L2告警

提升告警等級

• 攻擊行為：從真實環境及Lab模擬環境訓練獲得，至客戶環境無需再調整

• 正常行為：從真實環境訓練獲得，至客戶環境會自動學習調整

attacks

abnormal

如何取得長天期的特徵

9

將時間間隔放大，看似不規律的行為就變成規律了 !!

0

2 1 23

23220 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

週期(1)機率=22/24 = 0.916週期(2)機率=11/12 = 0.916週期(3)機率=7/8 = 0.875…

如何運用機器學習

10

X1 X2 …. Xn

IP Service Score

10.x.x.11 DNS 99

10.x.x.11 SNMP 98

10.x.x.12 NTP 1

10.x.x.12 HTTP 97

Indicators of viewsUnsupervised learning

Expert’s options

1

2

3

4

5

Supervised learning

EyeQuila

feedback

footprints

• 惡意中繼站學習• 主機日常活動學習• 服務類別學習• ….

學習攻擊行為實例：偵測未知惡意中繼站

11

惡意中繼站特性 群一 群二 群…

惡意行為 正常行為 惡意行為 正常行為

規律 低 低 高 (0.87) 高 (0.76) …

持續 中 (0.45) 中 (0.47) 低 低 …

專屬 高 (0.6) 低 高 (0.82) 高 (0.95) …

偽裝 低 低 低 低 …

隱密 高(0.94) 低 高(0.71) 低 …

稀少 高 (0.7) 低 中(0.38) 低 ..

... … … … … ..

機率值分類條件高 : 1.0-0.6中 : 0.6-0.2低 : 0.2-0.0

自動依行為分群，再藉由同群中訓練出具識別惡意的特性，偵測未知的惡意中繼站

例如：群一的惡意程式會持續向中繼站報到，但線上影音服務使用時也會持續連線，不同的是這一群的惡意程式會用自已專屬的連線方式進行連線，目的網址通常無法透過搜尋引擎找到，連接的IP也較稀少。

學習攻擊行為實例：擴增數據

12

全球開源/社群/商業威脅情資

lists.blocklist.de Ipvolid.com Whois Virustotal malc0de.com txt.proxyspy.net www.alexa.com vxvault.net www.spamhaus.org ransomwaretracker.abuse.ch www.nothink.org malwaredomains.lehigh.edu malwareurls.joxeankoret.com ……..

長天期分析帶來的效益利用龐大的數據找出攻擊模式的特性，非局部行為

13

長天期(數天)分析

線性、二次方程式或對數

密度相近的群體(NN/HMM/SVM等)

只有長天期分析才能找出隠藏在正常行為下的未知中繼站連線

(此案例代表連線行為出現類週期之現象)

短週期(數分鐘)分析

300

1/141/1 日期1/2 1/3 1/4 1/5 1/6 ……………..

300

300300

註：每個顏色代表不同URL被連線的次數

連線次數

學習正常行為實例

Web服務的現象 機房中DNS服務的現象

14

機器學習因為不受限於已知的「行為」，因此可將獨到的現象從龐雜的數據中撈出來

超過20個指標• 來源數量• 連線數量• 連入數• 連出數• 外網連線數• 內網連線數• 連入port數• 連出port數• High Port數• Low Port數• 服務port數• 維運port數• …

應用學習結果找出異常現象

NTP Service

NTP Tunneling

15

• 攻擊者進入內網後，常利用已知但未受管制協定穿透防火牆

• 學習主機服務類型(不是僅依協定)，可精準地偵測穿透防火牆的隱匿通

道，找出內網攻擊

常用來穿透防火牆的協定• DNS

• SMTP

• HTTP/HTTPS

• NTP

• SMB

• SNMP

• SQL

• ICMP

• …

NTP Tunneling：某個來源IP連到目的IP的UDP 123，在10分鐘內連線次數大於1000次，且目的IP不像是NTP Service

視覺化整合可疑行為找出攻擊關聯性

16

Day 1 Day 2 Day 3

每日可疑行為

合併告警後，發現攻擊與其關聯性

縮短偵測後到應變前的時間：衝擊分析(1)

Network Service Association

行為偵測雖然無法明確指出是那一種攻擊，但透過大數據模擬出阻擋後的衝擊分析，評估出對企業運作不會造成影響後，再進行阻擋。

17

使用服務為主 提供部分服務

衝擊分析(2)

18

SIP\DIP 1 2 3 4 5 6 ..

1 ● ●

2

3

4 ● ●

5 ●

6 ●

..

第一層關係

第二層關係

導入大數據資安分析的痛點

資安數據沒有收集或是分散在不同單位

缺乏持續投資

資安分析Know-how的不足

投入成本太高

Data

Cost

Know-How

Resources

19

EyeQuila部署架構--示意圖

Proxy Log

Firewall Log

DNS Log

Packet Capture

資安分析師

資安工程師

資安服務商

保存、搜尋及分析連線行為

收集連線行為

20

Log Server

Compression& Encryption

SIEM

事件處理事件分析

IDS/IPS/防毒..

Log Sensor

資安威脅情資

CEF

Internet網路

EyeQuila部署架構--案例

1

釣魚郵件

遠端控制

攻擊者

發動釣魚攻擊

3

2

安裝駭客工具

FW

內網探測內網攻擊

4

5

防

禦

措

施

分支機構/合作商

企業重要網段

21

Proxy

SIEM

盡量發揮現有設備價值，必要時再採側錄

Log file

網路活動( log/netflow)

告警

資安威脅情資中心

FW

Log Sensor

持續的資料蒐集機制

22

大數據 vs 資安

Rule Abnormal Modeling AI

Domain expert Data scientist/Domain expert

23

持續定義並清楚分析的目的

結語

大數據分析是持續強化資安防護的核心。

善用大數據工具找出異狀，即早發覺的潛伏威脅。

資安攻防一場比知識/資訊的戰爭，看看誰最了解弱點，誰能最早警覺。

24資料來源：https://www.gartner.com