https://s4.itho.me/sites/default/files/styles/picture_size_large/public/field/image/zhu_tu_jie_xi_dang_hong_attckping_ce_jie_guo_960x420.jpg?itok=dOUhQV4d

看懂MITRE ATT&CK資安產品評測結果,先瞭解6大偵測類別含義

隨著模擬APT29攻擊的MITRE ATT&CK評測結果在4月底公開,企業要如何看懂這項評測?基本上,瞭解評測6大偵測類別定義,才能對偵測能力的展現更有認識,而Technique Comparison Tool的運用也很重要。

by

過去,要瞭解防毒軟體的能力,就是用惡意程式來比偵測率,但若要瞭解端點防護產品,對於攻擊入侵手法的偵測能力,則是一直沒有很好的評估作法。

隨著MITRE ATT&CK框架的興起,由於彙整了現實駭客組織的入侵技術,並建立了共通語言,成為企業與資安產業都受益的工具,而MITRE近年更利用ATT&CK框架,發起一項評估計畫,透過模擬駭客實際攻擊過程,來考驗資安產品。因此,與Gartner及Forrester等研究機構的產品評比相比,ATT&CK評測是以更技術性的角度,來解析產品技術能力。

目前這項ATT&CK評估計畫,MITRE已進行兩輪評測,首輪在2018年進行,初期有7家資安業者參與,我們在2019年上半開始關注其發展,後續發現又有5家業者加入評測,到了2019年下半,第二輪評估計畫推出,參與業者增至21家。

2020年4月,MITRE公布第二輪評測結果,讓各界對於21家業者的端點資安產品,在其偵測能力上有更具體的認識。

先從兩大層面理解評測內容

不過,要瞭解ATT&CK評測結果之前,對於這次評測的一些背景資訊要有一定的認識,也就是要瞭解遊戲規則,才能知道遊戲結果的真正意義。我們簡單分成兩個層面來看,一是攻擊設想的對象,另一是偵測類別的定義。

以攻擊設想對象而言,簡單來說,ATT&CK框架已經彙整出200多種攻擊技術,目前每輪的評測,都是根據一個駭客組織所使用的入侵手法,來模擬真實攻擊活動,因此並非一次針對全部手法測試。例如,首輪攻擊設想對象,是中國駭客組織APT3,第二輪則是以俄羅斯駭客組織APT29為對手。

因此,每輪評測使用的攻擊手法會有差異。舉例來說,在第二輪模擬的APT29攻擊,該組織很少用惡意程式,大多是無檔案攻擊,透過PowerShell入侵,考驗的偵測能力就不同。

評測定義的6大偵測類別,可代表不同資訊描述深度

另一個重點,就是要瞭解評測所定義的偵測類別。例如,雖然是制定6種主要偵測類別(Detection Categories),但兩輪的內容有很大變動,而輔助的偵測形容標籤(Modifier),也從3種擴增至7種。簡單來說,在偵測類型畫分更細的情況下,將有助於產品偵測能力的解析,這也顯示MITRE會持續修正他們的評測計畫。

特別的是,這些偵測類型在評測結果上的呈現,MITRE不會將結果量化成分數,來比較高下,只聚焦於展示產品偵測能力,也就是更精準呈現這些偵測成功是如何發生,將原始的結果資料公布,而不是像過往如防毒軟體AV-Test的評測,會有主觀性的評分方式。

基本上,關於第二輪評估計畫的偵測類型,主要的偵測類別分為 None(無偵測)、Telemetry(遙測),以及MSSP(人工分析),還有General(一般)、Tactic(戰術)與Technique(技法)。

由於這些內容看起來實在複雜,因此,我們詢問參加這輪評估計畫的奧義智慧,請他們導讀,看懂ATT&CK評測結果所需要知道的偵測類型意義。

根據該公司創辦人邱銘彰的說明,這些偵測類別其實可以畫分為兩大類,除了None是沒有成功偵測到入侵手法,其中MSSP與Telemetry可視為專家服務分析,General、Tactic與Technique屬自動化產品分析。

而就成功偵測的資訊描述深度而言,Telemetry屬於資訊精確度最低的 偵測類型,包括像是產品記錄到的Log資訊等;General則是可以自動偵測到惡意的行為,但還不夠具體;Tactic不只偵測到惡意行為,還能進一步偵測到攻擊策略;Technique是資訊精確度最高的偵測類型,可以更進一步偵測到並指出明確攻擊的手法,可說是最好偵測能力展現。

至於MSSP,等於是考驗產品服務背後,廠商所具備的服務能量與技術能力,是否同樣能夠發現到攻擊過程。

值得注意的是,要確實理解偵測能力,不能只看偵測類別,MITRE還定義了輔助用的形容標籤,包括7大類,分別是Alert(警告通知)、Correlated(關連)、Delayed(延遲)、Host Interrogation(主機調查)、Residual Artifact(殘存證據)、Configuration Change(組態變更)與Innovative(創新)。而這些標籤的重要性,在一些狀況下,也不弱於既定的6大偵測類別。

邱銘彰指出,在這些偵測類別的輔助形容標籤中,最重要的就是Alert一項,也是大家最容易搞混的地方,他認為,如果用Notified來說明,大家會比較容易理解,也就是指系統有發出警告通知使用者。

其他方面,例如,Correlated是指能與攻擊者所做的其他事關聯,Delayed則說明了偵測結果是經過人工分析,因此是延遲而非即時的資訊,即便評測時,廠商要求更動設定後所得的偵測結果,MITRE也會標註。這樣的作法,確實讓偵測能力的展現可以更細膩。

https://s4.itho.me/sites/default/files/images/%EF%BC%88%E4%B8%BB%E5%9C%96%EF%BC%89%E8%A7%A3%E6%9E%90%E7%95%B6%E7%B4%85ATT%26CK%E8%A9%95%E6%B8%AC%E7%B5%90%E6%9E%9C.png
畫分6大偵測類別與7個偵測形容子類別
在第二回合ATT&CK評估計畫中,MITRE將偵測能力做出更細緻且具體的畫分,圖中紅色圖示屬於有效即時偵測類別。

用戶可藉由橫向比較工具,檢視企業在意的攻擊手法

接下來,我們繼續探討第二輪ATT&CK評測的結果。基本上,這輪ATT&CK評估測試在模擬APT29的攻擊過程中,共分成20大步驟,並細分為140個攻擊流程。在此當中,由於第19大步驟因爭議而取消,實際評測結果是134個攻擊流程。

換言之,在評測結果中,針對這1百多個攻擊流程,都會呈現資安業者產品的偵測能力。那麼,我們我們該如何看待整體評測結果?

企業必須瞭解的是,MITRE在這項計畫不會提供主觀的評論,沒有幫偵測結果打分數,只是單純展現各資安產品面對一連串攻擊流程的偵測能力與程度,並提供評測當下的產品介面截圖。

因此,單純從MITRE ATT&CK網站上發布的評測結果來看,使用者可以看到的是,以各廠商角度來檢視對於134個攻擊流程的偵測能力,並用圖表形式顯現廠商獲得的偵測類型數量。

特別的是,MITRE為了幫助使用者更容易瀏覽這些資料,今年,他們新提供了一項Technique Comparison Tool,簡單來說,它就是一個橫向比較的工具。對於使用者而言,幫助很大,因為這讓使用者檢視評測結果時,能以過濾的方式,針對企業所在意的個別的攻擊行為,來一一比較各家廠商的偵測能力與程度。

例如,針對某項攻擊技術手法,廠商是否能夠偵測得到,偵測到的結果又是到什麼程度,譬如說,偵測結果是即時還是非即時提供,偵測結果是有原始資料,還是能夠自動偵測到惡意行為,又或是還能指出攻擊策略,或是更進一步明確指出攻擊手法,還是透過業者的MSSP服務,也能分析得到結果。此外,偵測到是否會發出通知提醒用戶,能否與其他攻擊手法做到關連等。

無論如何,這樣透明的結果呈現,好處是,可以更精準呈現這些偵測成功是如何發生,讓所有廠商產品的偵測能力都完整展現,一方面MITRE是要促使各家廠商能持續進步,一方面是要讓企業能夠瞭解,何種產品可能適合自己。

但是,也因為沒有一個標準的評分方式,因此我們可以看到,各家參與廠商最常見的作法,就是針對MITRE公布的偵測結果,將偵測類別加以統計與排名,這的確是一種衡量方式,突顯各家在不同層面的強項。但還要注意的是,從評測結果其實可看出,在每項攻擊手法中,廠商得到的成功偵測數量可能不只一個,因此,也有廠商的解讀,是會依據不重複攻擊手法來計算偵測結果。

當然,對於不同偵測能力的展現,還是有其個別的意義存在,畢竟,各家資安防禦的切入點都不盡相同,因此設計重點本就各自有擅長之處,但至少,這種模擬真實駭客攻擊情境的方式,給予一個盡可能公平的基礎。

每輪評估計畫都將持續進化

最後要說明的是,對於企業而言,要看懂這次的評測結果,除了要瞭解ATT&CK架構與評測內容,另一方面,其實也要了解本身的需求與重點,如此一來,才能讓評測的結果應用到企業的實際情況。

同時,使用者還要認知的是,MITRE目前定義的偵測類別後續可能還會調整,測試的內容與範圍也可能擴大。相較於第一輪評測的偵測類別定義,其實,第二輪的偵測類別定義已大有進步,儘管可能還是有不完美之處需要調整。

現在,MITRE也已發布第三輪評估計畫,設想的攻擊對手將是Carbanak與FIN7,兩者均是專門攻擊金融業的駭客組織,但在評估內容方面,目前可能取消MSSP的偵測類別,主要可能是因為評估難有衡量的準則,另外,也傳出可能增加防護能力的評測項目。這意謂著,MITRE未來不僅考驗產品面對實際駭客攻擊時的偵測能力,同時還要有防護能力。此外,MITRE評測的端點環境,之前多以Windows平臺為主,未來是否也將擴增至其他作業系統平臺,甚至是網路層面,同樣值得關注,將讓這項資安產品評測更擴大。

 

可針對重視的攻擊手法,橫向比較評測結果

https://s4.itho.me/sites/default/files/images/%EF%BC%88%E5%9C%961B%EF%BC%89%E8%A7%A3%E6%9E%90%E7%95%B6%E7%B4%85ATT%26CK%E8%A9%95%E6%B8%AC%E7%B5%90%E6%9E%9C.jpg

對於ATT&CK評估計畫的偵測結果,企業除了可從各家業者的角度,檢視所有攻擊流程的偵測能力表現,MITRE也提供便於橫向比較的Technique Comparison Tool,讓企業可針對在意的個別的攻擊行為,來比較各家的偵測能力。

Technique Comparison Tool介面上,最左側區域①是140項攻擊手法,使用可以選擇想要比較項目,②是可以選擇比較的廠商,③是呈現出評測的偵測結果。另外,最右側區域④則是偵測相關說明,這裡同時附上了評測過程中,系統有偵測到惡意行為時的系統截圖的連結,讓外界能夠更具體瞭解偵測當下的情況。

值得注意的是,偵測類別結果③可能是外界最不容易搞懂的部分。因為,MITRE除了定義6大偵測類別(Detection Categories),同時也設計了7個重要的輔助形容(Modifiers)的標籤。

因此,對於每項攻擊流程,MITRE所給出的偵測結果,其實都會有偵測類別與輔助形容標籤,並不只是單純的偵測類別。同時,也還有每個成功偵測都有系統截圖供用戶檢視。

 

不只認識偵測類別,也要看懂形容標籤的含義

https://s4.itho.me/sites/default/files/images/%EF%BC%88%E8%A1%A8%E6%A0%BC%EF%BC%89%E8%A7%A3%E6%9E%90%E7%95%B6%E7%B4%85ATT%26CK%E8%A9%95%E6%B8%AC%E7%B5%90%E6%9E%9C.jpg

為了幫助大家理解ATT&CK評估計畫,在偵測結果上的呈現,奧義智慧創辦人邱銘彰設計了一個矩陣,來說明輔助形容標籤的定位。

舉例來說,在此定義的Alert,就是系統會通知IT人員要注意,不過這樣的標籤不會單獨出現,會是依附在偵測類型之下,而有Alert結果出現的地方,只有在General、Tactic與Technique,這也說明了為何這三個類別才屬於有效即時偵測,而MSSP與Telemetry,就一定不會有Alert出現。基本上,在測試項目若同時獲得Technique與Alert的結果,可視為最好的表現。但是,相對而言,評測結果若獲得這三個偵測類別,業者的系統其實不一定會發出警告,因此有其他標籤來說明,但這是較不常出現的狀況。

再舉另外一例,像是MSSP的偵測類別,就只會搭配Delayed這一種標籤出現,不過Delayed則是會搭配多個偵測類別出現,說明這是經過進一步分析,根據較晚才能獲得的資料,才做到成功偵測。

 

如何從評測結果挑選符合自己的資安產品?

在第二輪ATT&CK評估計畫結果公布後,由於呈現出134項攻擊流程的偵測結果,加上偵測類別的定義也都相當細膩,因此,要從整體角度來看評測結果,有那些外界觀點值得重視呢?

基本上,針對各項偵測結果的統計加總,就是最常見的方式。舉例來說,像是成功偵測的數量上,哪家業者獲得最多的Technique、最多Alert、最多的Telemetry,又或是最多的Technique+Tactic+General,還可以從各項19大攻擊步驟,或是134項攻擊流程,來呈現產品在偵測率、覆蓋率的能力表現。而這些也就是多數參與廠商會強調的部分,因為可以突顯自家業者的優勢,以及在廣泛或特定項目的偵測能力。

特別的是,我們看到有業者反向思考,從偵測表現差的角度,建議用戶最好不要選擇。例如,卡巴斯基在官方部落格上發文指出,以評測19大步驟來看,若廠商在許多步驟都沒有獲得任何General、Tactic、Technique與MSSP的話,代表在眾多攻擊步驟層面,產品完全沒有提供較有效偵測。

因為有半數以上的廠商,最多只有一大步驟,是沒有獲得上述4種偵測類別,但這次評測有兩家業者表現較不理想,例如Malwarebytes與ReaQta,他們共有9大步驟,完全沒有獲得上述這4個偵測類別。

從使用者需求角度著手,並注意評測上還不足以展現的

儘管多數資訊都是從評測結果統計資訊著手,是企業參考的資訊之一,我們這次也詢問參與評測的臺灣資安業者,是否有其他專家見解,能夠幫助用戶解讀。

例如,奧義智慧推薦的是專精美國國防領域的資料分析科學家Jonathan Ticknor,他從使用者需求面來看待評測結果。在Jonathan Ticknor的個人部落格上,他對於新一輪的ATT&CK評估計畫結果,提出他自己的分數量化標準。最特別的地方是,他將使用者分成三種類型,包括有自建SOC但營運還不成熟的公司,SOC營運較成熟的公司,以及考慮購買MSSP服務類型的公司。也就是說,他會依據使用者需求來看待評測結果,畢竟各企業環境大不相同,對於所需的產品考量上也就有別。

因此,他將不同的偵測結果的類型與輔助形容描述,畫分出4分、2分、1分、0分,以及0.75分、0.5分與0.25分,再計算出總分。不僅如此,他對於三種類型的需求,也還各自定義出不同的評分方式。

在其他專家見解上,趨勢科技推薦了一位資深分析師,是來自全球市調研究機構Forrester的Josh Zelonis。他其實很早就關注這項評測,並對第一輪評測結果自定一套評分標準,對於第二輪評測結果,他在Forrester官方部落格發表的文章,則是探討用戶在看評測結果時,可能存在的盲點,主要關於警報疲勞層面的問題,他從警告的效率與警告的質量,給出計算與定義,提供評測結果之外所需注意的面向,也很值得用戶去思考。

https://s4.itho.me/sites/default/files/images/%EF%BC%88%E5%9C%962%EF%BC%89%E8%A7%A3%E6%9E%90%E7%95%B6%E7%B4%85ATT%26CK%E8%A9%95%E6%B8%AC%E7%B5%90%E6%9E%9C.jpg
對於如何看待ATT&CK評估計畫,瞭解企業本身的需求也很重要。例如,一位在美國國防單位工作的專家Jonathan Ticknor,他將使用者需求分成三種類型,分別是不成熟的SOC、成熟的SOC與與依賴MSSP的企業,並且各自建立出一套評分標準。
https://s4.itho.me/sites/default/files/images/%EF%BC%88%E5%9C%963%EF%BC%89%E8%A7%A3%E6%9E%90%E7%95%B6%E7%B4%85ATT%26CK%E8%A9%95%E6%B8%AC%E7%B5%90%E6%9E%9C.jpg
對於ATT&CK評測結果,有專家給出評測之外的不同觀察,例如,市調研究機構Forrester的資深分析師Josh Zelonis,他從警告質量的角度來提醒使用者,因為這是評測結果所不易看出的面向。