看懂MITRE ATT&CK資安產品評測結果，先瞭解6大偵測類別含義

隨著模擬APT29攻擊的MITRE ATT&CK評測結果在4月底公開，企業要如何看懂這項評測？基本上，瞭解評測6大偵測類別定義，才能對偵測能力的展現更有認識，而Technique Comparison Tool的運用也很重要。

過去，要瞭解防毒軟體的能力，就是用惡意程式來比偵測率，但若要瞭解端點防護產品，對於攻擊入侵手法的偵測能力，則是一直沒有很好的評估作法。

隨著MITRE ATT&CK框架的興起，由於彙整了現實駭客組織的入侵技術，並建立了共通語言，成為企業與資安產業都受益的工具，而MITRE近年更利用ATT&CK框架，發起一項評估計畫，透過模擬駭客實際攻擊過程，來考驗資安產品。因此，與Gartner及Forrester等研究機構的產品評比相比，ATT&CK評測是以更技術性的角度，來解析產品技術能力。

目前這項ATT&CK評估計畫，MITRE已進行兩輪評測，首輪在2018年進行，初期有7家資安業者參與，我們在2019年上半開始關注其發展，後續發現又有5家業者加入評測，到了2019年下半，第二輪評估計畫推出，參與業者增至21家。

2020年4月，MITRE公布第二輪評測結果，讓各界對於21家業者的端點資安產品，在其偵測能力上有更具體的認識。

先從兩大層面理解評測內容

不過，要瞭解ATT&CK評測結果之前，對於這次評測的一些背景資訊要有一定的認識，也就是要瞭解遊戲規則，才能知道遊戲結果的真正意義。我們簡單分成兩個層面來看，一是攻擊設想的對象，另一是偵測類別的定義。

以攻擊設想對象而言，簡單來說，ATT&CK框架已經彙整出200多種攻擊技術，目前每輪的評測，都是根據一個駭客組織所使用的入侵手法，來模擬真實攻擊活動，因此並非一次針對全部手法測試。例如，首輪攻擊設想對象，是中國駭客組織APT3，第二輪則是以俄羅斯駭客組織APT29為對手。

因此，每輪評測使用的攻擊手法會有差異。舉例來說，在第二輪模擬的APT29攻擊，該組織很少用惡意程式，大多是無檔案攻擊，透過PowerShell入侵，考驗的偵測能力就不同。

評測定義的6大偵測類別，可代表不同資訊描述深度

另一個重點，就是要瞭解評測所定義的偵測類別。例如，雖然是制定6種主要偵測類別（Detection Categories），但兩輪的內容有很大變動，而輔助的偵測形容標籤（Modifier），也從3種擴增至7種。簡單來說，在偵測類型畫分更細的情況下，將有助於產品偵測能力的解析，這也顯示MITRE會持續修正他們的評測計畫。

特別的是，這些偵測類型在評測結果上的呈現，MITRE不會將結果量化成分數，來比較高下，只聚焦於展示產品偵測能力，也就是更精準呈現這些偵測成功是如何發生，將原始的結果資料公布，而不是像過往如防毒軟體AV-Test的評測，會有主觀性的評分方式。

基本上，關於第二輪評估計畫的偵測類型，主要的偵測類別分為 None（無偵測）、Telemetry（遙測），以及MSSP（人工分析），還有General（一般）、Tactic（戰術）與Technique（技法）。

由於這些內容看起來實在複雜，因此，我們詢問參加這輪評估計畫的奧義智慧，請他們導讀，看懂ATT&CK評測結果所需要知道的偵測類型意義。

根據該公司創辦人邱銘彰的說明，這些偵測類別其實可以畫分為兩大類，除了None是沒有成功偵測到入侵手法，其中MSSP與Telemetry可視為專家服務分析，General、Tactic與Technique屬自動化產品分析。

而就成功偵測的資訊描述深度而言，Telemetry屬於資訊精確度最低的 偵測類型，包括像是產品記錄到的Log資訊等；General則是可以自動偵測到惡意的行為，但還不夠具體；Tactic不只偵測到惡意行為，還能進一步偵測到攻擊策略；Technique是資訊精確度最高的偵測類型，可以更進一步偵測到並指出明確攻擊的手法，可說是最好偵測能力展現。

至於MSSP，等於是考驗產品服務背後，廠商所具備的服務能量與技術能力，是否同樣能夠發現到攻擊過程。

值得注意的是，要確實理解偵測能力，不能只看偵測類別，MITRE還定義了輔助用的形容標籤，包括7大類，分別是Alert（警告通知）、Correlated（關連）、Delayed（延遲）、Host Interrogation（主機調查）、Residual Artifact（殘存證據）、Configuration Change（組態變更）與Innovative（創新）。而這些標籤的重要性，在一些狀況下，也不弱於既定的6大偵測類別。

邱銘彰指出，在這些偵測類別的輔助形容標籤中，最重要的就是Alert一項，也是大家最容易搞混的地方，他認為，如果用Notified來說明，大家會比較容易理解，也就是指系統有發出警告通知使用者。

其他方面，例如，Correlated是指能與攻擊者所做的其他事關聯，Delayed則說明了偵測結果是經過人工分析，因此是延遲而非即時的資訊，即便評測時，廠商要求更動設定後所得的偵測結果，MITRE也會標註。這樣的作法，確實讓偵測能力的展現可以更細膩。

畫分6大偵測類別與7個偵測形容子類別
在第二回合ATT&CK評估計畫中，MITRE將偵測能力做出更細緻且具體的畫分，圖中紅色圖示屬於有效即時偵測類別。

用戶可藉由橫向比較工具，檢視企業在意的攻擊手法

接下來，我們繼續探討第二輪ATT&CK評測的結果。基本上，這輪ATT&CK評估測試在模擬APT29的攻擊過程中，共分成20大步驟，並細分為140個攻擊流程。在此當中，由於第19大步驟因爭議而取消，實際評測結果是134個攻擊流程。

換言之，在評測結果中，針對這1百多個攻擊流程，都會呈現資安業者產品的偵測能力。那麼，我們我們該如何看待整體評測結果？

企業必須瞭解的是，MITRE在這項計畫不會提供主觀的評論，沒有幫偵測結果打分數，只是單純展現各資安產品面對一連串攻擊流程的偵測能力與程度，並提供評測當下的產品介面截圖。

因此，單純從MITRE ATT&CK網站上發布的評測結果來看，使用者可以看到的是，以各廠商角度來檢視對於134個攻擊流程的偵測能力，並用圖表形式顯現廠商獲得的偵測類型數量。

特別的是，MITRE為了幫助使用者更容易瀏覽這些資料，今年，他們新提供了一項Technique Comparison Tool，簡單來說，它就是一個橫向比較的工具。對於使用者而言，幫助很大，因為這讓使用者檢視評測結果時，能以過濾的方式，針對企業所在意的個別的攻擊行為，來一一比較各家廠商的偵測能力與程度。

例如，針對某項攻擊技術手法，廠商是否能夠偵測得到，偵測到的結果又是到什麼程度，譬如說，偵測結果是即時還是非即時提供，偵測結果是有原始資料，還是能夠自動偵測到惡意行為，又或是還能指出攻擊策略，或是更進一步明確指出攻擊手法，還是透過業者的MSSP服務，也能分析得到結果。此外，偵測到是否會發出通知提醒用戶，能否與其他攻擊手法做到關連等。

無論如何，這樣透明的結果呈現，好處是，可以更精準呈現這些偵測成功是如何發生，讓所有廠商產品的偵測能力都完整展現，一方面MITRE是要促使各家廠商能持續進步，一方面是要讓企業能夠瞭解，何種產品可能適合自己。

但是，也因為沒有一個標準的評分方式，因此我們可以看到，各家參與廠商最常見的作法，就是針對MITRE公布的偵測結果，將偵測類別加以統計與排名，這的確是一種衡量方式，突顯各家在不同層面的強項。但還要注意的是，從評測結果其實可看出，在每項攻擊手法中，廠商得到的成功偵測數量可能不只一個，因此，也有廠商的解讀，是會依據不重複攻擊手法來計算偵測結果。

當然，對於不同偵測能力的展現，還是有其個別的意義存在，畢竟，各家資安防禦的切入點都不盡相同，因此設計重點本就各自有擅長之處，但至少，這種模擬真實駭客攻擊情境的方式，給予一個盡可能公平的基礎。

每輪評估計畫都將持續進化

最後要說明的是，對於企業而言，要看懂這次的評測結果，除了要瞭解ATT&CK架構與評測內容，另一方面，其實也要了解本身的需求與重點，如此一來，才能讓評測的結果應用到企業的實際情況。

同時，使用者還要認知的是，MITRE目前定義的偵測類別後續可能還會調整，測試的內容與範圍也可能擴大。相較於第一輪評測的偵測類別定義，其實，第二輪的偵測類別定義已大有進步，儘管可能還是有不完美之處需要調整。

現在，MITRE也已發布第三輪評估計畫，設想的攻擊對手將是Carbanak與FIN7，兩者均是專門攻擊金融業的駭客組織，但在評估內容方面，目前可能取消MSSP的偵測類別，主要可能是因為評估難有衡量的準則，另外，也傳出可能增加防護能力的評測項目。這意謂著，MITRE未來不僅考驗產品面對實際駭客攻擊時的偵測能力，同時還要有防護能力。此外，MITRE評測的端點環境，之前多以Windows平臺為主，未來是否也將擴增至其他作業系統平臺，甚至是網路層面，同樣值得關注，將讓這項資安產品評測更擴大。

可針對重視的攻擊手法，橫向比較評測結果

對於ATT&CK評估計畫的偵測結果，企業除了可從各家業者的角度，檢視所有攻擊流程的偵測能力表現，MITRE也提供便於橫向比較的Technique Comparison Tool，讓企業可針對在意的個別的攻擊行為，來比較各家的偵測能力。

在Technique Comparison Tool介面上，最左側區域①是140項攻擊手法，使用可以選擇想要比較項目，②是可以選擇比較的廠商，③是呈現出評測的偵測結果。另外，最右側區域④則是偵測相關說明，這裡同時附上了評測過程中，系統有偵測到惡意行為時的系統截圖的連結，讓外界能夠更具體瞭解偵測當下的情況。

值得注意的是，偵測類別結果③可能是外界最不容易搞懂的部分。因為，MITRE除了定義6大偵測類別（Detection Categories），同時也設計了7個重要的輔助形容（Modifiers）的標籤。

因此，對於每項攻擊流程，MITRE所給出的偵測結果，其實都會有偵測類別與輔助形容標籤，並不只是單純的偵測類別。同時，也還有每個成功偵測都有系統截圖供用戶檢視。

不只認識偵測類別，也要看懂形容標籤的含義

為了幫助大家理解ATT&CK評估計畫，在偵測結果上的呈現，奧義智慧創辦人邱銘彰設計了一個矩陣，來說明輔助形容標籤的定位。

舉例來說，在此定義的Alert，就是系統會通知IT人員要注意，不過這樣的標籤不會單獨出現，會是依附在偵測類型之下，而有Alert結果出現的地方，只有在General、Tactic與Technique，這也說明了為何這三個類別才屬於有效即時偵測，而MSSP與Telemetry，就一定不會有Alert出現。基本上，在測試項目若同時獲得Technique與Alert的結果，可視為最好的表現。但是，相對而言，評測結果若獲得這三個偵測類別，業者的系統其實不一定會發出警告，因此有其他標籤來說明，但這是較不常出現的狀況。

再舉另外一例，像是MSSP的偵測類別，就只會搭配Delayed這一種標籤出現，不過Delayed則是會搭配多個偵測類別出現，說明這是經過進一步分析，根據較晚才能獲得的資料，才做到成功偵測。

如何從評測結果挑選符合自己的資安產品？

在第二輪ATT&CK評估計畫結果公布後，由於呈現出134項攻擊流程的偵測結果，加上偵測類別的定義也都相當細膩，因此，要從整體角度來看評測結果，有那些外界觀點值得重視呢？

基本上，針對各項偵測結果的統計加總，就是最常見的方式。舉例來說，像是成功偵測的數量上，哪家業者獲得最多的Technique、最多Alert、最多的Telemetry，又或是最多的Technique＋Tactic＋General，還可以從各項19大攻擊步驟，或是134項攻擊流程，來呈現產品在偵測率、覆蓋率的能力表現。而這些也就是多數參與廠商會強調的部分，因為可以突顯自家業者的優勢，以及在廣泛或特定項目的偵測能力。

特別的是，我們看到有業者反向思考，從偵測表現差的角度，建議用戶最好不要選擇。例如，卡巴斯基在官方部落格上發文指出，以評測19大步驟來看，若廠商在許多步驟都沒有獲得任何General、Tactic、Technique與MSSP的話，代表在眾多攻擊步驟層面，產品完全沒有提供較有效偵測。

因為有半數以上的廠商，最多只有一大步驟，是沒有獲得上述4種偵測類別，但這次評測有兩家業者表現較不理想，例如Malwarebytes與ReaQta，他們共有9大步驟，完全沒有獲得上述這4個偵測類別。

從使用者需求角度著手，並注意評測上還不足以展現的

儘管多數資訊都是從評測結果統計資訊著手，是企業參考的資訊之一，我們這次也詢問參與評測的臺灣資安業者，是否有其他專家見解，能夠幫助用戶解讀。

例如，奧義智慧推薦的是專精美國國防領域的資料分析科學家Jonathan Ticknor，他從使用者需求面來看待評測結果。在Jonathan Ticknor的個人部落格上，他對於新一輪的ATT＆CK評估計畫結果，提出他自己的分數量化標準。最特別的地方是，他將使用者分成三種類型，包括有自建SOC但營運還不成熟的公司，SOC營運較成熟的公司，以及考慮購買MSSP服務類型的公司。也就是說，他會依據使用者需求來看待評測結果，畢竟各企業環境大不相同，對於所需的產品考量上也就有別。

因此，他將不同的偵測結果的類型與輔助形容描述，畫分出4分、2分、1分、0分，以及0.75分、0.5分與0.25分，再計算出總分。不僅如此，他對於三種類型的需求，也還各自定義出不同的評分方式。

在其他專家見解上，趨勢科技推薦了一位資深分析師，是來自全球市調研究機構Forrester的Josh Zelonis。他其實很早就關注這項評測，並對第一輪評測結果自定一套評分標準，對於第二輪評測結果，他在Forrester官方部落格發表的文章，則是探討用戶在看評測結果時，可能存在的盲點，主要關於警報疲勞層面的問題，他從警告的效率與警告的質量，給出計算與定義，提供評測結果之外所需注意的面向，也很值得用戶去思考。

對於如何看待ATT&CK評估計畫，瞭解企業本身的需求也很重要。例如，一位在美國國防單位工作的專家Jonathan Ticknor，他將使用者需求分成三種類型，分別是不成熟的SOC、成熟的SOC與與依賴MSSP的企業，並且各自建立出一套評分標準。

對於ATT&CK評測結果，有專家給出評測之外的不同觀察，例如，市調研究機構Forrester的資深分析師Josh Zelonis，他從警告質量的角度來提醒使用者，因為這是評測結果所不易看出的面向。