Yeni Nesil Tehdit Önleme Platformlarının Değerlendirilmesinde Yeni bir Yaklaşım;
DELTA Testing



“Yeni Nesil Tehdit Önleme Platformunuz ne kadar iyi çalışıyor?” Aralık 2014


ÜRÜN VE TEDARİKÇİLER

Delta Testing, gelişmiş tehdit önleme ürünleri piyasasının önde gelen bazı tedarikçilerinin ürünlerini kendi yöntem bilimini kullanarak yakın zamanda denemeye tabi tutmuştur. Testin uygulandığı tüm tedarikçiler güvenlik sektörünün kilit oyuncuları olup, gelişmiş kötü niyetli yazılımların tespiti ve bunlardan korunma alanına özellikle odaklanmış isimlerdir. AhnLab, Check Point, Fidelis, Cybersecurity Solutions, FireEye, McAfee, Trend Micro ve Tedarikçi A’nın cihazları inceleme kapsamında teste tabi tutulmuşlardır. (Tedarikçi A, lisans sözleşmelerine istinaden isim ve ürün detaylarının işbu raporda yer almamasını Delta Testing’inden talep ederek, isimlerinin gizli kalmasını istemiştir.)
Tüm cihazlar test süreci başlamadan önce yayımlanan en son yazılım sürümü ile güncellenmiş olup cihazlara ilişkin detaylar aşağıda yer almaktadır.

 

Tedarikçi Cihaz(lar) Sürüm(ler)
AhnLab MDS 2000 Version 2.1.2.27 (Build 75yr)
Check Point 2200 Appliance
4600 Appliance
Version R77
Version R77
Fidelis Cybersecurity Solutions XPS Edge 200
XPS Sensor
XPS CommandPost
Version 7.6.5
Version 7.6.5
Version 7.6.5
FireEye NX 7500 Version 7.4.0
McAfee Advanced Threat Defense
Network Security Platform
Version 3.0.2.36.34869
Version 8.0.5.9
Trend Micro Deep Discovery Advisor
Deep Discovery Inspector
Version 2.95.0.1104
Version 3.5
Tedarikçi A Bulut tabanlı Sandbox ile Tedarikçi A Cihazı Version 6.0.0
Tüm ürünler bir VSS vBroker 220 NetWork Tap kullanılarak bağlanmıştır.  
Gerçekleştirilen bu ayrıntılı testin tek amacı, güvenlik ürünlerinin gelişmiş tehditler söz konusu olduğunda, bunları tespit edebilme oranının belirlenmesi olmuştur.


TEST KOŞULLARI VE KURULUM
Testin bu ilk turunda,  müşteri verisinden elden edilen packet captures ve müşteri verileriyle Delta Testing’in vaka yanıt ortaklarından (incident response partners) gelenler, çeşitli tedarikçilere ait gelişmiş kötü niyetli yazılımdan korunma ürünleri üzerinden yeniden replay edilmiştir. Aşağıda yer alan ağ çizeneği, teste ilişkin laboratuar düzeneğini göstermektedir.
Replay tamamlandığında, tüm güvenlik ürünlerinin, paketlerin analizlerini bizzat kendi cihazları üzerinden veya bulut tabanlı sanal ortamlar (sandbox’lar) üzerinden yapabilmeleri için zaman tanınmıştır.
Söz konusu analizler tamamlandıktan sonra, her bir ürünün ara yüzü kontrol edilerek, tespiti gösteren herhangi bir uyarının tetiklenip tetiklenmediğine bakılmıştır. Tespit oranları, toplam tespit sayısının gönderilen kötücül/kötü niyetli (malicious) örneklerin toplam adedine bölünmesi suretiyle hesaplanarak yüzdesel olarak bulunmuştur
Bazı durumlarda, örneğin, tek bir saldırı içerisinde cihaz her bir kötücül öğe için ayrı bir uyarı ürettiyse,  ürünlerin örnek başına çoklu sayıda uyarı üretmesi mümkün olmuştur. Ancak, söz konusu test sürecinde, tespit tek bir yeniden okumayla ilintili tek bir uyarı şeklinde tanımlanmıştır. Örneğin, bir cihaz tek bir yeniden okuma için üç uyarı gösterdiyse, bu söz konusu görüntü (capture) açısından “tespit edildi” olarak işaretlenmiştir
Test esnasında, ürünlerin ilave şebeke yükü veya ürünün yanlış pozitif üretmesine neden olacak bir trafikle denenmesi yönünde herhangi bir girişimde bulunulmamış olup, tüm paket görüntüleri kötü niyetli örneklerden oluşmuştur. Testin bu ilk turunda, hiçbir güvenlik ürününe analiz zamanına ilişkin olarak herhangi bir kısıt getirilmemiştir.

SONUÇLAR

ANALİZ VE TAVSİYELER
Test sonucunda elde edilen tespit oranları, FireEye için hesaplanan % 99.14’lük seviye ile Fidelis için hesaplanan %5.17’lük seviye arasında, oldukça geniş bir bant içerisinde seyretmiştir. Teste tabi tutulan ürünlerin hepsi de küresel anlamda tanınan tedarikçilere aittir. Testi, bilinen kötü niyetli örnekler kullanmak suretiyle çok daha geleneksel bir test şeklinde yürütmüş olsa idik, tedarikçilerin tamamının çok daha iyi performans göstereceklerine ve muhtemelen çok daha eşit düzeyde bir puanlamaya sahip olacaklarına inanıyoruz.
Delta Testing olarak bizim çalışma teorimiz, daha önceden bilinen saldırılar söz konusu olduğunda yaygın tedarikçilerin pek çoğunun aynı kulvarda ve eşdeğer bir noktada olduğudur.  Ancak, daha önceden bilinmeyen kötü niyetli yazılımları kullanmaya daha çok yakınlaşan bir yöntembilim benimsediğiniz vakit, tespit oranları, tedarikçinin kullandığı teknoloji ve tespit yöntemi bazında, çok ciddi sapmalar göstermeye başlamaktadır.  Elbette ki, bu durum güvenlik sektörü açısından kayda değer birtakım önemli sonuçları da beraberinde getirmektedir. Biz bu test esnasında, gerçek örneklerle mümkün olan en çok sayıda gelişmiş saldırı tekrarında bulunmak suretiyle laboratuar ortamındaki bir kurumu bunların tamamına maruz bırakabilme olanağına sahiptik. Bunun akabinde ise, teste tabi tutulan tedarikçilerin hangilerinin mümkün olan en çok sayıda tespitte bulunmaya devam edebileceklerini analiz etme fırsatımız da oldu.
Bu makalede her ne kadar işlenmemiş rakamları raporluyor olsak da, söz konusu ayrıntılı teste ilişkin sonuçlar, yukarıda tanımladığımız üzere, olabildiğince gerçekçi bir teste tabi tutulduklarında, teknoloji çözümlerinin eksik ve yetersiz kaldıkları noktalara da dikkat çekmektedir. Test sonuçlarının, mevcut test yöntemlerinin,  IPS, anti virüs vb. geleneksel çözümlerde kullanılan benzer prensipleri, gelişmiş tehdit tespit sistemleriyle paylaşmak suretiyle, bizzat aynı yöntemleri burada da uygulamaları neticesinde oluşan eksikliklere de işaret ettiği pekâlâ söylenebilir



Testten elde edilen sonuçlar bir başka kanıya varmamıza da olanak tanımıştır. Gerçekleştirdiğimiz testte, tüm tedarikçilerin kaçırdığı tek bir örnek olmuştur-bu olumlu bir durum olmakla beraber ürünlerin hiçbirisi de örneklerin tamamını yakalayamamıştır. Bu bize bir kurumun salt tespit teknolojisine güvenemeyeceğini göstermektedir. Kötü niyetli yazılımlar bu noktanın çok çok ötesine geçmiş bir durumdadır. Bir kurumun “360 derece güvenlik” sağlayabilmesi için iyileştirme (remediation?) ve vaka yanıt (incident repsonse?) süreçlerinin sınıflarının en iyisi olması gerekmektedir zira bazı saldırılar her şart ve koşulda bir yolunu bulup içeri sızacaktır. Kendilerini bu ihtimale hazırlamayan kurumlar bedelini ağır ödeyeceklerdir.   
Sayıları gitgide artan tehditler ve çokça gündeme gelen ihlallerle yakından ilgilenen ana akım medya var oldukça, kurumların güvenlik konusunu iş akışlarının ayrılmaz bir parçası haline getirmeleri ve örneğin farkındalık kazanarak tehdit önleme konusuna çok daha büyük önem vermeleri gerekmektedir. Günümüzde pek çok gelişmiş ısrarcı tehdit (APT) aktörü kimlik hırsızlığı/oltalama (phishing) veya diğer gizli kapaklı yollarla kurumlara erişim sağlayabildiğinden çalışanların da güvenlik konusunda eğitilmesi ayrı bir önem taşımaktadır.
Kurumlar güvenlikle ilgili olarak yapacakları satın almalarda bilgiye dayalı kararlar almalı ve yatırım yaptıkları teknolojinin gerçek dünyadaki gelişmiş saldırıları durdurma konusunda ne noktada olduğunu tam olarak kavramalıdır. Bizler kullandığımız yöntemlerin onlara bu imkanı sağladığına inanıyoruz. Daha önce de belirttiğimiz gibi, tek bir test ne olup bittiğine dair bütünsel bir resim sunmakta yeterli olamadığından, Delta Testing tarafından ilerleyen günlerde yayınlanacak ilave test ve raporları takip etmenizi şiddetle öneririz.

Delta Testing çok net bir amaç taşımaktadır:
Hedefe kilitlenmiş gelişmiş saldırılarla (advanced targeted attacks)mücadele eden güvenlik ürünlerine dair mümkün olan en iyi değerlendirme süreçlerini yaratmak.

Delta Testinğ Hakkında; http://www.deltatestingltd.com/we-are-delta