Purple-Team-Metriken und Reifegrad: die Verteidigung gesteuert verbessern

Purple-Team-Metriken und Reifegrad sind das Thema, mit dem ein Blue Team von der Verbesserung im Bauchgefühl zur gesteuerten Weiterentwicklung kommt. Der Beitrag zu Dwell Time und SOC-Kennzahlen misst, wie schnell erkannt und reagiert wird; dieser Beitrag misst etwas anderes, nämlich wie vollständig die Erkennung ist und wie reif das SOC insgesamt. Die Frage lautet nicht mehr „wie schnell“, sondern „wovon wissen wir überhaupt, dass wir es erkennen würden“. Dieser Beitrag erklärt die drei Ebenen: die Abdeckungsmessung gegen ATT&CK, die Purple-Team-Metriken aus den gemeinsamen Übungen von Rot und Blau, und die Reifegradmodelle, die das ganze SOC bewerten. Zusammen beantworten sie die Frage, wo man steht und was als Nächstes den größten Fortschritt bringt.

Die Abdeckungsmessung: die Landkarte

Die Grundlage jeder Reifebewertung ist zu wissen, gegen welche Angriffstechniken man überhaupt eine Erkennung hat. Das Werkzeug dafür ist die Abbildung der eigenen Erkennungsregeln auf die Techniken von MITRE ATT&CK. Das Ergebnis ist eine Landkarte: Für jede Technik ist eingetragen, ob es eine Erkennung gibt, wie gut sie ist und ob sie getestet wurde. Diese Karte macht die blinden Flecken sichtbar, die Techniken, gegen die man nichts hat, und sie ist die Grundlage der Priorisierung. Ein wichtiger Vorbehalt, der bereits im Beitrag zum Detection Engineering anklingt: Eine Erkennung auf der Karte zu haben bedeutet nicht, dass sie funktioniert. Eine Regel kann existieren und trotzdem versagen, weil die Logquelle fehlt, die Regel schlecht abgestimmt ist oder eine Variante der Technik nicht trifft. Die Abdeckungskarte zeigt, was theoretisch da ist; ob es wirkt, zeigt erst der Test. Und genau deshalb ist die reine Zahl der abgedeckten Techniken eine trügerische Metrik, wenn sie nicht durch Tests untermauert ist.

Die Purple-Team-Metriken: was wirklich erkannt wird

Hier kommt das Purple Teaming ins Spiel: Rot führt eine Technik aus, Blau prüft, ob die Erkennung sie sieht. Aus diesen Übungen entstehen die aussagekräftigsten Metriken, weil sie nicht die Theorie messen, sondern die Wirklichkeit. Die wichtigsten:

• Erkennungsrate. Von den getesteten Techniken: Wie viele hat die Erkennung tatsächlich erkannt? Das ist die ehrlichste Einzelzahl, weil sie die getestete Wirklichkeit misst, nicht die Landkarte.
• Sichtbarkeit gegen Erkennung. Eine Technik kann in den Logs sichtbar sein, ohne dass ein Alarm auslöst. Die Unterscheidung zwischen „wir hätten die Daten gehabt“ und „wir haben alarmiert“ zeigt, wo eine Erkennungsregel fehlt, obwohl die Logquelle da ist. Das sind die am leichtesten zu schließenden Lücken.
• Zeit bis zur Erkennung pro Technik. Nicht nur ob, sondern wie schnell. Eine Technik, die erst nach Stunden auffällt, ist ein anderer Reifegrad als eine, die sofort alarmiert.
• Fortschritt über die Zeit. Dieselben Techniken nach einigen Monaten erneut testen und prüfen, ob die geschlossenen Lücken geschlossen bleiben und neue erkannt werden. Der Trend ist auch hier wichtiger als der einzelne Wert.

Diese Metriken entstehen aus wiederholbaren Tests, etwa mit Atomic Red Team oder einer vollständigen Adversary Emulation, und sie schließen den Kreis zum Detection Engineering: Jede erkannte Lücke wird zu einer neuen oder verbesserten Regel, und der nächste Test prüft, ob sie greift. Das ist der Motor der kontinuierlichen Verbesserung.

Reifegradmodelle: das ganze SOC bewerten

Abdeckung und Erkennungsrate messen die Erkennung. Ein Reifegradmodell geht weiter und bewertet das SOC über alle seine Fähigkeiten hinweg. Das im deutschsprachigen Raum wie international verbreitetste ist das SOC-CMM (SOC Capability Maturity Model), das ein SOC über fünf Bereiche bewertet: Menschen, Prozesse, Technik, Dienste und die Frage, wie gut all das zusammenwirkt. Der Gedanke dahinter: Ein SOC ist nur so gut wie sein schwächster Bereich. Die beste Technik nützt wenig, wenn die Prozesse fehlen oder die Menschen überlastet sind; die besten Analysten können ohne die richtigen Logquellen nichts sehen. Ein Reifegradmodell macht diese Ungleichgewichte sichtbar und zeigt, welcher Bereich als Nächstes Aufmerksamkeit braucht. Wichtig ist die richtige Haltung dazu: Ein Reifegrad ist eine Standortbestimmung, kein Ziel an sich. Nicht jedes SOC muss in jedem Bereich die höchste Stufe erreichen; entscheidend ist, dass der Reifegrad zum Risiko und zum Auftrag passt. Ein kleines internes Team hat andere sinnvolle Ziele als ein großer MSSP.

Wie man die drei Ebenen nutzt

1. Mit der Abdeckungskarte beginnen. Die eigenen Erkennungen auf ATT&CK abbilden, um die blinden Flecken zu sehen. Das ist der Ausgangspunkt und zeigt sofort, wo am meisten fehlt.
2. Die Abdeckung durch Tests prüfen. Nicht der Zahl auf der Karte trauen, sondern die wichtigsten Techniken im Purple-Team-Ansatz testen. Erst der Test verwandelt eine vermutete in eine belegte Abdeckung.
3. Nach Relevanz priorisieren. Nicht jede Technik ist gleich wichtig. Die Techniken der Angreifergruppen, die für die eigene Branche relevant sind, und die häufigsten Angriffswege kommen zuerst. Die Threat Intelligence liefert diese Priorisierung.
4. Den Reifegrad regelmäßig bestimmen. Einmal im Jahr eine Reifegradbewertung, um die Entwicklung über alle Bereiche zu sehen und die nächste Investition zu begründen. Der Reifegrad ist auch das Argument gegenüber der Leitung, warum ein Bereich Ressourcen braucht.
5. Den Kreis schließen. Aus jeder gefundenen Lücke wird eine Maßnahme, die Maßnahme wird umgesetzt, und der nächste Test prüft den Erfolg. Ohne diesen geschlossenen Kreis sind die Metriken nur Zahlen.

Die typischen Fehler

• Der Abdeckungskarte blind vertrauen. Eine hohe Abdeckung auf dem Papier verleitet zu Selbstzufriedenheit. Ohne Tests sagt sie wenig, weil eine Regel existieren und trotzdem versagen kann.
• Vollständigkeit anstreben. Alle Techniken abdecken zu wollen ist weder möglich noch sinnvoll. Die Priorisierung nach Relevanz schlägt die Jagd nach hundert Prozent.
• Den Reifegrad zum Selbstzweck machen. Eine hohe Stufe zu erreichen ist kein Ziel an sich. Der Reifegrad dient der Standortbestimmung und der Priorisierung, nicht dem Zertifikat an der Wand.
• Messen ohne zu handeln. Der häufigste Fehler: viel messen, wenig ändern. Eine Metrik, aus der keine Maßnahme folgt, ist verschwendete Mühe. Der geschlossene Kreis ist der Sinn der ganzen Übung.

Fazit

Purple-Team-Metriken und Reifegradmodelle machen aus dem Bauchgefühl eine Standortbestimmung. Die Abdeckungskarte zeigt, gegen welche Techniken man eine Erkennung hat, die Purple-Team-Metriken zeigen, welche davon wirklich greifen, und ein Reifegradmodell wie das SOC-CMM zeigt, wie reif das ganze SOC über Menschen, Prozesse und Technik hinweg ist. Zusammen beantworten sie die Frage, wo man steht und was als Nächstes den größten Fortschritt bringt. Der Schlüssel ist, die Zahlen nicht als Note, sondern als Diagnose zu verstehen und aus jeder gefundenen Lücke eine Maßnahme zu machen. Für ein Blue Team ist diese gesteuerte Weiterentwicklung der Weg von der reaktiven Alarmbearbeitung zur bewussten Reifung, und sie ist zugleich das beste Argument gegenüber der Leitung, weil sie den Fortschritt und den nächsten nötigen Schritt belegbar macht.