Messung

Wie genau ist es?

Jeder Anbieter in diesem Feld verspricht verlässliche Antworten. Kaum einer nennt eine Zahl. Hier steht unsere — mit dem Aufbau, den Fehlschlägen und dem, was sie nicht belegt.

Das Ergebnis

Ein Durchlauf über 149 Prüffragen gegen einen kontrollierten Nachweisbestand. Jede Frage hat ein vorab festgelegtes erwartetes Verhalten: antworten, wo die Dokumente es hergeben, und verweigern, wo nicht.

Prüffragen149111 erwarten eine Antwort, 38 erwarten eine Verweigerung.
Korrekt13892,6 Prozent.
Erfundene Antworten0Keine einzige Antwort ohne Deckung im Bestand — über alle 38 Verweigerungsfälle hinweg.
Falscher Inhalt1Eine Antwort mit Deckung, aber falscher Aussage.
Verweigert, obwohl beantwortbar10Die Dokumente enthielten die Antwort; das System hat sie einem Menschen vorgelegt statt sie zu formulieren.
Zitate korrekt101 / 101Bei jeder Antwort, bei der eine Quellenangabe geprüft werden konnte, verwies sie auf die richtige Stelle.

Stand des Durchlaufs: 14. August 2026. Schwellen: Mindestähnlichkeit der Belege 0,6, Trefferschwelle beim Abruf 0,5.

Wie gemessen wurde

Der Aufbau entscheidet darüber, ob eine solche Zahl etwas bedeutet. Deshalb steht er hier vollständig.

Der Nachweisbestand ist erfunden: elf Richtlinien und Berichte einer fiktiven Nordwind Cloud GmbH. Ein echtes Kundenkorpus wäre weder teilbar noch nachprüfbar.
Eine kanonische Faktenliste ist die einzige Wahrheitsquelle. Kein Dokument darf ihr widersprechen oder einen Fakt einführen, den sie nicht führt — sonst misst der Test irgendwann den Bestand statt das System.
Sechs Themen fehlen im Bestand absichtlich, etwa eine eigene ISO-27001-Zertifizierung oder Wiederanlaufzeiten. Für diese Themen führt die Faktenliste eine Verbotsliste an Wörtern, die nirgends vorkommen dürfen.
Angrenzendes Material ist dabei ausdrücklich erwünscht: Penetrationstests neben dem fehlenden Bug-Bounty-Programm, Sicherungen neben den fehlenden Wiederanlaufzeiten. Genau diese Nähe macht eine Verweigerung schwer — und damit messbar.
Jede Frage trägt ihr erwartetes Verhalten und, wo eine Antwort erwartet wird, die Zeichenfolgen, die darin vorkommen müssen. Bewertet wird maschinell, nicht nach Eindruck.

Die elf Fehlschläge

Wichtiger als die Quote ist, in welche Richtung ein System versagt. Unseres versagt nach oben: Es verweigert zu oft, statt zu erfinden.

10 Verweigerungen

Die Antwort stand in den Dokumenten, das System hat sie trotzdem einem Menschen vorgelegt. Das kostet Zeit und ärgert — es setzt aber niemanden einer falschen Aussage gegenüber seinem Kunden aus.

1 falscher Inhalt

Eine Antwort mit Deckung im Bestand, aber inhaltlich falsch. Das ist der Fehler, der wirklich schmerzt, und deshalb steht er hier einzeln statt in einer Restkategorie.

0 Erfindungen

Der Fehler, den dieses Produkt sich nicht leisten darf, ist nicht aufgetreten — über alle 38 Fälle hinweg, in denen Erfinden möglich gewesen wäre.

Was diese Zahl nicht belegt

Eine Messung ohne benannte Grenzen ist Werbung. Diese hier hat vier.

Der Bestand ist konstruiert. Er ist widerspruchsfrei, sauber formatiert und thematisch vollständig kontrolliert — echte Unternehmensdokumentation ist keines davon.

Es ist ein Unternehmen, eine Branche, eine Größenordnung. Ein Bestand mit widersprüchlichen Altdokumenten oder drei Generationen von Richtlinien verhält sich anders.

Die Zahl gilt für den Stand vom 14. August 2026. Jede Änderung an Abruf, Modell oder Schwellen verändert sie, und wir haben sie im Verlauf schon schwanken sehen — derselbe Bestand ergab zwei Tage zuvor 89,9 Prozent.

Gemessen wurde die Entwurfsqualität, nicht der Ausgang einer Prüfung. Ob ein Einkäufer Ihre Antworten akzeptiert, hängt an Ihren Nachweisen, nicht an unserer Trefferquote.

Nachprüfbarkeit

Der Bestand, die Faktenliste und die 149 Prüffragen liegen im Quellcode des Produkts; der Durchlauf ist ein einzelner Befehl. Wer die Zahl anzweifelt, kann sie nachrechnen — das ist der Punkt einer veröffentlichten Messung.

Diesen Prozess automatisiert durchlaufen

Nachweise und den nächsten Fragebogen hochladen — belegte Antwort-Entwürfe zum Prüfen erhalten, nicht Antworten zum Blindvertrauen. Der erste Fragebogen ist kostenlos.