Achtung Kontrollverlust!
Wie wäre es, beim nächsten Gutachten oder bei der nächsten Ergebnispräsentation ein oder zwei hässliche Fehler einzubauen, die nur bei sorgfältigem und kompetenten Korrekturlesen auffallen? Warum? Wer möchte sich nicht der Qualität der Kontrolleure sicher sein? Was nutzt eine Kontrolle, die „nur“ formale Fehler (doppelte Absätze, Rechtschreibung, fehlende Zitation) zutage fördert, wenn es in Gutachten und Forschung doch eigentlich vor allem um die Richtigkeit von Inhalten gehen sollte?
Im Rahmen der Erhebung des Risikostatus wurden mehrere akkreditierte Prüfeinrichtungen gebeten, mögliche Risiken für die jeweilige Einrichtung knapp zu formulieren und in einem Zettelkasten zur gemeinschaftlichen Auswertung zu sammeln. Während einige Einrichtungen den „Zettelkasten“ den Buchstaben nach umsetzten, erstellten andere ein Tabellenkalkulationsblatt mit zusätzlichen Feldern für weitere Informationen und Einschätzungen. Es sollten Risiken von Elementarschäden ebenso einfließen wie Risiken aus EDV, Kommunikation, Unabhängigkeit etc. Jede Einrichtung formulierte anders und in der anschließenden Vorbewertung ergaben sich unterschiedliche Impact-Faktoren. Gab es schon einen Brand im Gebäude, war die Sicherung gegen Einbruch/Diebstahl auf keinem aktuellen Stand, wirkte sich das auf die Einschätzung der Eintrittswahrscheinlichkeit oder das Ausmaß an Wirkung für den Betrieb aus. Näheres beschreibt die in den nächsten Tagen auf dieser Seite erscheinende Verfahrensanweisung.
Richtigkeit und Vollständigkeit: Das Funktionieren im Focus
Richtigkeit und Vollständigkeit bestimmen Nutzen und Qualität von Prüfberichten. Zur Sicherung von Vollständigkeit und Richtigkeit implementieren Prüfeinrichtungen oft das Vieraugenprinzip. Akkreditierung kann in diesem Sinn als erweitertes Vieraugensystem mit stichprobenhafter Verifikation betrachtet werden.
Formale Richtigkeit und Vollständigkeit:
Sind die richtigen Rohdaten verwendet worden (Aktualität, Quelle, Art …)? Stimmen die Bezüge? Vollständigkeit? Würdigung / Suffizienz / Quelle von Daten? Messbericht? Rückführung? Rückverfolgbarkeit …
Gründliche Durchsicht der Dokumentation unter Zuhilfenahme aller Aufzeichnungen zur Sicherung der Rückverfolgbarkeit und ein aufmerksames Studium des Berichts unter Zuhilfenahme der maßgeblichen Verfahrensanweisungen, eventuell Gebrauch von Checklisten kann die Richtigkeit und formale Vollständigkeit der Bezüge auf Rohdaten sowie formale Korrektheit von Prüfberichten / Gutachten sichern.
Inhaltliche Richtigkeit und Vollständigkeit:
Stimmen die Grundannahmen (Modellbildung, Auftragsbezug, Eignung und Aktualität der verwendeten Normen, Richtlinien, Methoden ….)? Wurden die Vorgaben vollständig umgesetzt? Sind Annahmen, Versuchsplanung und Ergebnisse plausibel ?
Auch formal richtige und vollständige Prüfungen können zu falschen Ergebnissen, Schlussfolgerungen und Bewertungen kommen. Ursache könnte zum Beispiel die Nutzung einer veralteten Prüfmethode, eine unvollständige und falsche Anwendung einer Methode sein.
Das Auffinden des Fehlers ist nur wahrscheinlich, wenn sich die überprüfende Instanz auf dem aktuellen Stand der Technik befindet und die Prüfmethode einsetzen und deren Umsetzung beurteilen kann, also wenigstens über eine Kompetenz verfügt, die der zu überprüfenden Instanz entspricht.
Verifikation des Vieraugenprinzips
Die Leitung einer Prüfeinrichtung / eines Labors führt ein zumindest partielles Vieraugenprinzip ein, um die Richtigkeit und Vollständigkeit der Berichte von Prüfungen zu gewährleisten. Sie berücksichtigt die stichprobenartigen Prüfungen von Vollständigkeit und Richtigkeit von Prüfberichten, wie sie in den Berichten von akkreditierenden Einrichtungen (z. B. DAkkS) dargelegt sind.
Fehler in Prüfberichten und Prüfungen, wie sie durch Beschwerden oder Vergleichsuntersuchungen zutage treten können, belegen die Notwendigkeit der Verifikation (Kontrolle) von Prüfungen, auch wenn diese exemplarisch durchgeführt werden. Interne wie externe Audits sind Teil dieses geplanten Verifikationsmechanismuses. Wenn es Fehler in Prüfungen/Prüfberichte geben kann, können auch Überprüfungen dieser Prüfungen/Prüfberichte fehlerhaft durchgeführt werden. Fehler, die sowohl die Erstellung als auch die Verifikation betreffen, könnten gemeinsame Ursachen haben, wenn Prüfung und Verifikation systemintern erfolgen.
Vorstellbare Ursachen wären
- zeitliche Überlastung,
- Mängel im Kompetenzprofil, wenn verifizierende Person nicht entsprechende aktuelle Erfahrung besitzt,
- mangelnde Neigung Prüfarbeiten bestimmter Prüfender genau zu inspizieren,
- systematische Fehler aufgrund mangelnder Beherrschung der Prüfmethode,
- …..
Fatal wäre es, wenn Fehler zu kostenintensiven juristischen Auseinandersetzungen führten. Für die Leitung einer Prüfeinrichtung gilt deshalb: Nur die verifizierte Funktion, Kompetenz und Qualität von interner wie externer Qualitätskontrolle rechtfertigt Vertrauen in Prüfungs- und Begutachtungstätigkeiten. Ziel und Umfang der Verifikation sollen bijektiv und funktional sein.
Konsequent und folgerichtig handeln Leitungen von Prüfeinrichtungen und Prüfleitungen somit, wenn sie den Verifikationsprozess verifizieren. Zur raschen, transparenten und kosteneffizienten Umsetzung haben sie die Möglichkeit, prüfendes, berichtendes oder entwickelndes Personal (Technische Mitarbeiter, Prüfer, Prüfleitung …) beauftragen, gezielt, planvoll und dokumentiert Fehler in eine Einzelprüfung zu implementieren, die mit hoher Wahrscheinlichkeit einer Überprüfung im Sinne des Vieraugenprinzips unterliegt. Selbstverständlich ist dabei zu gewährleisten, dass die so entstehende fehlerhafte Prüftätigkeit nicht in einen Bericht bis zum Kunden gelangt, sondern zuvor korrigiert wird. Im Idealfall kommt es zur Auslösung eines Korrekturprozesses. Diese Auslösung dokumentiert die Suffizienz der getroffenen Maßnahmen zur Verifikation von Prüfberichten und sollte in keinem Fall als Fehler in den Fehlerbestand eingehen, sondern der Prüfleitung die Gewähr geben, dass die implementierten Prozesse hinreichend funktionieren. Das Ergebnis dieser Maßnahme gehört selbstverständlich in die Managementbewertung, aber sollte nicht erst nach Erstellung der Managementbewertung sondern zeitnah innerhalb der Prüfeinrichtung berichtet werden, um gegebenenfalls aus der Fehlerimplementation keine falschen Maßnahmen entstehen zu lassen.
Der Bericht vom bestandenen Test (Fehler wurde aufgedeckt, korrigiert) dient:
- der Beruhigung möglicherweise in Folge der Aufdeckung entstandener Unruhe,
- dem Finalisieren möglicherweise ergriffener, aber nicht erforderlicher Maßnahmen,
- der Rehabilitation einer Person und
- Begrenzung der Kosten der Kosten des Verifikationsprozesses.
Umgang und Nutzen externer Verifikationen
Nicht nur nach DIN 17025 sind akkreditierte Prüfeinrichungen gehalten, Ergebnisse externer Überprüfungen / Audits / Begutachtungen für ihr Chancen- und Risikomanagement zu nutzen und die Ergebnisse in Managementbewertungen zu dokumentieren. Akkreditierungsbegehungen erzeugen Kosten. Leitungen von Prüfeinrichtungen sind der kosteneffizient verpflichtet. Weiterhin erfolgen externe Überprüfungen / Verifikationen im Rahmen von Teilnahmen an Laborvergleichsuntersuchungen.
Um den Wert externer Verifizierungen in die Beurteilung im Rahmen des Risikomanagemens und der Beurteilung möglicher Prozessrisiken abschätzen und angemessen gewichten zu können, ist auch die externe Verifikation zu verifizieren.
Verifikation externer Audits:
Im Zuge der Verifikation eines externen Verifikations / Begutachtungsprozesses ist zwar Diplomatie angesagt, bei vollumfänglicher Dokumentation von Planung und Durchführung des Verifikationsprozesses sollten der Prüfeinrichtung selbst jedoch keine negativen Folgen entstehen. Eine Nichtbeanstandung begründet sich vermutlich nicht aus mangelnder Komptetenz auf Seiten der externen Überprüfung, sie betont möglicherweise den Stichprobencharakter. In der Konsequenz gibt die Nichtaufdeckung einen Hinweis darauf, dass auch andere, tatsächliche Fehler bei externen Überprüfungen übersehen werden und somit die internen Bemühungen zur Sicherung von Qualität zu verstärken sind. Bei einem vermuteten Fehler 2. Art ist der präzise Kontext zu hinterfragen. Auch Gutachter können Fehler machen. Diplomatie und Vergleichsfälle, Kompetenzhinterfragung und ähnliche Maßnahmen führen in ein Spannungs(Minen)feld, aber nicht oder nur auf Umwegen zum angestrebten, nutzbaren Verifikationsergebnis im gegebenen Kontext.
Lösungsorientierung! Die Aktualisierung der relativen Gewichtung von Beanstandungen und Nichtbeanstandungen durch die externe Überprüfung ist ein interner Vorgang und bleibt der Leitung der Einrichtung vorbehalten. Die Möglichkeit eigener, falscher Sehweise besteht und muss kritisch hinterfragt werden.