QM-Handbuch

Qualität ist kein Zufall sondern essentiell. 60 – 80% der Forschungsergebnisse in den Biowissenschaften sind falsch. Seit einigen Jahren spricht man in der Wissenschaft von der Replikationskrise, weil sich die Ergebnisse wichtiger Studien bei Wiederholung scheinbar in Luft auflösen. Die Zeitschrift „Nature“ titelte in einem Kommentar „No publication without confirmation„. Eine kleine Auswahl an Quellen findet sich am Ende dieser Seite. Die Deutsche Forschungsgemeinschaft als einer der Hauptfinanziers von Forschung in Deutschland findet relativierende/lavierende Anmerkungen in ihrer Stellungnahme zu dem Problemkreis. Und ja: Beispiele für nichtreplizierbare Forschung, die sich auf Beobachtung stützen muss, gibt es zum Beispiel mit den Gravitationswellen, aber auch in dieser Forschung sind die Messgeräte/-methoden mehr als nur gut überprüft. Fakt ist aber leider: Es gibt kein auch nur annähernd funktionierendes QM-System in 90% der Forschungseinrichtungen, deren Forschung diese erheblichen Mittel verschlingt. Schon eine bescheidene Zielsetzung „50% der Ergebnisse sollen richtig und wiederholbar sein“ würde zu enormen Effizienzsteigerungen führen, die einer Manageraussage „Double in five“ gleich käme, anzustreben, aber innerhalb der Frist (5 Jahre) wohl kaum zu erreichen wäre.

Validierung, Verifikation, Rückführung, Messunsicherheit sind weithin entbehrte Praxis. „Versuchsplanung“ wird noch immer oft am Ende von Messungen mit Blick auf „Ergebnisse“ und adhoc-Statistik nachgeschoben.

Gemeinlabore sind an belastbaren, wahren Erkenntnissen interessiert. Titelsucht ist bei Makern eher unüblich. Abweichungen von Erwartungen stimmulieren wechselseitigen Austausch und Ursachensuche. Auch der Makeransatz schützt vor Fehlern nicht. Fehler und Fehlinterpretationen lassen sich durch einen systematischen Ansatz minimieren. Haftet „Qualitätssicherung“ in Führungsetagen von Betrieben oft eine Konnotation von „umständlich“, „kostentreibend“ an, so stellen sich die Fakten aus Sicht von freien Forschern & Entwicklern genau entgegengesetzt dar. Jedes Ergebnis ist nicht nur dokumentiert, es lässt sich auch bis in die Details rückverfolgen. Fehlern lassen sich schnell finden und beheben.

So schlimm muss es nicht kommen, aber mit Probenröhrchen gefüllte Tiefkühlschränke, deren Probenbezeichnung von 1 bis über 100 verlaufen und allenfalls durch Farbgebung und Unter-/Überstrich unterscheidbar sind nicht seltene triste Realität. Wie wäre es, wenn jede Probe inklusive Umgebinde so beschriftet wäre, dass sie auf Versuch, Versuchsansatz, Probennahme … bis zur ausführenden Person rückverfolgt werden könnte? Keine falschen Verdächtigungen mehr bei Chaos im Kühlschrank.
Glaube mag Berge versetzen. Der Glaube an das „richtige“ Ergebnis, nur weil es digital mit Nachkommastellen angezeigt wird, erscheint fragwürdig. Die Wiederholung von Messungen bringt es an den Tag: Streuung ist normal! Für kompetente Beurteilungen ist die Ermittlung der Messunsicherheit unerlässlich. Nichtberücksichtigung des Unsicherheitsanteils aus der Probenahme ist nicht gerade ein Ausweis von Kompetenz.
Die Verwendung von Programmen zur Auswertung von Messdaten schützt vor schlimmen Fehlern nicht. Im Gegenteil: Da viele Rechnungen intrasparent ablaufen fehlt die Überschlagsprüfung / Sinnhaftigkeitsprüfung von Zwischenergebnissen. Akkreditierte Softwareschmieden und große Softwarehäuser demonstrieren in zahlreichen Updates ihrer Programme, dass Fehlberechnungen Alltag sind. Ohne Plausibilitätsprüfung oder Gegenrechnung mittels unabhängiger Zweitsoftware taugt keine „bahnbrechende“ Entdeckung für eine Veröffentlichung.

Über diese und viele weitere Aspekte, die Ergebnisermittlung und -beurteilung beeinflussen können machen sich kluge Köpfe seit Jahrzehnten Gedanken und habe die Ergebnisse ihrer Bemühungen in Papier gegossen und nicht jede ergebnisermittelnde Person kann es sich leisten Jahrzehnte zuzubringen bis mögliche Fehler minimiert sind.

Qualität gedeiht nur, wenn sie gelebt wird. Als starres Gerüst oder Korsett behindert sie die Arbeit. Normen und Richtlinien sollen die Auffindung richtiger / geeigneter Strukturen erleichtern und nicht behindern. Im Rahmen diese Qualitätsmanagementhandbuchs sinngemäß eingebrachte Normen und Richtlinien sind:

  • DIN 17025:2017
  • RD-Guide
  • GLP
  • GMP
  • Rili-BÄk

in der genannten Reihenfolge und Gewichtung.

Das in den jeweiligen Normen und Richtlinien verwendete Vokabular orientiert sich an der VIM3.

Formalien stellen ein Werkzeug zur Umsetzung eines Qualitätssystems dar, die die Beteiligten konform verwenden, um so Widersprüche und Lücken zu vermeiden. Dieses Gerüst, diese Werkzeuge dienen der Ermittlung und Bewertung von Ergebnissen, die mit Prüfmethoden gewonnen wurden. Sie sichern beispielsweise die Vollständigkeit der Daten bei ihrer Erhebung ab. Nur der RD-Guide (Research & Development Guide) sieht auch die für Forschung notwendige Freiheit zur Versuchsplanung in einem Umfeld vor, das keine Vergleichbarkeit kennt. Gerade in diesem Umfeld helfen etablierte Methoden zur Auswertung von Daten, zur Validierung einer ganzen Methode, zur Verifizierung von Teilen von Methoden bei der sach- und zielgerechten Bewertung. Den „Werkzeugkoffer“ füllen beispielsweise DIN-Normen wie die DIN 32645 der Chemischen Analytik -Nachweis-, Erfassungs- und Bestimmungsgrenze oder die Anleitungen wie „Guidance on Good Cell Culture Practice“, die es in verschiedenen Formulierungen gibt (Fremdbefruchtung durch Anleitungen wie „Accredition for Microbiological Laboratories“ eingeschlossen). Zum Glück sind die meisten im Kontext dieses Handbuch zitierten Handreichungen frei und kostenlos, aber zugleich bewährt in tausenden von Einrichtungen.

Probleme lösen und nicht meckern. Auf diesen Seiten finden sich Texte und Quellen, die Aspekte und Lösungsstrategien mit dem Ziel belastbarer und richtiger Ergebnisse beschreiben sowie einen Text-Vorschlag, wie dies in einem eigenen Qualitätsmanagementhandbuch aussehen könnte.

Quellen:

„Why Most Published Research Findings Are False“, John P. A. Ioannidis,
Ioannidis JPA (2005) Why Most Published Research Findings Are False. PLoS Med 2(8): e124. https://doi.org/10.1371/journal.pmed.0020124
https://doi.org/10.1371/journal.pmed.0020124

Laborjounal: „Nervige Replikationskrise“, Heft 9, 2016
https://www.laborjournal.de/rubric/essays/essays2016/e16_09.php

Deutschlandfunk: „Signifikant oder nicht Wenn Studien einem zweiten Blick nicht standhalten“ Arndt Reuning und Anneke Meyer 20.01.2019
https://www.deutschlandfunk.de/signifikant-oder-nicht-wenn-studien-einem-zweiten-blick.740.de.html?dram:article_id=438216

https://de.wikipedia.org/wiki/Replikation_(Wissenschaft)

„OpenScince Center der LMU wird eröffnet“ Ankündigung der Ludwig-Maximilians-Universität München 2.5.2018
https://www.uni-muenchen.de/aktuelles/news/2018/open_science_center.html

„Reproducibility of Scientific Results“ First published Mon Dec 3, 2018 auf den Seiten der Stanford Universität.
https://plato.stanford.edu/entries/scientific-reproducibility/

Ergänzung:

Die vorliegenden Texte befinden sich in unterschiedlichen Graden der Fertigstellung. Abzulesen an den Revisionsnummern. Von akkreditierenden Einrichtungen für eine Prüfeinrichtung akzeptierte Texte tragen Revisionsnummern >= 1. Die meisten Texte bedürfen derzeit noch ergänzender Formulare, Verfahrensanweisungen und Verlinkungen und besitzen einen hohen Reifegrad. Dennnoch kann kein Text „so, wie er ist“ als Text für das eigene Qualitätsmanagement übernommen werden. Mindestens das Logo im Kopf, der Name der Prüfeinrichtung, Anpassungen an die interne Struktur o. Ä. sind vorzunehmen. Bei Prüfmethoden gilt es zudem die Daten aus der eigenen Verifikation einzupflegen.

An keiner Stelle und für keinen Text übernehmen die Autoren eine Garantie für die Umsetzbarkeit im fremden Kontext. Wir bemühen uns um Richtigkeit, Umsetzbarkeit und Eignung, können / wollen die Möglichkeit von Fehlern jedoch nicht in Abrede stellen und freuen uns, auf solche aufmerksam gemacht zu werden.