Laborvergleiche richtig organisieren

Der Blog-Beitrag soll eine Anleitung für die Organisation von Laborvergleichen zur Verfügung stellen. Auf Basis des Leitfadens der European Accreditation EA-4/21 INF werden hier die wesentlichen Aspekte der Laborvergleichsversuche behandelt, sowie der Ablauf von der Planung über die Durchführung und die Bewertung skizziert.

Wesentliche Aspekte von Laborvergleichen

Um die Validität der Messergebnisse sicherzustellen, ist eine regelmäßige unabhängige Bewertung der technischen Performance eines Laboratoriums notwendig. Eines der möglichen Werkzeuge zur Bewertung der Ergebnisvalidität ist der Laborvergleich.

Die neue 17025 schreibt im Normkapitel 7.7.2, dass das Labor Qualitätssicherungsmaßnahmen für die Überwachung der Messergebnisse etablieren muss. Qualitätssicherungsmaßnahmen sind beispielsweise Eignungsprüfungen oder Laborvergleiche. Die Norm 15189 fordert in 5.6.3, dass das Labor seine Leistungen durch Vergleiche mit anderen Laboratorien monitoren soll, und dies unter der Voraussetzung, dass es möglich und angemessen ist. Auch die 15189 schlägt dazu Laborvergleiche und Eignungsprüfungen vor. Falls Inspektionsstellen Messungen durchführen, müssen sie die relevanten Anforderungen der 17025 für diese Messungen einhalten.

Ganz allgemein sind unter dem Begriff Laboratorien alle Unternehmen zu verstehen, die Messungen durchführen.

Für viele Prüfarten existieren am Markt geeignete Eignungsprüfungen (aka Ringversuche), allerdings nicht für alle Prüfmethoden bzw. Prüfarten. Ein fehlender Ringversuch ist allerdings auch ein fehlender Puzzleteil in der Validierung einer Prüfmethode. Eine Möglichkeit, um trotzdem eine vollständige Validierung einer Prüfmethode durchführen zu können, ist ein Laborvergleich.

In diesem Fall könnte ein Laboratorium oder mehrere Laboratorien einen Laborvergleich untereinander organisieren.

Laborvergleich vs. Eignungsprüfung

Was ist der große Unterschied zwischen einem Laborvergleich und einer Eignungsprüfung:

1. Anbieter von Eignungsprüfungen müssen kompetent nach ISO 17043 arbeiten.
2. Eignungsprüfungen werden mit vielen Teilnehmern (mehr als 7) durchgeführt.
3. Laborgleiche werden von einem oder mehreren Laboratorien organisiert.
4. Die Teilnehmeranzahl bei Laborvergleichen ist auf wenige Teilnehmer beschränkt.

Grundsätzlich werden identische Proben mit identischen Verfahren oder mit unterschiedlichen Verfahren untersucht. Der Vergleich der Ergebnisse erlaubt es, Aussagen über die Messgenauigkeit generell bzw. über die Messqualität der beteiligten Laboratorien zu machen.

Natürlich kann ein Laborvergleich auch nach den Anforderungen der 17043 durchgeführt werden. Das hätte auch den Vorteil einer höheren Anerkennung der Qualität der Messergebnisse.

Ich möchte gerne auf die Begrifflichkeiten näher eingehen und nachfolgend die Definitionen aus 17043 zitieren:

• Vergleiche zwischen Laboratorien: Organisation, Durchführung und Bewertung von Messungen oder Prüfungen gleicher oder gleichartiger Gegenstände durch zwei oder mehrere Laboratorien nach vorgegebenen Bedingungen

• Vergleiche innerhalb eines Laboratoriums: Organisation, Durchführung und Bewertung von Messungen oder Prüfungen gleicher oder gleichartiger Gegenstände innerhalb desselben Laboratoriums nach vorgegebenen Bedingungen 

• Eignungsprüfung: Bewertung der Leistung eines Teilnehmers nach zuvor aufgestellten Kriterien durch Vergleiche zwischen Laboratorien

Unter welchen Bedingungen ist es sinnvoll, einen Laborvergleich zu organisieren bzw. unter welchen Bedingungen werden akzeptable Kenntnisse über die Datenqualität erreicht?

Bei Eignungsprüfungen mit einer hohen Teilnehmeranzahl ist es sehr gut möglich statistische Auswertungen anzusetzen und über diverse Kennzahlen, wie den z-score oder eine Standardabweichung, Aussagen über die Kompetenz eines Teilnehmers zu treffen. Je geringer die Anzahl an Teilnehmern ist, desto weniger aussagekräftig werden statistische Kennzahlen.

Ich möchte gerne drei Szenarien skizzieren:

1) Der Organisator des Laborvergleichs verwendet einen bestätigten Wert basierend auf einer externen Referenz
Im Szenario 1 ist es relativ einfach eine Aussage über die Teilnehmer-Ergebnisse zu treffen. Wenn die Ergebnisse der Teilnehmer und der Sollwert des zertifizierten Referenzmaterials oder eines Standards oder einer Vergleichsmethode etc. vorhanden sind, können z-score und die Standardabweichung bestimmt werden.

2) Der Organisator verwendet einen bestätigten Wert auf Basis der Ergebnisse der Teilnehmer
Wenn kein Sollwert einer Referenz vorhanden ist, sollten quantitative Bewertungen der Ergebnisse nicht durchgeführt werden. Außer

1. die Teilnehmer haben eine große Erfahrung und können die Kompetenz der Genauigkeit für den speziellen Typ der Messung nachweisen. Ein Nachweis der Kompetenz kann durch mehrere Teilnahmen an ähnlichen Laborvergleichen ermittelt werden.
2. einer der Teilnehmer arbeitet mit einer Referenzmethode und einer genaueren Messeinrichtung auf höherem metrologischem Niveau.

3) Der Organisator verwendet keinen bestätigten Wert
Wenn keine externe Referenz verfügbar ist und keine bestätigten Werte aus dem Datensatz berechnet werden können, ist es immer noch möglich, eine individuelle Bewertung durchzuführen. Beispielsweise können die Ergebnisse der Teilnehmer grafisch dargestellt werden und in einer gemeinsamen Besprechung diskutiert werden. Die Ergebnisse müssen dokumentiert werden. Als wichtige Punkte werden die Reproduzierbarkeit, die Wiederholbarkeit und die berichtete Messunsicherheit der Teilnehmer angesehen.

Wenn Eignungsprüfungen organisiert werden oder wenn an Eignungsprüfungen teilgenommen wird, muss auch die Organisation bzw. die Teilnahme bewertet werden. Ebenso verhält es sich mit der Organisation und der Teilnahme an kleineren Laborvergleichen. Üblicherweise werden die Teilnahmen an Ringversuchen anhand der Ergebnisqualität bewertet. Wenn aber die Ergebnisse von Laborvergleichen bewertet werden, ist es zusätzlich notwendig zu überprüfen, ob der Laborvergleich in Übereinstimmung mit den relevanten Anforderungen der 17043 durchgeführt wurde. Allerdings wird die Bewertung unterschiedlich sein, je nachdem ob das Labor Organisator und Teilnehmer am Laborvergleich war, oder ob das Labor nur Teilnehmer am Laborvergleich war.

Im ersteren Fall muss auch der Plan und der Bericht gemeinsam mit der Organisation der Eignungsprüfung evaluiert werden, im zweiten Fall muss das teilnehmende Labor die Details der Laborvergleiche und wie diese Ergebnisse evaluiert wurden und welche Maßnahmen getroffen wurden bewerten. Üblicherweise werden nicht zufriedenstellende Ergebnisse als nicht konforme Arbeiten behandelt und dementsprechende Korrekturmaßnahmen gesetzt.

Welche Anforderungen treffen auf die Organisation von kleinen Laborvergleichen zu? Dazu sind einige Anforderungen der 17025 heranzuziehen:

Die Organisation von Laborvergleichen muss in das Managementsystem des akkreditierten Labors eingebunden sein. Dokumente und Aufzeichnungen bezüglich der Organisation des Laborvergleichs müssen den Anforderungen der Dokumentenlenkung und Lenkung von Aufzeichnungen folgen. Wenn das Laboratorium den Laborvergleich nicht alleine organisiert, sondern mit einem zweiten Labor gemeinsam, dann gelten die Anforderungen an einen Unterauftragnehmer (Extern bereitgestellte Produkte und Dienstleistungen)

• Kundendienst
• Beschwerden und Reklamationen
• Nicht konforme Arbeiten
• Verbesserungen
• Korrekturmaßnahmen
• Vorbeugungsmaßnahmen

Zu diesen Punkten werden keine speziellen Anforderungen bei der Organisation von Laborvergleichen gestellt, weil diese Anforderungen in einem guten Managementsystem eines Laboratoriums grundlegend immer gelten. Wichtig zu beachten ist, dass andere Teilnehmer am Laborvergleich keine Kunden im eigentlichen Sinn sind, sondern mehr oder weniger als (Mit-) Veranstalter angesehen werden. Beschwerden und Reklamationen sind hier nicht anzuwenden. Wenn allerdings nach einem nicht zufriedenstellenden Teilnahmeergebnis Korrekturmaßnahmen oder Verbesserungsmaßnahmen durchzuführen sind, so sind die entsprechenden Prozesse abzuwickeln.

Aufzeichnungen
Selbstverständlich sind die Aufzeichnungen zur Organisation von Laborvergleichen eines der zentralen Themen. Aus Gründen der Nachvollziehbarkeit müssen alle Schritte der Organisation nachvollziehbar aufgezeichnet werden.

Interne Audits und Managementbewertung
Es handelt sich dabei um Normanforderungen, die eingesetzt werden müssen, um die Organisation des Laborvergleichs bewerten zu können. Im internen Audit soll überprüft werden, ob die Vorgaben an die Organisation eingehalten wurden. In der Managementbewertung soll die Effizienz der Laborvergleiche und deren Organisation bewertet werden.

Personal
Die Aufzeichnungen über das Personal und die Kompetenzen der Personen, die in die Organisation involviert sind, müssen entsprechend erstellt werden. Das Laboratorium muss Mitarbeiter für spezielle Aufgaben autorisieren, und die Erfüllung der Kompetenzanforderungen entsprechend überprüfen. Wenn das Laboratorium gleichzeitig Organisator und Teilnehmer von Laborvergleichen ist, sollen, wenn möglich, die Personen, die am Laborvergleich teilnehmen nicht diejenigen sein, die ihn organisieren.

Einrichtungen; Räumlichkeiten und Umgebungsbedingungen
Wenn bei der Organisation von Laborvergleichen und bei der Teilnahme an Laborvergleichen unterschiedliche Einrichtungen oder Räumlichkeiten eingesetzt werden, so muss unbedingt darauf geachtet werden, dass diese die Anforderungen der 17025 bzw. des Managementsystems des Laboratoriums erfüllen.

Ablauf eines Vergleichsversuches:

• Die Planung muss eine detaillierte Beschreibung der Durchführung des Laborvergleichs beinhalten. Als Minimum werden folgende Punkte angesehen:

• • Ansprechperson
  • Liste der Teilnehmer
  • Die zu bestimmenden Parameter
  • Anforderungen an die Vergleichsprobe (Produktion, Homogenität, Stabilität)
  • Informationen zum Gebrauch und zur Vorbereitung der Probe (Beschreibung der Vorbereitung, wenn notwendig)
  • Zeitplanung des Laborvergleichs
  • Informationen der verwendeten Methoden
  • Beschreibung der Methode für die Evaluierung der Vergleichbarkeit der Ergebnisse
  • statistische Auswertung und die Kriterien für die Evaluierung der Ergebnisse
  • Beschreibung des Berichtsformats für die Teilnehmer

• Die Vorbereitung der Vergleichsprobe durch den Organisator muss ebenso dokumentiert werden wie der Ankauf von externen Referenzproben (Zertifikate und Bestätigungen müssen dokumentiert werden). Wenn relevant, muss die Homogenität und Stabilität der Probe bestimmt werden.
• Das statistische Modell der Auswertung muss festgelegt sein. Eine geeignete Auswertung der Standardabweichung muss festgelegt sein.
• Wenn relevant, müssen der bestätigte Wert und die Messunsicherheit vertraulich behandelt werden.
• Die Methoden der Teilnehmer müssen dokumentiert werden. Wenn andere Methoden als die vorgegebenen verwendet werden, muss die Information in die Auswertung einfließen.
• Durchführung des Laborvergleiches

• • Anleitungen für die Teilnehmer müssen dokumentiert werden und den Teilnehmern zur Verfügung gestellt werden. Die Instruktionen müssen geeignet sein.
  • Probenhandhabung und Lagerung: Wenn die Proben sich von den Routineuntersuchungen des Labors unterscheiden, müssen die Lagerung und die Lagerbedingungen überwacht werden.
  • Verpackung, Beschriftung und Transport der Proben müssen überwacht und entsprechend dokumentiert werden.

• Auswertung der Daten und Evaluierung der Ergebnisse

• • Die Analyse der Daten muss in geeigneter Weise erfolgen.
  • Die Ergebnisse müssen miteinander verglichen und die Erkenntnisse dokumentiert werden.

• Berichte  über den Laborvergleich müssen vom Organisator bereitgestellt werden. Als Minimum werden folgende Inhalte angesehen:

• • Datum des Laborvergleichs
  • Ansprechperson
  • Laboratorien oder Personen, die in die Organisation des Laborvergleichs eingebunden waren
  • Identifizierung des Laborvergleichs
  • Ergebnisse der Teilnehmer
  • Methode der Auswertung (bestätigter Wert, zugehörige Messunsicherheit, Standardabweichung, Intervalle, Ergebnisse, graphische Darstellung)
  • Vergleich der Teilnehmer-Ergebnisse, Kommentare und Empfehlungen auf Basis des Gesamtergebnisses des Laborvergleichs

Mit diesen Unterlagen sollten Sie in der Lage sein einen adäquaten Laborvergleich organisieren zu können und die Anforderungen der Akkreditierungsnormen und der Akkreditierungsstellen erfüllen zu können. Bitte beachten Sie, dass unterschiedliche Branchen auch unterschiedliche Anforderungen haben, und dass dieser Blog-Artikel allgemein gehalten ist. Für spezielle Interpretationen und Fragestellungen stehen wir sehr gerne zur Verfügung.

Weitere Informationen

Erfahren Sie mehr zum Thema „Validieren von Prüfverfahren“ im Zuge des Metras Seminars am 12. September. Die Vortragenden kennen die Anforderungen der Normen und der Akkreditierung bestens, nutzen Sie die Gelegenheit und erhalten Sie Antworten und Problemlösungen von Experten.

Quelle: EA-4/21 Guidelines for the assessment of the aproriateness of small interlaboratory comparison within the process of laboratory accreditation.