ISO 13528 Statistische Methoden für Eignungsprüfungen durch Ringversuche

Die Norm ISO 13528 „Statistische Methoden für Ringversuche“, herausgegeben von der Internationalen Organisation für Normung (ISO), beschreibt detailliert die statistischen Methoden, die Anbieter von Ringversuchen zur Konzeption von Ringversuchsprogrammen und zur Analyse der dabei gewonnenen Daten verwenden können. Die Norm enthält außerdem Empfehlungen für die Interpretation der Daten durch die an den Ringversuchsprogrammen Beteiligten sowie durch Akkreditierungsstellen.

Die in dieser Norm beschriebenen Verfahren können von Laboren, Prüfstellen und Einzelpersonen angewendet werden, um nachzuweisen, dass die erzielten Messergebnisse die festgelegten Kriterien für eine akzeptable Leistung erfüllen. Diese Norm gilt für Eignungsprüfungen, deren Ergebnisse entweder quantitative Messungen oder qualitative Beobachtungen zu den Prüfgegenständen darstellen.

Die in dieser Norm beschriebenen Verfahren können auch zur Bewertung von Expertenmeinungen angewendet werden, sofern diese so dargestellt werden, dass sie objektiv mit einem unabhängigen Referenzwert oder einer Konsensstatistik verglichen werden können. Beispielsweise können die Bestimmungen dieser Norm zu nominalen (qualitativen) Merkmalen angewendet werden, wenn Eignungsprüfungsaufgaben durch Sichtprüfung in bekannte Kategorien eingeordnet werden (oder wenn durch Sichtprüfung festgestellt wird, ob Eignungsprüfungsaufgaben aus derselben Quelle stammen) und die Ergebnisse der Einordnung objektiv verglichen werden.

Im Sinne dieser Norm bezeichnet der Begriff „Eignungsprüfung“ die Bewertung der Leistung von Teilnehmern anhand vorab festgelegter Kriterien durch Ringversuche. Der Begriff „Eignungsprüfung“ wird in dieser Norm im weitesten Sinne verstanden und umfasst unter anderem Folgendes:

• Quantitatives Schema. Ziel ist es, die Menge einer oder mehrerer Größen zu bestimmen, die für jeden Kompetenztestgegenstand gemessen werden sollen.
• Qualitatives Schema: Wenn das Ziel darin besteht, ein oder mehrere qualitative Merkmale eines Eignungsprüfungsgegenstands zu identifizieren oder zu definieren.
• Sequenzielles Schema: Hierbei werden ein oder mehrere Eignungsprüfungsgegenstände nacheinander zur Prüfung oder Messung verteilt und in regelmäßigen Abständen an den Eignungsprüfungsanbieter zurückgesandt.
• Simultane Prüfung: In Fällen, in denen die Aufgaben für die Eignungsprüfung zur gleichzeitigen Prüfung oder Messung innerhalb eines bestimmten Zeitraums verteilt werden.
• Einmalige Bewerbung: Hierbei handelt es sich um eine Bewerbung, bei der alle Elemente des Eignungstests nur einmal vorgelegt werden müssen.
• Kontinuierliches Schema: In Fällen, in denen die Aufgaben für den Eignungstest in regelmäßigen Abständen gestellt werden.
• Probenahme: Hierbei werden Proben zur späteren Analyse entnommen; Ziel des Eignungsprüfungsprogramms ist die Bewertung der Durchführung der Probenahme.
• Dateninterpretation: Situationen, in denen Datensätze oder andere Informationen bereitgestellt und verarbeitet werden, um eine Interpretation (oder eine andere Schlussfolgerung) zu ermöglichen.

Kurz gesagt, ist ISO 13528 eine internationale Norm, die Richtlinien für die Anwendung statistischer Methoden in Eignungsprüfungsprogrammen mittels Ringversuchen vorgibt. Nach mehreren grundlegenden Überarbeitungen hat sich diese Norm zu einer wichtigen Referenz für Organisationen entwickelt, die Eignungsprüfungen oder externe Qualitätsbewertungsprogramme durchführen, sowie für die Akkreditierungsstellen, die diese bewerten (insbesondere im Anwendungsbereich der Norm ISO/IEC 17043).

Eignungsprüfungen gehören zu den effektivsten Methoden für Labore, die Zuverlässigkeit ihrer Messergebnisse nachzuweisen. Wenn Hunderte von Laboren dasselbe Prüfmaterial analysieren und ihre Ergebnisse melden, sollten Anbieter von Eignungsprüfungen Folgendes gewährleisten können:

• Zuweisung eines zuverlässigen Sollwerts (der bestmöglichen Schätzung des wahren Werts).
• Berechnung von Leistungswerten
• Um Labore zu identifizieren, die unterdurchschnittliche Leistungen erbringen.
• All dies geschieht auf statistisch fundierte und transparente Weise.

Die Norm ISO 13528 liefert die statistischen Werkzeuge und Regeln, die dafür notwendig sind.

Die Überarbeitung dieser Norm aus dem Jahr 2022 enthielt folgende wichtige Aktualisierungen:

• Starke statistische Leistungsfähigkeit: Dies wird durch die neuen Algorithmen (Algorithmen A und S) besonders deutlich.
• Verarbeitung multimodaler Daten: Ein neuer Abschnitt mit spezifischen Verfahren wurde hinzugefügt.
• Von den Teilnehmern festgelegter Wert: Erlaubt die Formulierung nur unter Verwendung spezialisierter Labore.
• Unsicherheit bezüglich des zugewiesenen Wertes: Es wurden eine obligatorische Bewertung und Berichterstattung eingeführt.
• Leistungsbewertung: Es wurden zusätzliche Hinweise zur Berechnung kombinierter Punktzahlen und neu skalierter Gesamtpunktzahlen hinzugefügt.
• Mindestteilnehmerzahl: Für robuste Methoden wird eine Mindestteilnehmerzahl von 12-15 empfohlen.

Die grundlegenden statistischen Verfahren der Norm ISO 13528 lauten wie folgt:

• Ermittlung des zugewiesenen Wertes (X): Mögliche Quellen (gegebenenfalls in der Reihenfolge der Präferenz):
• Bekannter Wert (zertifiziertes Referenzmaterial, Formulierung)
• Referenzwerte aus einem oder mehreren spezialisierten Laboren.
• Einhellige Zustimmung aller Teilnehmer.
• Standardübereinstimmung (arithmetisches Mittel) der Teilnehmer
• Standardabweichung für die Kompetenzbewertung: Kann angepasst werden gemäß:
• Regulatorische oder spezifikationsbezogene Grenzwerte
• Wahrnehmung der Eignung für den Zweck
• Daten aus früheren Eignungstests
• Solide Standardabweichung von der aktuellen Tour
• Leistungsbewertungen:
• z-Score
• Zeta-Wert (einschließlich Messunsicherheiten)
• Die Mindestpunktzahl (für Testlaboratorien ist maximal 1 Punkt akzeptabel)
• Robuste Methoden: Dieser Standard schreibt nun die Verwendung robuster statistischer Verfahren zur Berechnung von Konsenswerten und Standardabweichungen vor, wenn zu erwarten ist, dass die Daten Ausreißer enthalten oder aus leicht unterschiedlichen Grundgesamtheiten stammen.
• Unsicherheit des zugewiesenen Wertes: Anbieter von Eignungsprüfungen müssen nun die Standardunsicherheit des zugewiesenen Wertes bewerten und angeben. Beträgt der zugewiesene Wert mindestens 0,3, gilt der Konsenswert als hochgradig unsicher, und alternative Verfahren (Expertenlaboratorien, Referenzmaterialien) sollten bevorzugt werden.

Die Norm ISO 13528 wird von folgenden Organisationen und Institutionen angewendet:

• Anbieter von Eignungsprüfungen (zur Konzeption und statistischen Auswertung ihrer Programme).
• Akkreditierungsstellen bewerten Anbieter von Eignungsprüfungen gemäß der Norm ISO/IEC 17043.
• Nationale Metrologieinstitute.
• Klinische, umweltanalytische, lebensmittelanalytische, forensische und Kalibrierungslabore interpretieren die Ergebnisse von Eignungsprüfungen.

Zusammenfassend lässt sich sagen, dass die Norm ISO 13528 den aktuellen internationalen Konsens darüber widerspiegelt, wie die Leistung von Laboren in Ringversuchen fair und zuverlässig bewertet werden sollte. Durch die stärkere Betonung robuster statistischer Verfahren, die obligatorische Unsicherheitsanalyse und die klareren Regeln für multimodale Daten sind die Ergebnisse von Eignungsprüfungen zuverlässiger denn je. Die Kenntnis dieser Norm ist für jede Organisation, die Eignungsprüfungen durchführt oder daran teilnimmt, unerlässlich.

Seit vielen Jahren versteht unsere Organisation mit ihren kompetenten und erfahrenen Mitarbeitern die Bedürfnisse ihrer Kunden, bietet ihnen die benötigten fortschrittlichen Prüfdienstleistungen und unterstützt sie beim Aufbau, der Implementierung und der Verbesserung von Managementsystemen. In diesem Rahmen bieten wir Unternehmen auch Prüfdienstleistungen gemäß der Norm ISO 13528 „Statistische Methoden für Eignungsprüfungen durch Ringversuche“ an.