messunsicherheitsbestimmung nach gum€¦ · das gum regelwerk geht von folgenden annahmen aus: der...
TRANSCRIPT
Messunsicherheitsbestimmungnach GUM
Monte-Carlo Simulation nach GUM-S1
Wolfgang Schmid
10. Vorlesung – Teil 213. Januar 2020Skript Version 10.01.2020
Messdatenauswertung und Messunsicherheit (MDA)TU-Braunschweig
WS 2019/2020
Modulverantwortlicher: Prof. Dr.-Ing. R. Tutsch, iprom, TU Braunschweig
In dieser Vorlesung werden wir eine Methode zur Messunsicherheitsabschätzung basierend auf der Fortpflanzung von Wahrscheinlichkeitsverteilungen mit einem Monte-Carlo Verfahren kennenlernen, wie sie im GUM Supplement 1 (GUM-S1) beschrieben ist.
1
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/20202
GUM Regelwerk
Referenz Evaluation of measurement data - …
Inhalt / Verwendung
JCGM 104: 2009
An introduction to the “GUM” and related documents
Allgemeines Konzept zur Bestimmung der Messunsicherheit
JCGM 100:2008
Guide to the expression of uncertainty in measurement (GUM)
Standard-Methode, basierend auf Fortpflanzung von Messunsicherheiten
JCGM 101:2008
Supplement 1 to the GUM –Propagation of distributions using a Monte-Carlo method(GUM-S1)
Allgemeine Methode wenn GUM nicht funktioniert, basierend auf Kombination von Wahrscheinlichkeits-Verteilungen
In dieser Vorlesung verwendet
Das Monte-Carlo Verfahren zur Fortpflanzung von Wahrscheinlichkeitsverteilungen ist im GUM Supplement 1 (JCGM 101: 2008) , kurz GUM-S1, beschrieben.
2
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/20203
Gliederung
1) Kurze Wiederholung: Prinzipien der Messunsicherheitsabschätzung nach GUM
2) Wahrscheinlichkeits-Verteilungen
3) Schritte der Messunsicherheitsabschätzung mit einem Monte-Carlo Verfahren nach GUM-S1
4) Beispiel: Kalibrierung eines Hand-Multimeters
3
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/20204
2) GUM Prinzipien (Wiederholung)
Grundlegende Konzepte des GUM
• Frequentistischer Ansatz
• GUM geht von der Existenz eines wahren Wertes aus
• Wahrer Wert ist grundsätzlich unbekannt
• Messunsicherheit ist ein Maß dafür, wie gut man den wahren Wert zu kennen glaubt
• Zufällige und (unbekannte) systematische Messabweichungen werden auf gleicher Grundlage bei der Bestimmung der Messunsicherheit berücksichtigt
Introduction to the GUM …
JCGM 104:2009
Wiederholung aus Vorlesung 9:
Das GUM Regelwerk geht von folgenden Annahmen aus:
Der Ansatz des GUM (einschließlich des GUM-S1) basiert auf der frequentistischen Statistik (JCGM
104, vi)
Der GUM geht von der Existenz eines wahren Wertes der (indirekten) Messgröße aus (JCGM 104,
3.8)
Der wahre Wert ist grundsätzlich unbekannt. Eine Messunsicherheit ist ein Maß dafür, wie gut
man den wahren Wert zu kennen glaubt (JCGM 104, 3.8)
GUM beschreibt ein Verfahren, wie zufällige und (unbekannte) systematische Messabweichungen
bei der Bestimmung einer Messunsicherheit auf gleicher Grundlage berücksichtigt werden
können (JCGM 104, 3.7)
Die wahren Werte der Eingangsgrößen sind unbekannt. Die Kenntnis über die Eingangsgrößen ist
über Wahrscheinlichkeitsverteilungen beschrieben (JCGM 104, 3.17)
4
5
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/20205
Methoden:
a) Klassisches GUM Verfahren
b) Analytische Verfahren
c) Monte Carlo Verfahren
Prinzip der Messunsicherheitsbestimmung
Formulierungs-Phase:
- Messgröße spezifizieren: Y
- Eingangsgrößen identifizieren: Xi
- Modell der Messung formulieren: Y = f(Xi )
- den Eingangsgrößen Xi ihre Streuung zuordnen
Auswertungs-Phase:
Bestimmen von…
- Schätzwert der Messgröße: y
- Standardunsicherheit der Messgröße: u(y)
- Überdeckungsintervall [ymin ; ymax]
(für ein spezifisches Überdeckungsniveau)
Wiederholung aus Vorlesung 9:
Im JCGM 104 („An introduction to the GUM and related documents“) wird die Bestimmung der Messunsicherheit in zwei Phasen aufgeteilt (siehe Kap. 5):
1. Formulierungs-Phase:Beschreibung der Messgröße Y und Identifizierung aller Eingangsgrößen, bzw. direkten Messgrößen Xi (i = 1, …N), sowie das Aufstellen einer Modellgleichung. Die Eingangsgrößen (also die direkten Messgrößen) werden durch Stichproben von Beobachtungen oder durch deren Schätzwert und Streuung quantifiziert. Dies erfordert eine genaue Kenntnis der Messung und des Messsystems.
2. Auswertungsphase:Die vorhandene Information über die Eingangsgrößen wird verwertet um die (indirekte) Messgröße Y sowie deren Streuung, bzw. Messunsicherheit zu bestimmen. Dafür liefert das GUM Regelwerk standardisierte Verfahren:- die klassische Messunsicherheits-Fortpflanzung, ein Näherungsverfahren (GUM)- analytische Verfahren, bei denen die Wahrscheinlichkeits-Verteilung der Messgröße Y mit einer
mathematischen Analyse direkt bestimmt wird; dies ist nur in einfachen Fällen möglich.- ein Monte-Carlo Verfahren zur Kombination der Verteilungen der Eingangsgrößen (GUM-S1)
In der Vorlesung 8 wurden die Schritte des klassischen GUM-Verfahrens ausführlich besprochen.
In dieser Vorlesung werden wir die Implementierung des Monte-Carlo Verfahrens besprechen.
6
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/20206
Prinzip des Monte Carlo Verfahrens
Fortpflanzung (Kombination) von
Wahrscheinlichkeits-Verteilungen
Eingangsgrößen
y
u(y)
[ymin ; ymax]
2)()( yYEyu
Messgröße und Unsicherheit
[ymin ; ymax ] wird aus p(Y)
bestimmt
p(X1)
p(X2)
p(X3)
Y=f(Xi)
Kombination von Verteilungen
Modell der Messung
p(Y)
Wiederholung aus Vorlesung 9:
Das Monte-Carlo Verfahren wie im GUM-S1 beschrieben, beruht auf der Fortpflanzung von Wahrscheinlichkeitsverteilungen.
Die Information über die Verteilungen der Eingangs-Größen Xi werden voll berücksichtigt.
Im ersten Schritt wird für jede Eingangs-Größe Xi ein Satz von M Zufallszahlen xi,r (r = 1, … M) gemäß ihrer angenommenen Verteilung erzeugt.
Zu jeder direkten Größe Xi mit i = 1, … N wird jeweils die r-te Zufallszahl xi,r verwendet, um über das mathematische Modell ein yr zu bestimmen. Dies wird für jedes r durchgeführt, so dass wir M Werte für die Größe Y erhalten, also einen Satz von Werten yr mit r = 1, ... M .
Daraus werden der beste Schätzwert für Y und seine Standard-Unsicherheit u(Y) berechnet. Aus seiner empirischen Verteilung von p(Y) können Überdeckungsintervalle zu bestimmten Überdeckungswahrscheinlichkeiten bestimmt werden.
7
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/20207
Grenzen des klassischen GUM-Verfahrens
Situationen in denen das klassische GUM-Verfahren nicht funktioniert und GUM-S1 angewendet werden sollte:
Linearisierung des mathematischen Modells im Streubereich der Eingangsgrößen ist nicht zufriedenstellend möglich
Messgröße Y ist nicht Gauß-verteilt, z.B. weil …
… eine der Eingangsgrößen die Messunsicherheit dominiert und nicht Gauß-verteilt ist,
… das mathematische Modell nicht linear ist,
… Streuung und absolute Werte in der gleichen Größenordnung liegen (Eingangsgrößen oder Messgröße),
…
Eingangsgrößen Xi folgen einer asymmetrischen Verteilungsfunktion
Sensitivitätskoeffizienten sind schwer zu bestimmen
Die Grenzen des klassischen GUM-Verfahrens wurden bereits in Vorlesung 9 diskutiert.
Ist eine Linearisierung des mathematischen Modells im Streubereich der Eingangsgrößen nicht zufriedenstellend möglich, so wird das klassischen GUM- Näherungsverfahren bereits einen falschen Wert für die kombinierte Standardunsicherheit der Messgröße Y liefern.
Wenn die Messgröße Y nicht Gauß-verteilt ist, z.B. wegen einer dominierenden nicht Gauß-verteilten Eingangsgröße, so liefert das klassische GUM-Verfahren in manchen Fällen zwar noch den richtigen Wert für die kombinierte Standardunsicherheit der Messgröße Y. Eine zuverlässige Bestimmung des Überdeckungsintervalls ist ohne Kenntnis der Wahrscheinlichkeitsverteilung von Y jedoch nicht mehr möglich.
8
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/20208
Eingangsgrößen:
X stellt einen Vektor von N Eingangsgrößen dar: X = ( X1, X2, … XN )
xi ist der beste Schätzwert der Größe Xi (für i= 1, …, N )
Verteilungsfunktion / Verteilungsdichtefunktion von Xi : P(Xi) / p(Xi)
abweichend von GUM-S1: GX(ξ) / gX(ξ)
Messgröße (Ausgangsgröße):
Mathematisches Modell: Y = f(X)
Verteilungsfunktion / Verteilungsdichtefunktion von Y : P(Y) / p(Y)
abweichend von GUM-S1: GY(η) / gY(η)
u(y) ist die kombinierte Standardunsicherheit (Index „c” ist redundant)
Ziehungen: Index r = 1, …, M (r = „random“)
Nomenklatur (in Anlehnung an GUM-S1)
Die verwendete Nomenklatur in diesem Skript ist dem GUM-S1 angelehnt. Abweichend ist lediglich die Nomenklatur für Verteilungsfunktion und Verteilungsdichtefunktion.
Achtung: das Symbol „p“ kann verschiedene Bedeutungen habenp(X) „kleines p“: Verteilungsdichtefunktion von XP(X) „großes P“: Verteilungsfunktion von Xp als Wert, nicht als Symbol für eine Funktion: Wert für eine Wahrscheinlichkeit
9
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/20209
� � = Pr (� ≤ �)
Verteilungsfunktion (distribution function):
Funktion, welche für jeden Wert x die Wahrscheinlichkeit angibt, dass die Zufallsgröße X kleiner oder gleich x ist:
� � = Pr (� ≤ �) [GUM-S1, 3.2]
Beachte: � � · � = Pr (� < � ≤ � + �)� � = � � �� �′�
��
Normierung: � � � � = 1���
PDF wird als Abkürzung für Wahrscheinlichkeitsdichtefunktion verwendet
2) Wahrscheinlichkeits-Verteilungen
� � = �(�) �⁄
Wahrscheinlichkeitsdichtefunktion (PDF = probability density function):
Erste Ableitung der Verteilungsfunktion, falls sie existiert:
� � = �(�) �⁄ [GUM-S1, 3.3]
Wahrscheinlichkeitsverteilungen und ihre Kenngrößen wurden bereits in Vorlesung 5 eingeführt. An dieser Stelle wird das Wichtigste zusammengefasst und in einer Art dargestellt, wie sie im GUM-S1 verwendet werden.
Die Nomenklatur wurde an die bislang in der Vorlesung verwendete Nomenklatur angepasst und weicht vom GUM-S1 ab:
Vorlesung GUM-S1
Verteilungsfunktion � � = Pr(� ≤ �) �� � = Pr � ≤ �Wahrscheinlichkeitsdichte � � = �(�) �⁄ �� � = ��(�) �⁄
10
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202010
Verteilungsfunktion P(x)
0
0,2
0,4
0,6
0,8
1
-4 -3 -2 -1 0 1 2 3 4
x
Wahrscheinlichkeitsdichtefunktion p(x)
0
0,1
0,2
0,3
0,4
-4 -3 -2 -1 0 1 2 3 4
x
� � = Pr (� ≤ �) � � = �(�) �⁄
Beispiel: Gaußverteilung mit N(0;1)
Hier sind Verteilungsfunktion und Wahrscheinlichkeitsdichtefunktion (PDF) am Beispiel der Gauß-Verteilung gezeigt.
11
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202011
Überdeckungsintervall (coverage interval)
Intervall, das den wahren Werte einer Messgröße mit einer angegebenen Wahrscheinlichkeit enthält, auf der Grundlage der verfügbaren Information.
[GUM-S1, 3.12]
Anmerkungen: Im allgemeinen gibt es mehr als ein Überdeckungsintervall für eine gegebene Überdeckungswahrscheinlichkeit.
Für Überdeckungswahrscheinlichkeit wird in der frequentistischen Statistik meist der Begriff „Vertrauensniveau“ verwendet.
Wahrscheinlichkeits-Verteilungen
Überdeckungswahrscheinlichkeit (coverage probablility)
Wahrscheinlichkeit, dass der wahre Werte einer Messgröße in einem spezifizierten Überdeckungsintervall enthalten ist.
[GUM-S1, 3.13]
GUM-S1 verwendet die Begriffe Überdeckungsintervall und Überdeckungswahrscheinlichkeit (und nicht Vertrauensintervall und Vertrauensniveau).
In der Literatur der frequentistischen (klassischen) Statistik wird meistens der Begriff „Vertrauensniveau“ anstelle von "Überdeckungswahrscheinlichkeit" verwendet.
Auch der GUM (JCGM 100) verwendet den Begriff „Vertrauensniveau“.
12
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202012
Überdeckungswahrscheinlichkeit p = 80 % (symmetrisch)
Verteilungsfunktion P(x)
0
0,2
0,4
0,6
0,8
1
-4 -3 -2 -1 0 1 2 3 4
x
PDF p(x)
0
0,1
0,2
0,3
0,4
-4 -3 -2 -1 0 1 2 3 4
x
0,1
0,9
p = 0,8
Überdeckungsintervall: -1,2816 < X < 1,2816
Beispiel: Gaußverteilung mit N(0;1)
Aus der Verteilungsfunktion lässt sich ein Überdeckungsintervall für eine gegebene Überdeckungswahrscheinlichkeit leicht bestimmen, wie in der Grafik gezeigt.
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202013
Überdeckungswahrscheinlichkeit p = 80 %
0,1
0,9
p = 0,8
Überdeckungsintervall: 0,80 < y < 1,31 y = 0,51
symmetrisch (in den Ausläufern der Verteilung)
Asymmetrische Verteilung
Beispiel ausEURACHEM / CITAC Guide CG-4 “Quantifying Uncertainty in Analytical Measurement”, E.3.4
� = �� �
Klasse
Häu
figk
eit
Bei einer symmetrischen Wahrscheinlichkeitsverteilung wird man das Überdeckungsintervall üblicherweise symmetrisch um den Schätzwert (Mittelwert) der Größe Y festlegen.
Bei einer asymmetrischen Wahrscheinlichkeitsverteilung gibt es verschiedene Möglichkeiten, zum Beispiel:
a) Ein symmetrisches Intervall um den Erwartungswert (hier nicht gezeigt)
b) Ein symmetrisches Intervall um den Maximalwert (hier nicht gezeigt)
c) Ein Intervall welches symmetrisch in den Ausläufern der Verteilung ist (wie oben gezeigt). Die Wahrscheinlichkeit, dass der wahre Wert der Größe Y unterhalb oder oberhalb des Überdeckungsintervalls liegt, ist jeweils gleich groß.
d) Das kürzeste Vertrauensintervall (wie auf der nächsten Folie gezeigt).
Der GUM-S1 gibt keine allgemeine Regel auf welche Art das Überdeckungsintervall dargestellt werden soll.
Anmerkung: Die in der Folie gezeigte Verteilung ist aus dem EURACHEM / CITAC Guide CG-4 “Quantifying Uncertainty in Analytical Measurement” entnommen (siehe E.3.4):
! = "#�$ , wobei � = 1,00 ± 0,05 , � = 3,00 ± 0,15 , = 2,00 ± 0,10
a, b und c sind jeweils normalverteilt mit der in der Klammer angegebenen Standardverteilung (zweiter Wert).
13
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202014
Überdeckungsintervall : 0,76 < y < 1,24 y = 0,48
kürzestes Intervall
0,05
0,85
p = 0,8
Überdeckungswahrscheinlichkeit p = 80 %
Klasse
Häu
figk
eit
Asymmetrische Verteilung
Beispiel ausEURACHEM / CITAC Guide CG-4 “Quantifying Uncertainty in Analytical Measurement”, E.3.4
� = �� �
14
15
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202015
Signifikanzniveau:
Wahrscheinlichkeit dass ein Wert einer Zufallsgröße X außerhalb eines Überdeckungsintervalls (Vertrauensintervalls) liegt.
+ � � ��,-.
�,/0= 1 � 1
Signifikanzniveau & Quantil
Quantil:
Die obere Integrationsgrenze xp für eine Überdeckungswahrscheinlichkeit �, für den Fall dass die untere Integrationsgrenze -� ist wird Quantil genannt.
+ � � ��2
��= �
Die Konzepte Quantil und Signifikanzniveau wurden bereits in Vorlesung 4, Kap. 4.2 eingeführt.
Werte der Quantile für bestimmet Wahrscheinlichkeitsverteilungen findet man häufig in Tabellenwerken, oder man berechnet über entsprechende Funktionen in Mathematikprogrammen.
Anschaulich liest es sich so: Werte zu X, die kleiner sind als xp , können mit einer Wahrscheinlichkeit von p auftreten. Diese oberen Integrationsgrenzen xp werden Quantile genannt.
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202016
Quantil-Funktion
-3
-2
-1
0
1
2
3
0 0,2 0,4 0,6 0,8 1
p
Quantil-Funktion
Die Quantil-Funktion ist die Umkehrfunktion der Verteilungsfunktion:
hier am Beispiel einer Gaußverteilung mit N(0;1) gezeigt
Die Quantil-Funktion ist die Umkehrfunktion der Verteilungsfunktion.
16
17
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202017
Parameter von Verteilungen
Für eine Zufallsgröße X mit Wahrscheinlichkeitsdichtefunktion p(X) gilt:
3 � = + � · � � ��
��Erwartungswert:
Varianz: 4 � = + � � 3(�) 5 · � � ��
��
Standardabweichung: 6 = 4(�)
Die Bestimmung wichtiger Parameter von Wahrscheinlichkeitsdichtefunktionen und ihre Interpretation wurde ausführlich in Vorlesung 5, Kap. 5.3 gezeigt.
Für das Monte-Carlo Verfahren benötigen wir im wesentlichen den Erwartungswert und die Varianz, bzw. Standardabweichung.
18
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202018
Häufig verwendete Verteilungen (1)Quelle:GUM-S1 (Tabelle1)
Eine Übersicht über häufig verwendete Verteilungen findet man im GUM-S1 in Tabelle 1. Im Kapitel 6.4 befinden sich detaillierte Beschreibungen dieser Verteilungen (Funktion, Parameter, Verwendung, …).
Dies soll in dieser Vorlesung jedoch nicht vertieft werden. Verschiedene Verteilungen wurden bereits in vorherigen Vorlesungen näher betrachtet.
19
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202019
Häufig verwendete Verteilungen (2)Quelle:GUM-S1 (Tabelle1)
20
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202020
1) Formulierungs-Phase
- Festlegen der Messgröße Y
- Eingangsgrößen X = (X1, X2, … XN )
X1
X2
X3
2) Fortpflanzung 3) Auswertung
Erwartungswert von Y
y = E(Y)
Überdeckungsintervall [ymin , ymax]
welches y mit einer Wahrsch. p enthält
Standard-unsicherheit von Y
)()( YVYu
3) Schritte des MCM-Verfahrens
- PDFs der Eingangsgrößen Xi
p(X1)
p(X2)
p(X3)
Siehe GUM-S1 (5.1.1)
Bestimmung der PDF von Y
p(Y)
- Mathematisches Modell f(X)
Y = f(X)
21
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202021
1. Wählen eines geeigneten Werts M für die Anzahl der Ziehungen
2. Ziehung der Werte der Eingangsgrößen: xi,r (r = 1, …, M) gemäß ihrer PDFs
3. Berechnung von yr = f(x1,r , … xN,r) für jedes Werte-Tupel xi,r (r = 1,… M)
4. Sortieren der yr nach aufsteigenden Werten y(r)
Man erhält die empirische Verteilungsfunktion � � = !(7), �7 mit �7 = 7�89
:
5. Berechnen von Schätzwert und Standardunsicherheit von Y
M
rryy
Myu
1
2
1
1)(
GUM-S1 (5.9.6)
Fortpflanzung der Verteilungen: Schritte
!; = 1< = !7
:
7>?6. Bestimmung eines Überdeckungsintervalls unter Verwendung von P(Y)
22
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202022
Schritt 1:
Anzahl M der Ziehungen
GUM-S1 (7.2)
M sollte möglichst groß sein:
- Je größer M, desto besser wird die Abschätzung von P(Y) sein
- Rechenzeiten steigen, insbesondere für komplexe Modelle
Geeigneter Wert für M hängt von mehreren Faktoren ab:
- Anzahl der Stellen mit denen man die Messunsicherheit angeben möchte
- “Form” der PDF der Messgröße Y
- Überdeckungswahrscheinlichkeit p: kritischer für größere p
pM
1
1104 p 68% 95% 99,7%
M 30 000 200 000 3 000 000
GUM-S1 (7.2.2)
- Faustregel GUM-S1 (7.2.1):M = 106 liefert i.A. ein Überdeckungsintervall für p=95% auf zwei Stellen korrekt
AdaptivesVerfahren:Um den optimalen Wert für M zu finden, wird in GUM-S1 (7.9) beschreiben
Die geeignete Zahl der Ziehungen M hängt stark von der Überdeckungswahrscheinlichkeit p ab, mit der man das Überdeckungsintervall bestimmen möchte. Anschaulich gesprochen benötigt man eine hinreichend große Zahl von Werten in den „Schwänzen“ der Verteilung außerhalb des Überdeckungsintervalls. Mit dem Richtwert < ≥ 10A (1 � �)⁄ den GUM-S1 in Absatz 7.2.2 gibt, kann man erwarten, dass in den beiden Schwänzen sich näherungsweise 104 Werte für Y befinden, d.h. etwa 5000 in jedem einzelnen der Schwänze.
In Absatz 7.9 beschreibt GUM-S1 ein adaptives Verfahren, das darauf beruht die Monte-Carlo Simulation mehrfach nacheinander mit steigender Anzahl von Ziehungen M durchzuführen, solange bis die Ergebnisse (Standardunsicherheit, Überdeckungsintervall) sich „stabilisieren“.
Wenn möglich sollte man selbst überprüfen, ob das gewählte M groß genug ist, indem man die Simulation mehrere Male wiederholt und sich die Reproduzierbarkeit der Ergebnisse (!; , B ! , !CDE , !C"� ) anschaut.
23
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202023
Schritt 2:
Ziehung der Werte der Eingangsgrößen
GUM-S1 (7.3)
p(X1)
p(X2)
p(X3)
Ziehen von Zufallszahlen für die Eingangsgrößen Xi
gemäß ihrer PDFs:
Man erzeugt M Vektoren von Werte-Tupeln xi,r (r = 1, …, M)
Im nächsten Schritt wird für jede Eingangs-Größe Xi ein Satz von M Zufallszahlen xi,r (r = 1, … M) gemäß ihrer angenommenen Verteilung erzeugt.
24
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202024
Schritt 3:
Auswerten mit dem Modell Y = f(X)
GUM-S1 (7.4)
Jedes Werte-Tupeln für die Eingangsgrößen xi,r (r = 1, …, M)
wird in das Modell Y = f(X) eingesetzt.
Man erhält M Werte für die Messgröße Y: yr = f(x1r , x2r , … xNr )
Zu jeder direkten Größe Xi mit i = 1, … N wird jeweils die r-te Zufallszahl xi,r verwendet, um über das Modell ein yr zu bestimmen. Dies wird für jedes r durchgeführt, so dass wir M Werte für die Größe Y erhalten, also einen Satz von Werten yr mit r = 1, ... M .
25
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202025
Schritt 4:
Empirische Verteilungsfunktion P(Y)
GUM-S1 (7.5)
y(r) ist jetzt der “r-größte” Wert der M simulierten Werte von Y
Die Wahrscheinlichkeit das Y kleiner ist als y(r) ist (r – ½) / M
1) Sortieren der Werte yr in aufsteigender Reihenfolge: yr y(r)
Pr � ≤ ! 7 = F � ?5
<
2) Erstellen der empirischen Verteilungsfunktion:
� � = !(7) , �7 mit �7 = F � ?5
<
3) Optional: Histogramm erstellen, als Näherung für die PDF p(Y)
Histogramm ist für die Auswertung nicht erforderlich
Allerdings kann es hilfreich sein, um die Form der PDF, insbesondere eine Asymmetrie besser abzuschätzen
Durch Sortieren der in der Simulation erhaltenen Werte für die yi erhält man die empirische Verteilungsfunktion von Y (Details siehe Folie, vergleiche auch Vorlesung 5, Kap. 5.2). Über die Verteilungsfunktion lassen sich Überdeckungsintervalle für gegebene Überdeckungswahrscheinlichkeiten bestimmen.
Optional kann man auch ein Histogramm erstellen, welches einen Näherung für die Wahrscheinlichkeitsdichtefunktion ist. Für die weitere Auswertung ist das Histogramm nicht erforderlich. Visuell gibt es jedoch eine bessere Vorstellung von der Form der Verteilung, und man kann insbesondere Asymmetrien besser erkennen.
26
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202026
Schritt 5:
Schätzwert und Standardunsicherheit
GUM-S1 (7.6)
Schätzwert von Y:
M
rry
My
1
1
M
rryy
Myu
1
2
1
1)(Standardunsicherheit von Y:
Dieser Schritt kann natürlich gleichermaßen mit den sortierten oder nicht sortierten Werten y(r) oder yr durchgeführt werden.
Aus den M Werten für die Größe Y (yr mit r = 1, ... M ) werden der beste Schätzwert für Y und seine Standard-Unsicherheit u(Y) berechnet.
Für diese Berechnungen ist es natürlich nicht erforderlich, die Werte von Y zu sortieren (Schritt 4). Sie können gleichermaßen mit den sortierten oder nicht sortierten Werten y(r) oder yr durchgeführt werden.
27
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202027
Schritt 6:
Überdeckungsintervall
GUM-S1 (7.7)
1) Festlegen der Überdeckungswahrscheinlichkeit p
Zum Beispiel p = 95% = 0,95
2) Grenzwerte der Überdeckungswahrscheinlichkeit
Für eine symmetrische Verteilung: minmaxmin 12
1
2
1
pp
Für p = 0,95 erhält man: αmin = 0,025 ; αmax = 0,975
3) Grenzen des Überdeckungsintervalls finden
!CDE = ��?(1CDE) !C"� = ��?(1C"�)
Aus der empirischen Verteilungsfunktion {y(r), pr} mit �7 = 7�89
:!CDE = !(FCDE) mit FCDE = < · 1CDE + ?
5 !C"� = ! FJ�� mit FC"� = < · 1C"� + ?
5
28
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202028
Schritt 6:
Überdeckungsintervall
Beispiel:
Gaußverteilung mit N(0;1)
Mit p = 0,8
αmin = 0,1
αmax = 0,9
Verteilungsfunktion P(y)
0
0,2
0,4
0,6
0,8
1
-4 -3 -2 -1 0 1 2 3 4
Y
αmax = 0,9
p = 0,8
αmin = 0,1
ymin ymax
Erhält man:
ymin = -1,2816
ymax = 1,2816
29
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202029
Schätzwert von Y
M
rry
My
1
1
Standardunsicherheit von Y
M
rryy
Myu
1
2
1
1)(
Modell
Y = f(X)
Berechnung der M Werte für Y
y1….yM
M Ziehungen von Zufallszahlen
xi,1…..xi,M gemäß ihrer PDFs p(Xi), für i=1,…,N
Überdeckungsintervall
[ ymin ; ymax ]
PDFs der X=(X1,… XN)
p(Xi)
Anzahl der Ziehungen
M
Überdeckungswahrscheinl.
p
Sortieren der Werte von Y
yr y(r)
Empirische Verteilungsfunktion P(Y)
Zusammenfassung der Schritte
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202030
Ein digitales Hand-Multimeter (DMM) wird bei einer Eingangsspannung von 100 V (DC) unter Verwendung eines Multifunktions-Kalibrators (Normal) kalibriert.
Eingangsgrößen / Messunsicherheitsquellen:
Anzeige des DMM VDMM = 100,1 V stabil
Auflösung der Anzeige des DMM 0,1 V
Ausgangsspannung des Normals VS = 100,000 V (Kalibrierschein) U = 0,002 V (normal, k=2)
Stabilität des Normal (Drift) VS,drift = (0 0,011) V (gemäß Herstellerangabe) Rechteck
SDMMDMM VVE Messgröße: Abweichung der Anzeige des DMM
Beispiel:
Kalibrierung eines Hand-MultimetersBeispiel nach einer Idee von Cox & HarrisNPL Report MS 6 (2010), 9.5
3K:: = 4K:: + ∆4K::,DEM � 4N + ∆4N,O"P + ∆4N,M7DQR
Wir wollen nun folgendes Beispiel betrachten (siehe „NPL report MS 6, Software Support forMetrology Best Practice Guide N° 6“, Cox & Harris, March 2010, Kap. 9.5):
Ein digitales Hand-Multimeter (DMM) wird mit einem Multifunktionsgenerator bei einer Eingangsspannung von 100 V (DC) kalibriert. Messgröße ist die Abweichung EDMM (E=„Error“) der Anzeige des DMM vom Referenzwert VS, welcher von einem Multifunktions-Kalibrator (Messnormal) erzeugt wird (Index „S“ steht für das englische Wort „Standard“ = Normal).
Die Anzeige des DMM sei stabil, seine Auflösung 0,1 V. Die Ausgangsspannung VS des Normals hat laut Kalibrierschein eine erweiterte Messunsicherheit U = 0,002 V für einen Erweiterungsfaktor von k=2 (Gaußverteilt). Außerdem ist eine mögliche Drift des Kalibrators VS,drift seit seiner eigenen letzten Kalibrierung zu berücksichtigen. Mit Hilfe der Information aus dem Handbuch des Geräts wurde diese mit ±0,011 V abgeschätzt (Rechteckverteilung).
Man erkennt sofort, dass die Bedingungen des Zentralen Grenzwertsatzes (siehe Vorl. 8, Seite 35) nicht erfüllt sind, da die Messunsicherheit der Messgröße EDMM von einer Eingangsgröße dominiert wird, welche nicht Gaußverteilt ist. In Konsequenz kann man nicht davon ausgehen, dass die Verteilung der Messgröße EDMM näherungsweise Gauß-förmig ist.
Dennoch wollen wir das Beispiel zunächst mit dem Standard-GUM Verfahren lösen und anschließend mit einer Monte-Carlo Simulation vergleichen.
30
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202031
Messgröße Wert "Variation" VerteilungStandard
UnsicherheitSensitiv.-
koeff.Beitrag zur komb. Uns.
relative Varianz
i x i u(x i ) c i c i *u i (c i *u i /u c )2
1 Anzeige des DMM: V DMM 100,1 V 0,0 V konstant 0,0000 V 1 0,0000 V 0,0%
2 Auflösung des DMM: V DMM,ind 0,0 V 0,1 V Rechteck 0,0289 V 1 0,0289 V 95,3%
3 Kalibrierung d. Normals: V S + V S,cal 100,0 V 0,002 V normal, k=2 0,0010 V -1 -0,0010 V 0,1%
4 Drift des Normals: V S,drift 0,0 V +/- 0,011 V Rechteck 0,0064 V -1 -0,0064 V 4,6%
Abweichung des DMM: E DMM 0,1000 V kombinierte Standardunsicherheit u c (E DMM ) 0,0296 V
Voraussetzungen des Zentralen Grenzwertsatzes sind nicht erfüllt
Vergleich mit Monte-Carlo
Messunsicherheits-Budget: klassisches GUM-Verfahren
3K:: = 4K:: + ∆4K::,DEM � 4N + ∆4N,$"P + ∆4N,M7DQR
Beispiel:
Kalibrierung eines Hand-Multimeters
31
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202032
M=50000 Schätzwert 0,1001
Standardabweichung 0,0296
r V DMM,ind V s,cal V s,drift E DMM E DMM p r
R[-0,05;0,05] N[-0;0,001] R[-0,011;0,011] sortiert
1 -0,039129307 0,0001675 0,007864528 0,068903 0,0371181 0,00001
2 0,028240303 0,001116 -0,000729484 0,128627 0,0375615 0,00003
3 -0,035943175 -0,0007819 0,008983764 0,072259 0,0377737 0,00005
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
0,03 0,05 0,07 0,09 0,11 0,13 0,15 0,17
pr
EDMM
Beispiel:
Kalibrierung eines Hand-Multimeters
Ergebnisse:
Schätzwert (Mittelwert)
3;K:: = 0,1001 4Standardabweichung
S 3K:: = 0,0296 4
3K:: = 0,1 + ∆4K::,DEM � ∆4N,$"P � ∆4N,M7DQR
�7 = F � ?5
50 000
Zufallszahlen, je 50 000
Monte-Carlo Simulation:durchgeführt mit Excel, M=50 000
Die Monte-Carlo Simulation wurde mit Excel durchgeführt.
Mittelwert der simulierten Daten als Schätzwert für die Abweichung des Multimeters EDMM und die Standardabweichung als Abschätzung der Standardunsicherheit u(EDMM) wurden berechnet.
32
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202033
Messgröße Wert "Variation" VerteilungStandard
UnsicherheitSensitiv.-
koeff.Beitrag zur komb. Uns.
relative Varianz
i x i u(x i ) c i c i *u i (c i *u i /u c )2
1 Anzeige des DMM: V DMM 100,1 V 0,0 V konstant 0,0000 V 1 0,0000 V 0,0%
2 Auflösung des DMM: V DMM,ind 0,0 V 0,1 V Rechteck 0,0289 V 1 0,0289 V 95,3%
3 Kalibrierung d. Normals: V S + V S,cal 100,0 V 0,002 V normal, k=2 0,0010 V -1 -0,0010 V 0,1%
4 Drift des Normals: V S,drift 0,0 V +/- 0,011 V Rechteck 0,0064 V -1 -0,0064 V 4,6%
Abweichung des DMM: E DMM 0,1000 V kombinierte Standardunsicherheit u c (E DMM ) 0,0296 V
Messunsicherheits-Budget: klassisches GUM-Verfahren
Beispiel:
Kalibrierung eines Hand-Multimeters
Ergebnisse der Monte-Carlo Simulation:
Abweichung des DMM: EDMM 0,1001 V
Standardunsicherheit: u(EDMM) 0,0296 V �
Die Ergebnisse für die Standardunsicherheit, zum einen mit dem klassischen GUM-Verfahren und zum anderen mit dem Monte-Carlo Verfahren ermittelt, stimmen gut überein.
33
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202034
0
200
400
600
800
1000
1200
Clase
Fre
cuencia
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
0,03 0,05 0,07 0,09 0,11 0,13 0,15 0,17
E
pr
EDMM
Häu
figk
eit
Histogramm
Empirische Verteilungsfunktion:
Bestimmung des Überdeckungsintervalls für p = 95,45 %
Beispiel:
Hand-Multimeter
Eine Auftragung des Histogramms zeigt eindeutig, was wir von Beginn an vermutet hatten: die Verteilung von EDMM ist nicht näherungsweise Gauß-förmig. Eine Bestimmung eines Überdeckungsintervalls ist mit der Information, die das klassische GUM-Verfahren geliefert hat, nicht möglich.
34
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202035
Überdeckungsintervall für p = 95,45%
Beispiel:
Kalibrierung eines Hand-MultimetersM=50000 Schätzwert 0,1001 E(2,275%) 0,0489
Standardabweichung 0,0296 E(97,725%) 0,1511
r V DMM,ind V s,cal V s,drift E DMM E DMM p r
R[-0,05;0,05] N[-0;0,001] R[-0,011;0,011] sortiert
1 -0,039129307 0,0001675 0,007864528 0,068903 0,0371181 0,00001
2 0,028240303 0,001116 -0,000729484 0,128627 0,0375615 0,00003
3 -0,035943175 -0,0007819 0,008983764 0,072259 0,0377737 0,00005
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
0,03 0,05 0,07 0,09 0,11 0,13 0,15 0,17
pr
EDMM
EDMM,max
= 0,1511 V
EDMM,min
= 0,0489 V
Wir wollen nun mit Hilfe der empirischen Verteilungsfunktion, die wir aus der Monte-Carlo Simulation erhalten haben, das Überdeckungsintervall für eine Überdeckungswahrscheinlichkeit von p=95,45 % abschätzen.
Als Grenzwerte für die Wahrscheinlichkeiten erhält man damit (siehe Folie 27):
1CDE = ?�V5 = W,WAXX
5 = 0,02275 und 1C"� = 1 � 1CDE = 0,97725Damit erhält man: FCDE = < · 1CDE + 8
9 = 1167 und FC"� = < · 1C"� + 89 = 48892 , womit sich dann
die Grenzwerte des Überdeckungsintervalls aus den simulierten Daten ablesen lassen.
Man erhält für das Überdeckungsintervall für p=95,45% : [EDMM,min ; EDMM,max] = [0,0489 V; 0,1511 V] , d.h. seine gesamte Breite beträgt 0,1022 V.
35
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202036
0
200
400
600
800
1000
1200
Clase
Fre
cuencia
GUM:
E 2 uc(E) = E 0,059 V
[0,041 V ; 0,159 V]
MCM:
[E(2,275%) ; E(97,725%)]
[0,049 V ; 0,151 V]
Beispiel:
Kalibrierung eines Hand-Multimeters
Überdeckungsintervall für p = 95,45%
Klasse
Häu
figk
eit
Das klassische GUM-Verfahren würde falsche Werte für das Überdeckungsintervall liefern.
Wenn man versuchen würde, mit dem klassischen GUM-Verfahren eine erweiterte Messunsicherheit mit k=2 anzugeben (was bei einer Gaußverteilung einer Überdeckungswahrscheinlichkeit von 95,45% entsprechen würde), so würde man ein falsches Ergebnis erhalten.
In dem Histogramm stellt das rote Intervall das mi der Monte-Carlo Simulation bestimmte Überdeckungsintervall für 95,45 % Überdeckungswahrscheinlichkeit dar.
Wenn man mit dem klassischen GUM-Verfahren eine erweiterte Messunsicherheit U = k·u berechnet hätte, mit k=2 (was bei einer Gaußverteilung einer Überdeckungswahrscheinlichkeit von 95,45 % entsprechen würde), so hätte man ein falsches, und zwar deutlich zu großes Intervall bestimmt. In dem Histogramm ist es blau eingezeichnet.
Mit dem klassischen GUM-Verfahren hätte man die Breite des Überdeckungsintervalls [-U ; U] einen Wert von 4uc = 0,118 V abgeschätzt, im Gegensatz zu dem korrekten wert von 0,102 V, den die Carlo Simulation liefert.
36
Messunsicherheitsbestimmung nach GUM-S1 (MCM)Vorl. 10/2, Wolfgang Schmid
Vorlesung MDATU-BS, WS 2019/202037
CB
AY
CB
AY
Eingangsgrößen: Verteilung
Masse des Analyten A : a = 1,00 mg u = 0,05 mg normal
Brutto-Masse B : b = 3,00 g u = 0,15 g normal
Tara C : c = 2,00 g u = 0,10 g normal
Messgröße: Massenanteil
Beispiel aus EURACHEM / CITAC Guide CG-4 “Quantifying Uncertainty in Analytical Measurement”, E.3.4
Übungsaufgabe:
Asymmetrische Verteilung (Massenanteil)
Bestimmen Sie:
1. Den Schätzwert für Y und seine Standardunsicherheit u(Y)a) mit dem klassischen GUM-Verfahrenb) mit einer Monte-Carlo-Simulation
2. Histogramm und empirische Verteilungsfunktion mit dem Monte-Carlo Verfahren
3. Das Überdeckungsintervall für eine Wahrscheinlichkeit von p = 95,45 %a) welches symmetrisch in den Ausläufern der Verteilung istb) das kürzeste Überdeckungsintervall
37