stabilitÄt statistischer entscheidungsprobleme und anwendungen in der diskriminanzanalyse
TRANSCRIPT
Z. Wahrscheinlichkeitstheorie verw. Geb. 7, 131--146 (1967)
Stabilit~it statistischer Entscheidungsprobleme und Anwendungen in tier Diskriminanzanalyse
OLAF BUNKE
Eingegangen am 19. Oktober 1965
1. Einleitung In den Absehnitten 1 bis 4 werden wir den Begriff der Stabilit~t statistischer
Entscheidungsprobleme gegenfiber Ver/inderungen der angesetzten Verteilungen, der Verluste bzw. des verwendeten Optimalit/itsprinzips einf/ihren und Bedin- gungen f/Jr die Giiltigkeit einer solchen Stabiliti~t ableiten. In unseren Anwendun- gen (vgl. 5 bis 7) wird sich erweisen, dab die Kenntnis yon Bedingungen f/it die Stabilit/it statistiseher Entseheidungsprobleme nieht nur theoretische Bedeutung besitzt, sondern aueh fiir die Konstruktion yon Verfahren der statistisehen Induktion yon Nutzen ist.
Viele Arbeiten der mathematischen Statistik befassen sich mit folgendem Problem (vgl. [1], [2], [3]):
Ein Verfahren ist bei Voraussetzung einer bestimmten Verteflung optimal. Welchen EinfluB haben Abweichungen der in Wirklichkeit vorliegenden Ver- teflungen yon dieser theoretiseh angesetzten Verteflung anf dis Giite des Ver- fahrens ? Da bei einem Entsehektungsproblem die 6konomischen oder ideellen Verluste oft nieht exakt angegeben werden k6nnen, interessiert auch der EinfluB von Abweichungen der angesetzten Verlustfunktion V yon 4er die wirklichen Ver- lusts darstellenden Verlustfunktion V0. Ebenfalls interessiert der EinfluB des Ansatzes einer a priori Verteilung ~, welche nicht genau mit der dis wirkliche Situation widerspiegelnden a priori Verteilung t0 fibereinstimmt.
K6nnen die obengenannten Einflfisse nieht dutch genfigend ,,wirkliehkeits- treuen" Ansatz der Verteflungen, der Verlustfunktion und der a priori Verteflung hinreiehend klein gemaeht werden, dann wird die Verwendung yon bezfiglieh einer a priori Verteilung Bayessehen Entseheidungsfunktionen fragwfirdig.
Werden allgemeiner Q-optimale Entscheidungsfunktionen (vgl. Definition 1) verwendet, so interessiert die Frage naeh der,,Stabflit/it" bezfiglieh Ver/~nderungen der Verteflungen, der Verlustfunktionen und des 0ptimalit/~tsprinzips (vgl. Definition 2). Eine quantitative Abseh/itzung der oben genannten Einflfisse dutch ,,wirkliehkeitsfremde" Formulierung des Entseheidungsproblems ist sehon bei einfaehen Problemen/~uBerst kompliziert (vgl. aber [24]). Im folgenden soll nur die entspreehende qualitative ~ragestellung behandelt werden.
In den Absehnitten 5 bis 7 werden wir Klassifikationsprobleme der Diskrimi- nanzanalyse behandeln. Es sind mehrere Klassen jyr~ (i ---- 1 . . . . . s) yon Individuen vorgegeben, und es wird eine Grundgesamtheit yon Individuen, welehe je einer der versehiedenen Klassen angeh6ren, betraehtet. Die Klassenzugeh6rigkeit eines Individuums aus der Grundgesamtheit soll auf Grund der Beobaehtung mehrerer
10 Z. Wahrschein l ichkei t s theor ie verw. Geb., Bd. 7
132 O. Bv~x~:
seiner Merkmale bestimmt werden. Wit werden annehmen, dab die beh-achteten Merkmale bei Individuen aus einer Klasse eine bestimmte Verteilung besRzen, und drei F~lle unterseheiden: 1. Die Verteilungen sind bekannt. 2. Die Verteilungen sind bis auf einen unbekannten Parameter bekannt. 3. Die Verteilungen sind un- bekannt.
Fall 1) ist in der Literatur ausffihrlieh behandelt worden, insbesondere yon WALD [4], VO~ MISTS [5], W~LCH [6] und A~DEaSO~ [17]. W/~hrend dort aus- schlie$1ieh das Bayessehe und das Minimax-0ptimalit/~tsprinzip verwendet wird, wurde in [7] das allgemeine Q-Optimalitatsprinzip zugrunde gelegt.
Wahrend im Fall 2) bei Verwendung des Bayesschen Optimalit~tsprinzips die Ergebnisse yon WALD [8] bzw. FIX und Hogans [9] die Konstruktion asympto- tisch optimaler Klassifikationsverfahren ermSglieht haben, ist dies bei Verwen- dung des Q-Optimalit/~tsprinzips, insbesondere im Spezialfall des Minimax.Opti- malit/~tsprinzips, noeh nieht durehgeffihrt worden. Wir werden uns mit dieser Problematik in den Abschnitten 6 und 7 beseh/fftigen.
Fall 3), das sogenannte ,,nichtparametrisehe Klassifikationsproblem", ist in der Literatur yon F ix und HogG~s [9] sowie yon STO~LrR [10] und yon JOHNS [11] untersucht worden. In [21] werden unsere Stabilit/~tssatze bei diesem Problem angewendet.
2. Entscheidungstheoretisehe Begriffe und Deflnitionen
Mit [X, ~ , E, V, ~] bezeiehnen wir im folgenden ein nichtsequentielles stati- stisehes Entscheidungsproblem, bei dem X die beobachtete zufiillige Variable,
= {P~:i = 1 ... s} die Familie der mSglichen auf dem mel3baren Raum (~, ~) definierten Verteilungen yon X, E = {ej:j = 1 . . . . . r} der Raum der Ent- seheidungen, V die Matrix der Verluste v~ i (bei der Entscheidung ej unter Voraus- setzung yon Pc als wahre Verteilung) bzw. ~ die Klasse zugelassener Entsehei- dungsfunktionen ~ = (~l(X) . . . . . ~r(x)) ist. Die als 9J-metlbar vorausgesetzten Funktionen ~j (x) geben die Wahrscheinlichkeit fiir die Wahl der Entseheidung e i an, unter der Bedingung, dab x beobachtet wurde. Die Menge aller a priori Ver- teflungen ist
E = {2= (~1 . . . . . ~ ) : ~ > o , ~ = 1} i
Das gemischte Risiko bezeichnen wir mit
R (~, ~[~, V) = ~ ~v~j S ~J (x) P~ (gx). (1)
Ist fiber die a priori Verteilung ~ nur bekannt, da$ sie in einer Teilmenge Q c E liegt, dann kSnnen Entscheidungsfunktionen dureh das jewefls ungiinstigste gemischte Risiko vergliehen werden (vgl. [12], [13]).
Definition 1. So sei Q-optimal, fulls
sup R (~, ~Q ] P, V) = inf sup R (~, ~ l P, V) (2)
gilt. Bei Q = Z bzw. Q = {~o} definiert (2) eine Minimax- bzw. eine beztiglich t0
Bayessehe Entseheidungsfunktion [4].
Stabilit~t statistischer Entscheidungsprobleme 133
Zur Definition der Stabilit~t miissen nun die Riiume festgelegt werden, in denen die bei einem Entseheidungsproblem IX, ~ , E, V, 9 ] angesetzten GrSl]en variieren kSnnen:
a) Es sei H e i n e Menge yon l~amilien der Gestalt ~ = {P~: i = 1 . . . . , s} (PI : Wahrseheinlichkeitsmal3 auf 9~).
b) Es sei r eine Menge yon reellen Matrizen V = (vij).
c) Es sei ~ eine Klasse yon Teilmengen Q aus ~.
knnahme 1. Fiir beliebige ~ ~ / / , V ~ qf, ~ ~ E und ~ e 9 sei das gemischte l~isiko R($, ~1~, V) definiert und fiir jedes Q e ~ existiere im Entseheidungs- problem IX, ~ , E, V, 9 ] eine Q-optimale Entscheidungsfunktion, die wir mit (~ [~, V, Q] bezeichnen.
Den Weft
inf sup R (8, J [ ~o, VO) = sup R (8, ~ [~o, V o, Q] ] ~o, V o) = R~
nennen wir das Optimum. ~o (die ,,wirklichkeitstreue" Familie, in welcher die wahre Verteflung pO der beobachteten Variablen liegt) bzw. V ~ bezeiehne ein festes Element aus / /bzw, aus r
Definition 2. Das Entscheidungsproblem S o = [X, ~o, E, V o, 9 ] is6 stabil, falls es zu jedem e ~ 0 und Q* e ~ Umgebungen U(~O), U(VO), U(Q*) gibt, so dab
sup R (8, ~ [~, V, Q] I ~o, V o) _ R~. < e 8eQ*
bei ~ e U (~~ V e U ( V~ Q e U ( Q*) grit. Die Stabilit~t eines Entscheidungsproblems hi~ngt yon den bei der Definition 5
angesetzten Topologien in / / , SP und 9~ ab. Die Topologie i n / / m u B bei den speziel- len Problemstellungen jeweils geeignet festgelegt werden. Uber r und ~fl k6nnen folgende Annahmen gemacht werden.
Annahme 2. ~ sei dutch die Norm U VII = ~ I v~ll topologisiert. i,i
Annahme 3. ~( sei der Raum aller nichtleeren (im Sinne der Norm [1811 = ~18~ 1) abgeschlossenen Terimengen Q aus ~. In 9f" sei der Hausdorffsehe
i Mengenabstand
definiert.
d(Q1, Q2) -~ m a x (e12, ~21) (Q~ e J r )
3. Ein allgemeiner Stabilit~itssatz
Der folgende allgemeine Satz ermSglicht bei speziellen Entscheidungsproble- men die Angabe expliziter Bedingungen ffir die Stabiliti~t.
Satz 1. Ist 9 ein bilcompalcter topologischer Raum, ist die Funktion R (~, ~ I @, V) ]iir beliebige /este ~ ~ Z, V ~ $/" an ]eder Stelle (~, ~o) stetig ((~ E 9) , und gelten die Annahmen 1, 2 und 3, dann ist das Entscheidungsproblem S o = IX, ~o, E, V o, 9] stabil.
I0"
134 O. BIn~-K~:
Den Beweis des Satzes ffihren wir durch sehrittweise Nachprfifung der folgen- den Konvergenzaussagen, wobei 4 mit der behaupteten Stabilit~t ~quivalent ist:
1) Is t {(~n, ~n, ~n, Vn):n e D} ein Netz (vgl. [14]) in 3 x ~ • 2 1 5 $/', welches gegen (~*, 6", ~o, V o) konvergiert, dann gilt
nm ~ (~, ~ I~- , Vn) = R (~*, 8' 1~o, VO).
2) Ist {(Qn, 6n,~n, Vn):neD} ein Netz in ~ f • 2 1 5 2 1 5 welches gegen (Q,, ~,, ~o, V o) konvergiert, dann gilt
lira sup R (~, 8 n ] #% V n) = sup R (~, 8" [#o, VO).
3) Ist {(Qn, ~n, Vn):n e D} ein Netz in 3V • • ~ , welches gegen (Q*, ~0, V o) konvergiert, dann grit
l iminf sup R($ ,6 l~%V~)= in f sup R(~,6[#o, VO)=R~.. (3)
4) Aus
folgtweiterhin
lira ( Q% ~n, V n) = ( Q,, ~o, V o)
lira sup R (~, O(n) [ ~o, V o) = R~ , , n ~eQ*
wenn {O(n):n eD} ein Netz in ~ mit
inf sup R (~, 8 [ ~n, Vn) = sup R (~, ~(-) ] ~ , V~) (~) 6 e ~ CeQ~ ~eQ~
ist. Die Aussage 1) folgt unmittelbar aus der Stetigkeitsvoraussetzung fiber
R(~, 8 ]~ , v). Zum Beweis yon 2) ffihren wit die Funktionen
dn(~) = [R(~,(~n[ ~ n, V n) -- R(~, 8" [~ ~ V~ l (neD)
ein. Es gilt lim sup dn (8) = 0. (5)
Wit zeigen, dab mit der Konvergenz lira d(Q n, Q*) = 0 im Sinne des Haus-
dorffschen Mengenabstandes die Konvergenz
lira [ sup n (~, 8" [ ~o, V o) _ sup n (~, ~* [ 2 o, Vo)[ = 0 (6) n ~eq~ ~eQ*
gilt, woraus dann mit (5) die Aussage 2) folgt. Es sei seine beliebige positive Zahl. Dann gibt es ein ~6 > 0 und ein n e D, so
da~ f~r ll~ -- ~]l < ~ , u n d n ~ n8 [R(~, 8 .1~o, vo) _ S ( ~ ~* I~o, vo)[ < ~, (r
Q* c Ur n) und Qnc ur (8) gilt, wobei
Ur = /~e, . , :mf[ l~--~][ < ~ [ SeQ
Stabiliti~ statistischer Entscheidungsprobleme 135
ist. Ist {~(n) e Qn:n ~ D} ein Netz mit
sup R(~, ~* [go, V o) = R(~n, ~*] go, V o) ~eQ-
und ~* ein Element aus Q* mit
sup R (~, ~* [ go, V o) _ R (~*, ~* ] go, VO), ~eQ*
dann gibt es wegen (8) Elemente ~n ~ Q* bzw. ~n ~ Qn(n ~ D) mit
[I ~ - ~" ][ < ~ , II ~ - ~* H < ~ (~ --> ~ ) .
Dann gilt wegen (7) fiir allen ~ nr:
~(~ , ~* I~o, vo) <= R(~*, ~* I~o, VO),
R(~, ~* [ e o, VO) =< ~ ( ~ , ~* [go, VO),
[R(~* ,8*]~ o, V o ) - R(~ n, 8*Je o , VO)] < e,
woraus
[ ~ (~., ~. [go, vo) - R (~*, ~ . ] ~o, VO)] < , (n > n,)
folgt. Zum Beweis yon 3) betrachten wir ein Netz {~(n) : n ~ D} mit (4). Wi~re 3) nicht
richtig, dann gi~be es ein e > 0 und ein Teflnetz {$(~) :A ~ D) mit
] sup R(~, ~<~) [ ~ - , v . ) - R~. I > ~ (~ ~ / ) ) . (9)
Wegen der Bikompaktheit yon ~ gibt es ein konvergentes Teilnetz
des letzten Netzes, ffir das wegen 2)
R~. = ~ f l~n sup R (~, ~ [ ~ , v~)
lim inf sup R (~, 0 [ ~n, V ~)
~- lim sup R(~, ~(~)1~, V a) g ~sQ~
- - sup R(~, lira ~(~) I ~o, V o) >_ ~ , ~eQ* n
i~ Widerspruch zu (9) grit. Ware 4) nicht richtig, dann ggbe es ein e > 0 und eia Terinetz {~(~) :~ ~ J~} yon
{O(n) :n ~ D} (vgl. (4)) mit sup R(~, 0(~) l ~ o, V o) -- R~. > e. (10)
Wegen der Bikompaktheit yon ~ gibt es ein konvergentes Terinetz
136 O. BV)VKE:
und es gilt wegen 2) und 3) :
lim sup R(~, ~(~) [ ~o, V o) = sup R (~, lim ~(n) ] ~o, V o)
= ] i m sup R(~, ~(~)[~h, V ~) : R~. g ~eQ~
in Widersprueh zu (10).
4. Die Stabilit~t spezieller Entscheidungsprobleme
Fiir Anwendungen sind in den meis~en Fi~llen nur nichtrandomisierte Ent- seheidungsfunktionen geeignet. Diese entspreehen einer Zerlegung des Stiehpro- benraumes s in Teilr~ume : ~ , welehe den Entscheidungen e~ zugeordnet sind. Die Teilr~ume sollen keine allzu komplizierte Gestalt besitzen. Sie k6nnen etwa dureh Hyperfl~ehen einfaeher Art (bei :~ = R n etwa dureh Hyperebenen, vgl. [15]) begrenzt sein.
Im folgenden werden wir allgemeinere Zerlegungen dieser Art betraehten, wie sis etwa in der Diskriminanzanalyse yon Nutzen sind (vgl. [21]).
Annahme 4. Dureh 8
sup P;(A) I i = 1 A e ~
sei in/-/eine Pseudometrik definiert, wobei ~ c ~ ist. Es sei ~0 = {pO:i = 1 . . . . . s} ein festes Element aus / / .
Definition 3. Eine Teflmenge H des R n heiBt lokal s-zusammenh~ngend, falls es zu jedem Pnnkt 70 e g eine ,,Kugel" g = {7 e H: ]I ~ -- ~7o I1 < e} (e > 0) gibt, deren Punkte dureh ganz in K liegende Streekenziige paarweise verbunden werden kSnnen.
Es ist beispielsweise die Vereinigung endlich vleler abgesehlossener konvexer Teilmengen des R neine loka] s-zusammenh~ngende Menge.
Annahme 5. H sei eine kompakte lokal s-zusammenhi~ngende Teflmenge des
R n (mit der Norm II ~ H: ~ I ~t]: ~ e Rn). h~ (x, 7) (k = 1 . . . . . r) seien auf s x H jffil
definierte reelle Funktionen. Ffir jedes k sei h~ (x, 7) bei festem x stetig in ~ bzw. bei festem ~ eine 9/-mel~bare Funktion. Ffir jedes ~ e.H seien die Hyperfl~ehen
Hj~(~) = {x e ~ : h l ( x , 7) = h~(x, ~)} (11)
$
pO.Nullmengen (po = ~ pO). ~, sei diejenige Entscheidungsfunktion aus ~ , bei i = 1
der die Entseheidung ek mit Wahrscheinliehkeit 1 getroffen wird, falls x ~ :~k [7] ist. Dabei bezeichnet s [7] die Menge aller x e s ffir die ]r der kleinste Index mit
h~(x, 7) = infhs(x, 7)
ist. ~H sei die Menge aller Entseheidungsfunktionen ~v (7 ~ H). Es sei
s [~] e~(/c = 1 , . . . , s;~ e l l ) .
Stabilitgt statistischer Entscheidungsprobleme 137
Satz 2. Gelten die Annahmen 1 bis 5, so ist das Entscheidungsproblem
S O = [x, ~o, E, V o, ~H]
stabil. Zum Beweis werden wir die Giiltigkeit der Voraussetzungen von Satz 1 nach-
weisen. ~H ist im Sinne der Metrik 0 (~v, 5n') : ]1 ~ -- ~' I1 bikompakt. Es seien nun ~, V und ~ beliebige Elemente aus ~, Sz bzw. H. {~n e / / : n ~ 1, 2 . . . . } und {(~ e ~/~: n = 1, 2 . . . . } seien beliebige Fo]gen mit
lim:t(~n,~~ und l im]]~n--~]] I=O.
Dann folgt aus
l i m ] R ( L ~ ' " [ ~ n, V)-- R(#,Ov"[~o, V) ~ r l l V [ I l i m ~ ( ~ % ~ ~ (12)
die ben6tigte Stetigkeitseigenschaft
lira I v) - 0, l o, V) l n---~oo
g ][ VII ~ lim [ P~162 ) - - P~ 1 = O, i ,k n---->~
falls: lira [ pO (X~ [~ n] thee [~]) _ pO (s [~] \ s [~ n]) I = 0 (13)
n---> oo
gilt. (13) folgt daraus, dab wegen der Annahme 5 mit den Bezeichnungen
(14)
zu jedem N > 0 mit der Eigenschaft, dab die Punkte aus Kiv durch ganz in Kiv liegende Streckenzfige paarweise verbunden werden k6nnen (vgl. Definition 3), ein nN mit
:T~ [~ln]\Er~ [~] c HN, ~r~[~]\~k[~] cHN (n > nx) (15)
existiert 1 und
lira pO (H~) = 0 (i = 1 . . . . , s) N - ~ o o
gilt. Wir werden nun die Stabilitgt eines Entscheidungsproblems
S O = [X, ~ ~ E, V o, 9 ]
untersuchen, bei dem ~ die Klasse aller Entscheidungsfunktionen mit •-meB- baren ~j (x) ist und der R a u m / / d u r c h die folgenden Annahmen bestimmt ist:
Annahme 6. Es sei # ein a-endliches MaB auf der abzghlbar erzeugten a-Algebra ~. A sei eine Teilmenge des R t. F/ir jedes i = 1 . . . . . s and 2 ~ A sei P~ das durch eine Wahrscheinlichkeitsdichte P/(x; 2) bezfiglich # festgelegte Wahrscheinlich-
1 Ein n/v mit ~]neKn (n > nzr hat, wie man leicht sieht, die Eigenschaft (15).
138 O. BV~KE:
keitsmaB auf 9/. Weiterhin sei Pi (x; A) aul~er ffir Werte x aus einer/~-Nullmenge eine an der Stelle 2 ---- 2 ~ stetige Funktion (i -- 1 . . . . , s).
Annahme 7. z sei der Raum 4er Famflien ~ ~- {P~ : i ---- 1 . . . . , s} mit der Metrik
e (~ , ~ ' ) = II ~ - 2' II.
Satz 3. Gelten die Annahmen 2, 3, 6 und 7, so ist alas Entscheidungsproblem S ~~ = [X, ~ ~ E, V o, ~] stabil.
Den Beweis werden wir wieder mit Hilfe des Satzes 1 ffihren. In ~ fiihren wir zuniichst eine Topologie ~: ein, bei cter die Klasse der Mengen
v(a, I/, ~ ) - - / ~ :m~xl f / (~ ) (~ , (x ) - ~: (x))t,(d~)I < ~/(S~L5, ~ > o) / i /
eine lokale Unterbasis bei der Entscheidungsfunktion ~' ist. Hierbei ist L~ cler Banaehraum der #-integrierbaren Funktionen. Aus einem Beweis yon L~ CAM ([16] ; S. 73) folgt, dal~ ~ bikompakt im Sinne yon ~ ist. Ist nun {(~", (~n) :neD} ein Netz in H • ~ , welches gegen (~~ ~) konvergiert, dann folg~ wegen der vor- ausgesetzten Stetigkeit yon T~(x; 2):
lim I R (~, ~n I ~a-, V) -- R (~, ~n I ~0 , V) I _<_
r s [I V II nm f I P (x; Z-) -- p (x; 2o) I ~ (dx) = 0
und wegen der Definition der Topologie ~::
nm I R(~, a~l ~ ' , V ) - R(~, al ~ ' , V) =<
=< FlOral f F P~(*; 20)v~(~)~(d~) -- i = 1 n k = l
- ~ ~ p~(x; 20) v~ ~ (~)/~(ax) I = o. k = l
Damit grit aueh
lim R(~, Onl~ ~", V) ---- R(~, O I ~ ~~ V),
womit die im Satz 1 vorausgesetzte Stetigkeit yon R (~, (~ [ ~ , V), also die Stabiliti~t yon S ~~ naehgewiesen ist.
Die Auffindung yon Bedingungen ffir die Stabilit~t bei andersartigen Ent- seheidungsproblemen, z. B. mit einem Kontinuum yon mSglichen Parametern oder Entscheidungen ist ein noeh ungel6stes Problem, dessen Behandiung wie bei den hier betrachteten endliehen Entschei4ungsproblemen fiir die Konstruktion yon Verfahren der sta~is~isehen Induktion wiehtig sein kann.
5. Klassifikationsprobleme mit parameterabMingigen Merkmalsverteflungen
Bei den in 1. besehriebenen Klassifikationsproblemen der Diskriminanz- analyse, bei 4enen die Verteilung P~ der Vektoren x e ~(s Borelmenge des R n) der Merkmale yon Individuen aus jeder Klasse K~ durch den Ansatz einer para- meterabh~ngigen Wahrscheinliehkeitsdiehte pl(x; 2) (bezfiglieh eines a-endlichen
Stabilit~ statistischer En~scheidungsprobleme 139
Mal3es ff auf der a-Algebra ~I der Borelmengen A c ~ ) festgelegt wird, ist meistens der (in der Borelmenge A c Rt tiegende) Wer~ des Parameters ~ fiberhaupt nicht bekannt oder ist auf Grund yon a priori Beobachtungen naherungsweise gegeben. Wird der Parameter ~ attf Grund yon a priori Beobachtungen geseh~tzt, dann i s t die Anwendung der Klassifikationsverfahren, welche unter Voraussetzung der ,,gesch~tzten" Dichten pi(x; ~) optimal sind (vgl. [7], [17], [18], [19] und auch [20]), nicht ohne weiteres sinnvoll, da die erstrebten Optimalits nur im Falle bekannter Wahrscheinlichkeitsdichten Pi (x; ~) gelten. Die a priori Beobachtungen werden h~ufig derart gewonnen, da6 bei einer zuf~lligen Stich- probe yon je ml Individuen aus je4er der Klassen J~Ci (i = 1, . . . , s) die Merkmals- vektoren X(t,J) (?" ---- 1 , . . . , m~; i = 1 . . . . . s) beobachtet werden.
Auf Grund der Beobachtung des zuf~lligen Vektors
Y(~) = (Y(~), X) = (X (~,~), X (~,2) . . . . . X (~, ~,), X)
mit unabhgngigen n-dimensionalen Komponenten X(I,J), X, wobei X 4er Merk- malsvektor des zu klassifizierenden Individuums ist, wird eine der Entscheidungen ey: , ,Individuum ist aus X j " (] = 1 ... s) getroffen. Bezeichnet ~(m) die Klasse aller Entscheidungsfunktionen 5 : (~1 (y(m)), ":', 5s (y(m))) mit 9~(m)-mel~baren 5j(y(~))
Cb) ~ ( " ) = ~(~") x ~ = i x l x ~:,
dannis t das Risiko oder Irrtumswahrscheinliehkeit bei Verwendung des Klassifi- kationsverfahrens 3 e ~(m) dutch
.R(~o)(i, 0) = 1 -- y y 5~(y(1 ~), x)P~o(dx) P(~,m)(dyy))
p(&m)= X X \ i=~ i
gegeben, falls ~0 der wahre Parameter bei den Verteilungen P~ bzw. das zu klassifizierende Individuum aus 9~1 ist (vgl. [18]). Ist bekannt, dab das,,Mischungs- verhgltnis" oder a priori Verteflung $ = (~1 . . . . . ~s) (~i : relative Hiiufigkeit yon Individuen aus ~f, in der Grundgesamtheit) in einer Menge Q e ~ liegt, dann kann man analog zur Definition 1 ein Klassifikationsverfahren 50 c ~(m) als optimal ansehen, fiir welches
supR(~)(~, 5Q) = inf sup R(~)(~, 0) = RQ (16)
gilt. Das , ,Optimum" RQ h&ngt offensichtlich nicht yon m -~ (ml ... ms) ab. Ffir das ,,bedingte Risiko"
i g~t
inf sup R~0(~, 5]y(1 ~)) = RQ (y(l~)eX~ m,), (17) ~e~(~) ~ Q
wobei ~(m) durch die grS~ere Klasse ~(1 ~) aller Entscheidungsfunktionen 0, ffir welche ~t (Y(1 m), x) (i = 1 ... s) ffir festes y~m) 2 -m e , bare Funktionen sin4, crsetzt werden kann.
140 O. BU~-KE:
Ist der wahre Parameter ~0 nicht bek~nnt, so ist die Bestimmung eines im Sinne yon (16) optimalen Klassifikationsverfahrens und eines Optimums RQ natfirlich nicht mSglieh, mun kann abet Klassifikationsverfahren (~m aus ~(m) oder ~(~u) konstruieren, deren zugehSrige ungiinstige bedingte Risikos oder deren ungiinstigste Risikos fiir hinreichend grol~e m~ (i ~ 1 . . . . . 8) in der Niihe des Optimums (16) liegen.
6. Uber die asymptotisehe 0ptimalit~it yon Klassifikationsverfahren bei geschiitzten Parametern
Es sei {~(m) (y(~)) : ~ = 1, 2 . . . . ; i = 1 , . . . , s } (18)
eine Fo]ge yon Sch~tzfunktionen ffir den wahren Parameter 20. Im Entscheidungs- problem S ~ -~ [X, ~ , E, V ~, ~] seien ~x, E und ~ die in 4. bzw. 5. definierten R~ume. Die Verlustfunktion V ~ sei durch
V(~)(P~, e,) = {O1 : i = ~ i . ]
definiert. Nach [13] existiert ffir jedes ~ e A un4 ffir ein beliebiges, im folgenden festes Q e ~ f (vgl. 4.) im Entscheidungsproblem S x eine Q-optimale Entseheidungs- funktion, welche wit mit 5 [Q, 2] bezeichnen. Ffir jedes m betraehten wir nun das Klassifikationsverfahren
5m __-- ~ [Q, ~(m)(y(ln))] e ~(1 ~) .
Wir zeigen eine asymptotische Optimalit~tseigensehaft der Klassifikations- verfahren ~m :
Satz 4. Ist Annahme 6 er/i~llt und ist (18) eine stark konsistente Folge yon SchStz- ]unktionen, dann gilt 2
lim sup R(~)(~, (Smly(l~)) -~ RQ, ~eQ (19) D(m) lim sup ~(~, (y,,~,) (~, ~ l y [~)) = RQ.
m ~eQ
mit Wahrscheinlichkeit 1. Zum Beweis des Satzes bemerken wlr, dab wegen der im Satz 3 bewiesenen
Stabilitiit des Entscheidungsproblems S ~0 bzw. wegen (3) aus ]im ll ~m -- ~oU = 0 (~m ~ A) mit der Bezeichnung m
S
Ra (~, ~) = 1 -- ~ ~ ~ ~ (x) Pr (dx) (20) i = l
die Konvergenz
bzw.
lim sup Rao(~, (~[Q, 2m]) = RQ (21) m ~eQ
lim sup R ~ (~, (~ [Q, ~m]) = RQ (22) m ~eQ
2 l i m sei e ine A b k i i r z u n g fi ir l im. m m~-+co
i ~ l . . . . . s
Stabflit~t statistischer Entscheidungsprobleme 141
folgt. Wenn wir beachten, dab R(m)l~ (}m y(m) '~' ] 1 ) R~(~, 5[Q, 2(m)(y(lm))])
ist, erhalten Mr aus der vorgesetzten starken Konsistenz (21) und (22) die Be- haup~ung (19).
Fordern Mr ffir die Folge (18) nur die Konsistenz, dann k6nnen wit eine schw/ichere asymptotische Eigenschaft zeigen.
Wir ffihren einige Bezeichnungen ein:
RQ[2] = sup R~($, O[Q, )d), #eQ
rQ [4] = sup R~.0 (~, ~ [Q, 2]), ~eQ
c~r ) FB(m)= {A eg.I(I~): B c A } , (B ~ ~
Pm (B) = inf P(~~ m) (A).
Satz 5. Ist Annahme 6 er/iillt und ist (18) eine konsistente Folge von Sch~itz- /unktionen, dann gilt/iir ]edes k > 0:
lira Pm ({Y(1 n): ] RQ -- rQ [2(m) (y~))] [ > k}) m
= lim Pm({y(m): ] RQ -- RQ[2(m) (y(l~))] [ > k}) ---- 0. ?Tb
Dieser Satz folg~ unmit~elbar aus (21) und (22). Sind die Funktionen
RQ [2(m) (y(m))] bzw. rQ [2(rn) (y(xm))]
?l(ln)-mel3bar, dann folgt die Konvergenz in Wahrscheinlichkeit:
1 ) - - lim rQ [~(m) (y(lm))] m
---= p -- ]im RQ [)Jm) (y(lm))] _= RQ. (23) m
ttinreichende Bedingungen ffir diese Mel3barkeit geben Mr im Satz 6 an. In Spezialf/fllen werden wir unter bestimmten Voraussetzungen, welche die
Zugeh6rigkeit yon 5m zu ~(m) sichern, eine asymptotische Eigenschaft ffir das ungfinstigste I~isiko nachweisen
Annahme 8. a) Es i s t s ~ 2 und
Q = { ~ : a<=~l<=b}. b) Die Funktionen
fi, z(~l) = P~({xe3f :$1pl(x; 4) >=$up2(x; 2)}) (i-= 1, 2; ~ e A )
sind ffir ~1 ~ (0, 1) streng monoton wachsend in ~ .
c) Ffir jedes ~ e ~ bzw. 2 ~ A ist
{ x e : ~ : ~ p ~ ( x ; ,~) = ~p~(x; ,~)}
eirm P~-Nullmenge (P~ = P~ ~- P2~).
Aus den Bedingungen c) folgt, dab im Entscheidungsproblem S z eine bezfiglich Bayessche Entscheidungsfunktion (h6chstens mit Ausnahme yon Werten x aus
142 O. Bv~x~:
einer P~-Nullmenge) eindeutig bestimmt ist (vgl. [4]). Die Entseheidungsfunktion {~, 2} e ~, bei welcher die Entseheidung e~ mit Wahrseheinliehkeit 1 getroffen
wird, wenn i der kleinste Index mit
~p~(x; 2) = sup~jpj(x; 2) i
ist, stellt eine solehe bezfigliche ~ Bayessche Entseheidungsfunktion dar. Ist ~ = (~1, ~ ) eine ungfinstigste a priori Verteflung im Entseheidungsproblem S x, dann ist ~ (~, 2) die Minimax.Entseheidungsfunktion, und es gilt die Gleichung
R~[1, ~{~, 2}] = P~({x e X : ~lpl(x; 2) < ~2p2(x; 2)})
Wegen Bedingung b) gibt es nur ein ~ e ~, welches dieser Gleichung genfigt, und die ungfinstigste Verteilung ~z ist eindeutig bestimmt. Jede Q-optimale Ent- scheidungsfunktion ~ [Q, 2] ist Bayessch bezfiglich ~ = (~;,1, ~ ) , wobei wir
~ -~ ~ :a ~ ~ ~ b (24) :b = < ~
setzen (vgl. [7] oder [13]), und ~ [Q, 2] ist (hSchstens mit Ausnahme yon Werten x aus einer P~-Nullmenge) eindeutig bestimmt.
Neben der Annahme 8 werden wir aueh die folgende Annahme 9 gebrauchen:
Annahme 9. Q enths nur ein Element ~. Bei der Konstruktion der Entscheidungsfunktionen ~m---~[Q, 2(m)(y(~))]
werden wit im folgenden die (bis auf Werte x aus einer P~-Nullmenge eindeutigen)
Q-optimalen Entscheidungsfunktionen ~ [Q, 2] dureh ~ [Q, 2] - - (~ {~, 2} eindeutig festlegen.
Es gilt: Satz 6. Es sei (18) eine Iconsistente Folge yon SchStz/unktionen, und es sei
Annahme 6 er/i~llt, wobei p~ (x; 2)/i~r ]edes i = 1 . . . . . seine 9.I • !~-meflbare Funktion ist (~ : a-Algebra der Borelmengen B c A). Ist Annahme 8 er/i~llt, dann gilt ]i~r
die Konvergenz (23) und ~im sup R(~)(~, ~ ) = R~. (25)
m ~eQ
(23) und (25) gelten auch, ]alls Annahme 9 er/i~llt ist und
ist. Wir nehmen zuni~chst an, dab Annahme 8 efffillt ist. Dann ist mit der Be-
zeichnung d (x, 2) = ~ . p~ (x; 2) -- ~ . p~ (x; 2)
die Entseheidungsfunktion ~ [Q, 2] = ~ {~, 2} dureh die Wahrscheinlichkei~
{01 :d(x' ~ ) ~ 0 (xe~ ) ~[Q, 2] (x) = d(x, ~) >=o
Stabilit~t sta~istiseher Entscheidungsl~robleme 143
ffir die Wahl der Entscheidung el festgelegt. Wenn wir zeigen k5nnen, daB ~ stetig in ~ ist, dann erh~lten wir wegen der 9~ • ~-MeBbarkeit yon Pi (x; ~), da] die Wahrseheinliehkeit
6~ (y(m), x) : 61 [ Q, ~ (m) (y(m)) ] (x) (26)
eine ~(m)-mel3bare Funktion darstellt.
Um die Stetigkeit yon ~ zu beweisen, genfigt es wegen (24) und der Kompakt- heir yon 3 zu zeigen, da~ fiir je4e Folge
(~j: ?" : l, 2, ...} mit lira ~j~--~, und lim $~j~--$, (27)
die Identit~t ~, ~ $~. folgt. Analog zum Beweis yon (3) kSnnen wir zeigen, dab aus (27)
inf R~.(~,, ~) ---- lira inf R~(~j, 6) ~- lim sup i n f / ~ ( ~ , 6)
= l i r a inf sup R~j ($, 6) =- inf sup R~, (~, 6) ---- sup infR~,(~,6)
folgt. Wegen der Eindeutigkeit der ungiinstigsten Verteilung mul~ damit Sx, = ~, gelten.
Ist an Stelle der Annahme 8 die Annahme 9 erfiillt, dann kSnnen wir die ~(m)-Mel]barkeit yon ~ (y(~), x) in der gleichen Weise zeigen.
Unter den Voraussetzungen des Satzes ist also 6 m e~(m). Dann sind RQ[,~(m) (y(~))] bzw. rQ[~(m) (y(~))] ~I(~)-meBbare Funktionen, und es grit (23). Hieraus erhalten wir
RQ : lim f rQ (~(m) (yy)) p(~.o,m)(dy~) ) ~ n
lira sup S Ri~ ) (~, 6m I Yl ~)) P(~~ ~) (dY(~ ~)) m ~eQ
~-- lim sup R(~ ) (~, 6 m) ~ RQ, ~eQ ~eQ
woraus die Behauptung (25) folgt. B e m e r k u n g 1. Im Spezialfall Q -- (~} (Annahme 7) ist Satz 6 eine Folgerung
aus Theorem 1 in [9]. Der allgemeine Fall, in dem Q mehr als ein Element enthi~lt, insbesondere der wichtige Fall Q -- ~, ist in der Literatur noch nicht beh~ndelt worden.
B e m e r k u n g 2. Sind die Verteilungen P~ dureh ~qormalverteilungen /V(a(~), M(~)) gegeben, cIann kSnnen die S~tze 4 bzw. 6 angewandt werden. Ist beispielsweise s----2 und werden die unbekannten Parameter mit Maximum- Likelihood-Sch~tzfunktionen gesch~tzt, dann sind die Voraussetzungen yon Satz 6 erffi]lt, falls Q ~- (~: a ~ $~ g b} ist. Die Bereehnung der ungfinstigsten Risikos sup R~)(~, 6 m) als Funktion des
~eQ unbekannten Parameters 40 ist nur mit groBem Aufwand un4 in besonderen Spezialf~llen mSglich.
7. Ein asymptotiseh optimales Klassiflkationsverfahren mit a priori Beobachtungen an Individuen einer Stichprobe aus der Grundgesamtheit
~n den Abschnitten 5 un4 6 batten ~ r angenommen, dab die zur Sch~tzung des Parameters ~ benStigten a priori Beobaehtungen an Stichproben yon je mt
144 O. BUNKE :
Individuen aus den Klassen J f l durchgeffihrt werden. Eine andere fiir Anwendun- gen ebenfalls wichtige Situation entsteht, wenn zur Sch~tzung yon 1 aus der vor- gegebenen Grundgesumtheit eine Stichprobe yon N Individuen Iv (v = 1, . . . , N) herausgenommen und an jedem Individuum seine Klassenzugeh6rigkeit z~ und sein Merkmalsvektor x(~) beobaehtet wird. Das Klassifikationsproblem besteht darin, die Kl~ssenzugeh6rigkeit eines Individuums Io aus der Grundgesamtheit auf Grund der Beobachtung seines Merkmalsvektors x und der a priori Beobaeh- tungen (z~, x(~)) (~ ---- 1, . . . , N) zu bestimmen.
Ffir die Formulierung dieses Problems ffihren wir nun einige Bezeichnungen ein. Fiir jedes ~ (~ ---- 1, 2 . . . . ) sei Z~ eine diskrete zuf/fllige Variable, welehe die Werte i = 1 . . . . . s mit Wahrseheinliehkeiten ~o . . . . . ~0(~0 e ~) annimmt. Ffir iedes v sei X(~) ein zuf/illiger Vektor, dessen bedingte Wahrscheinliehkeitsverteilung unter der Bedingung ,,Z~ = i" dureh P~ gegeben ist. X sei wieder ein zuf/illiger Vektor, dessen Verteilung dureh eines der WahrseheinlichkeitsmaBe aus der Familie {P~~ : i = 1 . . . . . s} gegeben ist. Mit der Bezeichnung T~ ----- (Z~, X(~)) nehmen wir weiterhin an, da~ die zufi~lligen Vektoren X, T~, T2 . . . . voneinander stochastisch unabh~ngig sind. Dadurch ist ffir jedes N -~ 1, 2 . . . . die Verteilung P[~,~~176 des zufi~lligen Vektors T (N) = (T~, . . . , TN) bzw. die Verteilung yon (T (~v), X) festgelegt. Klassifikationsverfahren ~ shad dutch s-Tupel
(~ (t (~v), x ) , . . . , ~ (t (~), x))
gegeben. Es sei nun
{Z(iv) (t(~v)) : N = 1, 2 . . . . } (28)
eine Folge yon Sch~tzfunktionen ffir den ,,wahren" Parameter ~0- Wird die Anzahl der Indizes v (v -~ 1 . . . . . N) mit der Eigenschaft z~ = i mit m~ iv) (t (~v)) bezeichnet, dann stellt
{~(~) (t(~)) = (N-1 m(()(t (~)) . . . . . ;V-1 m~ ~) (t(~))) : N = 1, 2 . . . . }
eine stark konsistente Fo]ge yon Schi~tzfunktionen ffir ~0 dar. Bezeichnet ~ {~, ~} wieder die in 6. definierte Bayessche Ent scheidungsfunktion, dann besitzt die Folge
{Olv = ($ {~(iv)(t(lv)), 2(iv)(t(lv))} : N ---- 1, 2 . . . . } (29)
yon Klassifikationsverfahren unter bestimmten Bedingungen &hnliche asympto- tische Optimalits wie die in 6. betrachteten Folgen.
Mit den Bezeichnungen (20) und R~ ---- inf Ra0 (~, 8) gilt:
Satz 7. Ist Annahme 6 er/is und ist (28) eine stark konsistente Folge yon ScMitz- ]unlctionen, dann gilt
lira R~0 (~0, ~ {~(~v)(t(~v)), 2(iv)(t(~v))}) .~oo (30)
= l im R~,~,(t,~,)(~(N) (t(~v)), ~ {~(~v) (t(~v)), 2(N) (t(~v))}) = R~ _~--->oo
mit Wahrschelnlichlceit 1.
Diesen Satz k6nnen wit in gleieher Weise wie Satz 4 aus Satz 3 mad aus (3) her- leiten.
Stabilit/it statistischer Entscheidungsprobleme 145
Wir ffihren nun die abkfirzende Bezeichnung
R(lV) ~0 5(2v)) = f R;~. (~0, ~ {~(~)(t(~)), 2(N)(t(iv))}) p[lv, ~o,~0] (dt(~)) (31) 20 ~.b
ein.
Analog zu Satz 6 kann der folgende Satz bewiesen werden:
Satz 8. Ist (28) eine ]consistente Folge von Schdtz/unlctionen und ist Annahme 6 er/i~llt, wobei Pi (x; +~) /i~r ]edes i ----- 1, . . . , se ine 9i • ~-me[3bare Funlction ist, dann gilt
p - - lira R~0 (~o ~ {~(~v)(t(~v)), ~(~)(t(N))}) .~--->oo
p - - l im R~(~> (t(~+)) (~(~v)(t(~v)), ~ {~(~v)(t(~v)), ~(~)(t(N))}) = R~o (32) /y-+r
und lira R(~ ) ($0, 6iv) = R~0. (33)
Die Vorausse tzungen des Satzes 8 sind beispielsweise erffillt, wenn die Ver- tei lungen PC Normalver te i lungen mi t nnbekann ten P a r a m e t e r n sind und die P a r a m e t e r analog wie in 6. gesch/itzt werden.
Wir haben also mi t Hilfe unserer al lgemeinen Stabfl i t / i tsuntersnchung bewie- sen, dab unte r be s t immten Voraussetzungen das Risiko der bei gesch/~tzten ~ und X0 Bayesschen Klass i f ikat ionsverfahren mi t wachsender Anzahl N der a priori Beobach tungen gegen das Bayessche Risiko R~0 konvergier t . Ffir einen Spezialfall d iskreter Verteflungen P l (vgl. [21]) wurde diese Eigenschaf t schon yon COC~RA~r und HOPKINS in [13] angegeben.
t Io~L und PET~RSON [23] haben nnter speziellen Vorausse~zungen das Problem einer a sympto t i sch opt imalen Wahl der Schi~tzfnnktionen X(N) bzw. ~(~v) in
{~(~r ~(N)} unbersuchL Aus ihren Ergebnissen folgt auch die Konvergenz (33), falls t (~v) und ~(N) gewissen Konsis tenzbedingungen gentigen.
Literatur
[1] Box, G. E. P.: Non normality and tests of variance. Biometrika 40, 318--335 (1953). [2] SCItL~_PFER, T. : Gfitefunktionen und Robustheit paramctrischer Prfifverfahren. Disser-
tation, Bern 1962. [3] SRIVASTAVA, A. B. L.: Effect of non-normality on the power function of the t-test.
Biometrika 45, 421--430 (1958). [g] WZ~LD, A. : Statistical decision functions. New York: Wiley 1950. [5] MISES, R. vo~r On the classification of observation data into distinct groups. Ann.
math. Statistics 15, 69--73 (1945). [6] WELCh, B. L. : Note on discriminant functions. Biometrika 81, 218--220 (1939). [7] BV~KE, O. : tiber optimale Verfahren der Diskriminanzanalyse. Abh. Deutsche Akademie
der Wissenschaften Berlin, K1. Math. Phys. Techn., 4, 35--41 (1964). [8] W~rLD, A. : On a statistical problem arising in the classification of an individual into one
of two groups. Ann. math. Statistics 15, 145--163 (1944). [9] F~x, E., and J .L . HODO]~S: Discriminatory analysis, hIonparametric discrimination:
consistency properties. USAF Schoool of aviation medicine, Randolph Field 1951. [10] STOLL~R, D.S.: Univariate two-population distribution-free discrimination. J. Amer.
statist. Assoc. 49, 770--777 (1954). [11] Jo~cs, M.V.: An empirical Bayes approach to nonparametric two-way classification.
Studies in item analysis and prediction pp. 221--232. Stanford: University Press. 1961.
146 O. B~I~rK]~: Stabilit~t statistischer Entscheidungsprobleme
[12] RIcB~rw~, H.: Subjektive Wahrscheinlichkeit nnd multisubjektive Tests. Z. Wahrsehein- lichkeitstheorie verw. Gob. 1, 271--277 {1963).
[13] BunKE, 0. : Bedingte Strategien in der Spieltheorie: Existenzs~itze und Anwendung auf statistische Entseheidungsfunktionen. Trans. Third. Prague Conf. Information Theory, Statist. Decision Functions Random Processes, 35--43. Prag 1964.
[14] KELLEY, J. L. : General topology. New York: Van Nostrand 1955. [15] ANDERSON, T.W., and R.R. B ~ D V R : Classification into two multivariate normal
distributions with different covariance matrices. Ann. math. Statistics 83, 420--431 (1962).
[16] L~Cx~, L. : An extension of Wald's theory of statistical decision functions. Ann. math. Statistics 26, 69--81 (1955).
[17] ANDERSON, T. W. : Introduction to multivariate analysis. New York: Wiley 1958. [18] RAo, C. I~. : A general theory of discrimination when the information about alternative
population distributions is based on samples. Ann. math. Statistics 25, 651--670 (1954).
[19] ELLISOn, B. : A classification problem in which information about alternative distribution is based on samples. Ann. math. Statistics 33, 213--223 (1962).
[20] Kc~o, A. : The classificatory problem viewed as a two decision problem IL Mem. Fac. Sci. Kyusyu Univ., Ser. A. 4, 63--83 (1960).
[21] BUnKE, O. : Nichtparametrisehe Klassifikationsverfahren ffir qualitative oder quanti- tative Beobachtungen. Wiss. Z. Humboldt-Univ. Berlin, math. naturw. R. 15 (1965, 1966).
[22] Cocm~n, W. C., and C. E. HoPKins: Some classification procedures with multivariate qualitative data. Biometrics 17, 10--32 (1961).
[23] HowL, P. G., and R. P. P~T~Rson: A solution of the problem of optimum classification. Ann. math. Statistics 20, 433--438 (1949).
[24] RozANov, J .A.: ~ber die Stabilitat yon LSsungen linearer Probleme bei stationaren Prozessen (russisch). Teor. Veroyatn. Primen. 9, 528--530 (1964).
II. Mathematisches Institut Humboldt Univemitat X 108 Berlin, Unter den Linden 6