sekwencyjne problemy decyzyjne wykład 7

Sekwencyjne problemy decyzyjne

Wykład 7

2

Firma zdała sobie sprawę, że wypuściła na rynek wadliwy produkt. Nie jest pewna skali zjawiska – może być duża (40%) lub mała. Jeśli firma nie da po sobie znać, to wina za duży problem na 25% nie zostanie przypisana firmie (za mały na pewno nie). Firma może zignorować problem, upublicznić sprawę lub wszcząć wewnętrzne śledztwo. Wewnętrzne śledztwo na 80% faktycznie pozostanie w ukryciu i da pewną informację nt. skali problemu. Wtedy firma będzie mogła ponownie podjąć decyzję o upublicznieniu lub zignorowaniu przy zachowaniu ww. prawdopodobieństw. Jeśli śledztwo się wyda, pozostaje jedynie niepewność co do skali problemu i reakcji ludzi.Straty – konieczność rekompensat i wymiany sprzętu – wynikające z dużego problemu wynoszą 100 [wszystkie kwoty w mln $], z małego 30. Jeśli problem jest duży, to dodatkowa strata wyniesie: 100 – jeśli firma ignorowała problem, 50 – jeśli firma badała kwestię, ale w ukryciu.Koszt upublicznienia jest równy 1, zaś śledztwa 5.

Przykład

3

• Jakie warianty decyzyjne są dostępne, ile ich jest?• Jakie są możliwe konsekwencje dla poszczególnych

wariantów? Jakie są związane z nimi wypłaty i prawdopodobieństwa wystąpienia?

• Jaka jest optymalna decyzja? Jakie zachowania przewiduje?• Jak wpływa wzrost prawdopodobieństwa przecieku ze

śledztwa? • Ile jest warta możliwość przeprowadzenia śledztwa?• Ile maksymalnie warto zapłacić za informację o skali

problemu?

Przykład – pytania

4

• Brak uwidocznienia struktury• Trudność odgadnięcia niezbędnych parametrów• Trudność reewaluacji• Niewidoczne współzależności między parametrami

Model sekwencyjnego problemu decyzyjnego – złe podejście

Skala jest duża, ale sama z siebie nie wyjdzie; sekretne badania

wyjdą na jaw… …

Zignoruj problem … … …

… … … …Prowadź badania, jeśli uda się utrzymać

sekret i okaże się, że …, to … … … …

5

• Elementy modelu:– struktura (dostępne działania, następstwo czasowe)– parametry (prawdopodobieństwa, koszty, wypłaty)

• Struktura: drzewo decyzyjne – graf (nieskierowany, spójny, acykliczny)– korzeń reprezentuje początek sytuacji decyzyjnej– wierzchołki reprezentują moment oczekiwania lub zakończenie

problemu– wierzchołki: decyzyjne, losowe, końcowe– krawędzie między wierzchołkami reprezentują działania/reakcje– odległość wierzchołków od korzenia reprezentuje następstwo czasowe

Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne

7


• Struktura: …

• Parametry:– miary prawdopodobieństwa dla wierzchołków losowych– …

Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne, c.d.

9


• Struktura: …

• Parametry:– miary prawdopodobieństwa dla wierzchołków losowych– wypłaty dla wierzchołków końcowych– koszty dla działań i reakcji (krawędzi wychodzących z odpowiednich

węzłów)

Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne, c.d.

11

• Stałość parametrów• Czas tylko porządkowo (tylko następstwo

czasowe)• Jeden decydent• Jedno kryterium• Liniowa funkcja użyteczności

Przyjęte uproszczenia modelu

12

• Wariant decyzyjny jednoznacznie określa zachowanie decydenta poprzez podanie reguł: „jeśli wystąpi stan świata X, podejmij działanie Y”

• Wariant decyzyjny to maksymalny spójny podgraf, w którym każdy wierzchołek decyzyjny ma dokładnie jeden następnik

• Ile jest wariantów decyzyjnych w naszym problemie?

Model sekwencyjnych problemów decyzyjnych – warianty decyzyjne

14

Przykładowe warianty decyzyjne

15

• Każdemu wariantowi odpowiada co najmniej jedna konsekwencja, tj. ścieżka działań i reakcji, która może zajść w wyniku wybrania tego wariantu

• Konsekwencje reprezentowane są przez maksymalne spójne podgrafy, w których każdy węzeł (poza końcowymi) ma jeden następnik

• Każdy wariant ma tyle konsekwencji, ile węzłów końcowych

• Konsekwencjom odpowiadają wypłaty dla decydenta oraz prawdopodobieństwo (przy założeniu wybrania wariantu, dla którego dana konsekwencja możliwa)

Konsekwencje

16

Przykładowe konsekwencje

17

• W dużych problemach łatwiej wybrać metodą indukcji wstecznej:– przesuwamy się od węzłów końcowych do wierzchołka– dla węzłów końcowych mamy zdefiniowaną wypłatę– z każdym węzłem losowym utożsamiamy wypłatę jako wartość

oczekiwaną wypłaty dla jego następników– z każdym węzłem decyzyjnym utożsamiamy wypłatę jako najwyższą

wypłatę dla któregoś następnika pomniejszoną o koszt działania

• Uwaga:– dla każdego węzła decyzyjnego dokonaliśmy wyboru – te wybory definiują

wariant decyzyjny, który jest rozwiązaniem!– wartość obliczona w korzeniu drzewa definiuje oczekiwaną wypłatę przy

wybraniu rozwiązania – to jest także wartość całego problemu

Wybór metodą indukcji wstecznej

19

• Optymalny wariant przewiduje prowadzenie badań i upublicznienie wyników (o ile samoistnie nie nastąpił przeciek), jeśli okaże się, że skala problemu jest duża

• Oczekiwana strata w tej sytuacji decyzyjnej dla optymalnego wariantu wynosi 58,6 mln $

• Druga najlepsza opcja to natychmiastowe upublicznienie wyników – oczekiwana strata jest wówczas równa 59 mln $

Podsumowanie rozwiązania

20

Rockefeller ma pole w umiarkowanie roponośnej okolicy. Zgłosił się do niego oferent, proponując mu za to pole od ręki 750 tys. $, jeśli do transakcji dojdzie natychmiast.

Rockefeller może jednak próbować zarobić większe pieniądze. Wiadomo, że połowa pól w tej okolicy rzeczywiście obfituje w ropę. Można (za 250 tys. $) zbudować instalację pozwalającą na wydobycie. Jeśli pod polem znajdują się złoża, przychód wyniesie 2,5 mln. $. Jeśli nie, przychód wyniesie 0$. Co więcej, wykonanie odwiertu uniemożliwia sprzedaż pola (wszyscy wiedzą, że oznaczać to może wyłącznie to, że pole jest bezwartościowe)

Alternatywnie można zdecydować się na próbne odwierty połączone z badaniami geologicznymi, które kosztują 100 tys. $. Wyniki takich badań są mylne w 10%, jeśli pole jest roponośne (sensitivity = 90%), i w 30%, jeśli ropy nie ma (specificity = 70%).

Po wykonaniu badania można podjąć decyzję o budowaniu instalacji na powyższych warunkach lub sprzedaży pola. Co więcej, uzyskanie pozytywnego sygnału daje możliwość sprzedaży za wyższą kwotę, bo za 1 mln. $ (dostaje się odpowiedni certyfikat). Uzyskanie negatywnego wyniku można ukryć i sprzedać pole za 500 tys. $.

Przykład 2 – czarne złoto

21

Ustal strukturę drzewa

22

Wpisz wypłaty i koszty

23

Podaj prawdopodobieństwa

Prawdopodobieństwo warunkowe Bayes

• Prawdopodobieństwo zdarzenia pod warunkiem innego zdarzenia

• Prawdopodobieństwo całkowite zdarzenia w zależności od zajścia którejś z rozłącznych możliwości

• Prawdopodobieństwo zajścia hipotezy pod warunkiem zajścia skutku

)()()|(

HPHAPHAP

)()|()()|()()()()(

)()(

;;,,

11

1

1

11

nn

n

n

njin

HPHAPHPHAPAPHAPHAPAP

HAHAA

HHHHjiHH

)()|()()|()()|(

)()()|(

11

1111

nn HPHAPHPHAPHPHAP

APAHPAHP

Paradox Monty Hall’a

• http://www.math.ucsd.edu/~crypto/Monty/montybg.html

Które kryją samochód

Które wybrałem

Które otwiera Monty

Drzwi:

Przykład z testowaniem wirusa HIV• Prawdopodobieństwo, że dana osoba

jest zakażona wirusem HIV w danej populacji jest 0,1%

• Test się myli w 1% przypadków, jeśli osoba jest zakażona (sensitivity = 99%)

• Test się myli w 5% przypadków, jeśli osoba jest niezakażona (specificity = 95%)

• Jakie jest prawdopodobieństwo, że dana osoba jest zakażona pod warunkiem, że test wskazał „positive”?

• Jakie jest prawdopodobieństwo, że dana osoba nie jest zakażona pod warunkiem, że test wskazał „negative”?

0,099%

0,001%

4,995%

94,905%

0,099%

0,001%

4,995%

94,905%

Probability tree flipping

29

Podaj prawdopodobieństwa

30

Rozwiąż metodą indukcji wstecznej

31

• Optymalny wariant przewiduje prowadzenie badań i sprzedaż pola dla negatywnego wyniku oraz budowanie instalacji dla pozytywnego

• Oczekiwany zysk dla optymalnego wariantu wynosi 1,075 mln $

• Druga najlepsza opcja to natychmiastowe budowanie instalacji – oczekiwany zysk jest wówczas równy 1 mln $

Podsumowanie rozwiązania

32

• Jaka wartość możliwości prowadzenia badań?• Ile maksymalnie warto zapłacić za badania?

Wartość opcji 1

75 tysięcy $

33

• Jaka wartość możliwości ukrycia negatywnych wyników i sprzedaży pola?

Wartość opcji 2

34

• Strategia – rozwiąż bez opcji i porównaj oczekiwane wypłaty

Wartość opcji 2

35

• Darmowe (do celów niekomercyjnych):– InsightTree:

http://www.visionarytools.com/License.htm

• Płatne, wiele funkcji, dostępna wersja testowa:– TreeAge: http://www.treeage.com/

Narzędzia

http://www.visionarytools.com/License.htm

http://www.treeage.com/

37

• Rockefeller– policzyliśmy, ile warta jest możliwość prowadzenia badań– a ile warta jest możliwość przeprowadzenia doskonałego testu?

• Strategia:– zapiszmy problem reprezentujący dostępność pewnej wiedzy od początku– rozwiążmy nowy problem– porównajmy oczekiwane wypłaty dla optymalnych wariantów

• Jak reprezentować pewną wiedzę?– rozwiązanie niepewności (ropa jest – nie ma) na początku drzewa– dalsza część reprezentuje wcześniejszą strukturę (czasem można uprościć)– należy zaktualizować parametry drzewa

Oczekiwana wartość doskonałej informacji

38

EVPI – prosty przykład

39

• Jaka jest EVPI dot. występowania ropy? (przypomnienie: czułość testu = 90%, swoistość = 70%)

EVPI – ćwiczenie 2

sekwencyjne problemy decyzyjne wykład 7

Documents