байесовские сети и их приложения

Байесовские сети и их приложения.

Смирнова Н.В.

ИПУ РАН, 20111

БС: мотивация к использованию

Для решения диагностических задач

Классификация (наивный байесовский классификатор)

ДБС

2

Содержание доклада

Определение БС, структура БС

Основные вероятностные вопросы к БС

Пример: наивный байесовский классификатор

3

БС – графическая вероятностная модель

A, B булевские (принимают значения из {true, false}(могут быть непрерывными, дискретными)

Определение БС - 1

A

B

4

Используемые обозначения - 1

( )P A true ( )P a

( )P A false ( )P a

( )P A - вектор,

5

Априорная вероятность всех возможных значений сл. величины:

( ) ( ), ( )aP A P a P

Используемые обозначения - 2

- вектор, полное совместное распределение( , , )P A B Cслучайных величин , ,A B C

( , , ) ( , , ), ( , , ),..., ( , , )c a b cP A B C P a b c P a b P

|( | ) ( | ), ( | ), ( | ), ( )a b a bP A B P a b P b P a P

6

Основные вероятностные вопросы к БС

A

B

«добрый»

«толстый»

( | )?P A C

( | )?P C A

( , , )?P A B C

7

С«любит

покушать»

«От причин к следствиям»

( | )?P B C«От следствий к причинам»

«Имеют место одновременно»

( , )?P A B( , )?P AC ( , )?P B C( )?P B ( )?P C

Таблицы условных вероятностей (параметры БС)-2

A

B

( ) 0.5P a ( ) 0.5aP

( | ) 0.9P b a ( | ) 0.3aP b ( | ) 0.1bP a ( | ) 0.7b aP

1

1

1

8

Таблицы условных или безусловных вероятностей в БСможно представить более компактно

Таблицы условных вероятностей (параметры БС)-1

A

B

( )P A( ) 0.5P a ( ) 0.5aP

( | )P B A

( | ) 0.9P b a ( | ) 0.3aP b ( | ) 0.1bP a ( | ) 0.7b aP

9

Каждому узлу БС приписывается таблица условных или безусловных вероятностей

Таблицы условных вероятностей (параметры БС)-3

A

B

( ) 0.5P a

( | ) 0.9P b a ( | ) 0.3aP b

10

БС с «компактными» таблицами условной и безусловнойвероятности

Основные формулы байесовского подхода

( , )( )

( | ) P A BP B

P A B

( , ) ( | ) ( )P A B P A B P B

( , ) ( | ) ( )P B A P B A P A

( | ) ( ) ( | ) ( )P A B P B P B A P A( | ) ( )

( )( | ) P B A P A

P BP A B

1

( ) ( | )( )n

i ii

P A P B AP B

(1)

(2)

(3)

(4)

(5)

(6)

(опр. усл. вер.)

(из 1)

(из 1)

(из 2, 3)

(теорема Байеса, из 4)

(ф-ла полн. вер., из 5)

11

Вероятностные вопросы к БС-1

12

A

B

«добрый»

«толстый»

С«любит

покушать»

( ) 0.5P a

( | ) 0.9P b a ( | ) 0.3aP b

( | ) 0.8P c b ( | ) 0.4bP c

( , )?P a b

Поскольку вероятность любого высказывания A

равна сумме вероятностей атомарных событий, где

A=true, то

Вероятностные вопросы к БС-2

13

A ( , )?P a b

B

C

имеем:,( , , ) ( , )( , ) P a b c P a bcP a b

Возможные события:, ,a b c , ,a b c , ,a b c

, ,a b c , ,a b c , ,a b c

, ,a b c , ,a b c

Как найти величину типа

( , , )?P a b c

Вероятностные вопросы к БС-3

1X

1,..., ) ?(

nP x x

( , ) ( | ) ( )P a b P a b P b

Parents(X1)2X 3

X

С помощью

1 1 1 1 1,..., ,..., ,...,) | ) )( ( (

n n n nP x x P x x x P x x

…

1 1 1 2 1 1,..., ,...,) | )... | ) )( ( ( (

n n nP x x P x x x P x x P x

Поскольку в БС 1 1,...,| ) | ( ))( (

i i i iparents XP x x x P x

Теорема о декомпозиции:

1,...,

1

) ( | ( ))(n

n

i ii

P X parents XP X X

14

Вероятностные вопросы к БС-4

B

A

, , , ) ) ) | , ) | )( ( ( ( (A B C D A D B A D C BP P P P P

D

C

15

, , , ) ) ) | , ) | )( ( ( ( (a b c d a d b a d c bP P P P P

( , , , ) ( ) ( ) ( | , ) ( | )P a b c d P a P d P b a d P c b

В силу теоремы о декомпозиции,

Например, это означает, что:

Вероятностные вопросы к БС-5

A

B

C

Возвращаясь к нашему примеру,

имеем:,( , , ) ( , )( , ) P a b c P a bcP a b

( ) 0.5P a

( | ) 0.9P b a ( | ) 0.3aP b

( | ) 0.8P c b ( | ) 0.4bP c

( , )?P a b

, , ) ) | ) | ), , , ) ( ) ( | ) ( | )( ( ( ( (a b c a b a c b a b c P a P b a P c bP P P P P ( , ) 0.5 0.9 0.8 0.5 0.9 (1 0.8) 0.45P a b

Вероятностные вопросы к БС-6 Итак, мы вычислили, что

A

B

«добрый»

«толстый»

С«любит

покушать»

0.45( , )P a b

Вероятностные вопросы к БС-7

18

A

B

«добрый»

«толстый»

С«любит

покушать»

( ) 0.5P a

( | ) 0.9P b a ( | ) 0.3aP b

( | ) 0.8P c b ( | ) 0.4bP c

( | )?P a c

Вероятностные вопросы к БС-8

19

Согласно опр. усл. вер.,

( , )( | )( )

P a cP a cP c

, ,

( , ) ( , , ) ( , , ) ( , , )A a B C c

P a c P A B C P a b c P a b c

A

B

C

( | )?P a c

, ,

( ) ( , , ) ( , , ) ( , , ) ( , , ) ( , , )A B C c

P c P A B C P a b c P a b c P a b c P a b c

(полн. вер.)

Надо вычислить 6 величин видаПричем некоторые повторяются. Нельзя ли сэкономить?

( ) ( | ) ( | )P A P B A P C B

Вероятностные вопросы к БС-9

20

Можно. Существует прием «нормализация»

, ,

( , ) ( , , ) ( , , ) ( , , )A a B C c

P a c P A B C P a b c P a b c

, ,

( ) ( , , ) ( , , ) ( , , ) ( , , ) ( , , )A B C c

P c P A B C P a b c P a b c P a b c P a b c

Было нужно вычислить 6 величин, теперь 4:

( , )P a c ( , )P a c

( , )P a c ( , )P a c

2 2

Экономия вычислений очевидна.

Вероятностные вопросы к БС-10

A

B

C

Возвращаясь к нашему примеру,

имеем:( , ) 0.5 0.9 0.8 0.5 0.1 0.4 0.38P a c

( ) 0.5P a

( | ) 0.9P b a ( | ) 0.3aP b

( | ) 0.8P c b ( | ) 0.4bP c

( | )?P a c

( , ) 0.5 0.3 0.8 0.5 0.7 0.4 0.26P a c ( | ) 0.38/(0.38 0.26) 0.59P a c

Вероятностные вопросы к БС-11 Итак, мы вычислили, что

A

B

«добрый»

«толстый»

С«любит

покушать»

0.59( | )P a c

Вероятностные вопросы к БС-12

23

A

B

«добрый»

«толстый»

С«любит

покушать»

( ) 0.5P a

( | ) 0.9P b a ( | ) 0.3aP b

( | ) 0.8P c b ( | ) 0.4bP c

( | )?P c a

Вероятностные вопросы к БС-13

Согласно опр. усл. вер.,

( , )( | )( )

P c aP c aP a

A

B

C

( | )?P c a

Этот пример сводится к предыдущему (вычисляется аналогично)

Вероятностные вопросы к БС-14

Односвязная сеть

(сложность линейная) 25

A

B

C

В примере максимум понадобилось вычислить 4 величины

( | )?P c a

( | )?P a c

( , )?P a b

Основные типывопросов

Вероятностные вопросы к БС-15

Многосвязная сеть (в общем случае вывод NP-труден)26

( , )( | )( , ) ( , )

P u zP u zP u z P u z

, , , ,

( , ) ( , , , , , , )T V W X Y

P u z P u z T V W X Y

, , , ,

( , ) ( , , , , , , )T V W X Y

P u z P u z T V W X Y

42 16

42 16

Здесь нужно вычислитьуже 32 величины!

Предполагается, что независимы, т.е.

Наивный байесовский классификатор

С

FnF1 …

1,...,( | ) ?

nP C F F

(вероятности принадлежности наблюдения к одному из классов C при условии того, что зависимые пер-ые принимают заданные значения

1,...,

nF F

27| ,..., ) | ), ( (i j iC Ci j P F F P F

Наивный байесовский классификатор. Фильтрация спама

offer is secretclick secret linksecret sports link

28

SPAM

play sports todaywent play sports

secret sports eventsports is today

sport costs money

HAM

Message

wnw1 …

secret is secret

w1 w2 w3

Dictionary{offer, is, secret,…,money}

12 слов

Наивный байесовский классификатор. Обучение-1

Обучение происходит с использованием следующей формулы (“Laplacian smoothing”):

( )( )| |

count x kP xN k x

- сглаживающий параметр. Задаем самиk

N - количество примеров для обучения

( )count x - количество примеров, в которых X x| |x - количество возможных значений X

Наивный байесовский классификатор. Обучение-2

offer is secretclick secret linksecret sports link

30

SPAM

play sports todaywent play sports

secret sports eventsports is today

sport costs money

HAM

Message

wnw1 …

( )?P spam

( )( )| |

count x kP xN k x

3 1( ) 0.48 1 2

P spam

Пусть , тогда 1k

Наивный байесовский классификатор. Обучение-3

offer is secretclick secret linksecret sports link

31

SPAM

play sports todaywent play sports

secret sports eventsports is today

sport costs money

HAM

Message

wnw1 …

( | )?i

P w spam

( )( )| |

count x kP xN k x

0 1(" "| ) 0.059 12

P today spam

Пусть , тогда 1k

3 1("sec "| ) 0.199 12

P ret spam

Наивный байесовский классификатор. Использование-1

Пусть получено сообщение M=«today is secret»

( | )?P spam M

M=«today is secret»

w1 w2 w3

( , )( | )( , ) ( , )

P M spamP spam MP M spam P M ham

w3w1 …

spam

w2

1 2 3, ,( , ) ( , )P M spam P w w w spam

аналогично вычисляется ( , )P M ham1 2 3 1 2 3

, ,( , ) ( | ) ( | ) ( | ) ( )P w w w spam P w spam P w spam P w spam P spam

Наивный байесовский классификатор. Использование-2

где M=«today is secret» ( | )?P spam M

( | ) 0.48P spam M

w3w1 …

spam

w2

( , ) 1/21 2/21 4/21 2/5P M spam

Пусть(" "| ) 1/21,P today spam

(" "| ) 2/21,P is spam

("sec "| ) 4/21,P ret spam (" "| ) 3/27,P today ham

(" "| ) 2/27,P is ham ("sec "| ) 2/27,P ret ham

Тогда

( ) 2/5,P spam ( ) 6/10,P ham

( , ) 3/27 2/27 2/27 6/10P M ham

СММ и БССММ определяется как БС следующего вида:

…1S

2S n

S

1Z 2

Zn

Z

Последовательность скрытых состояний,изменяющихся с течением времени

Каждое состояние зависит только от предыдущего

Для каждого состояния известно измерение(наблюдение) в соотв. момент времени

Параметры:

1( )P S

1)( |

t tP S S

( | )t t

P Z S«модель перехода»

«модель наблюдения»

Спасибо за внимание!

35