flexible statistical modeling - stanford university

98

Upload: others

Post on 09-Feb-2022

6 views

Category:

Documents


0 download

TRANSCRIPT

�������� �������� �� �����

� �����������

�������� �� � � ��������� �� ����������

�� � � ��������� � ������� ������

�� ������� ��������

� ������� ��������� �� � � ����������

��� � � ������ ��

������ �� � ������ �

�� ���

����� ���

�� ������� �� �� � ����

��� ���� ��������

��

������ �� ���� ���� ��� ���������� ��� ��� �� ��

�������� � �� ����� ������� �� ����� ��� ������ �� � �������

���� ��� �� ������ �� ����� �� ����������

!����� "����#��������� �������$

������ �� ���� ���� ��� ���������� ��� ��� �� ��

�������� � �� ����� ������� �� ����� ��� ������ �� � �������

���� ��� �� ������ �� ����� �� ����������

%������ &����

������ �� ���� ���� ��� ���������� ��� ��� �� ��

�������� � �� ����� ������� �� ����� ��� ������ �� � �������

���� ��� �� ������ �� ����� �� ����������

'�(�� !�(�������

�������� ��� �� )�������� *������ �� +������ ,�����-

���

��������

!�� ������ ����� ������� �� .��/� ��� �� ���� ����������� �� /������� ������0�����

!�� ���� �� ��� ����� �� (���� �� /� ��������� �� �� ������� ����� ������ �����

�������

� �� 0�� ��� �� �� ������ /� ������� �� ����� ���� �� �� ������ ����� �������

/�� �� ������� (������� ������.������� ��� �������� �� .����� ������� ���������� �����

1� ���/ �� .����� ������� ���������� �������� �� /��� �� �� ������ ����� ������� ��

/������� ������0����� 2����� ����� .����� ������� ���������� �������� �� ������ �� ��

���������� ���(�(���� %���� �� �� .����� ������� ���������� ������ /� ������� � ��/

�������� ��� ������0������ ������ �� ���� ���� � ����� ,������ � �� ����� �����

�� �� ������ ����� �������� �� ����� ����� ������� ����� ���� ���� � ������� �� ��

������� ��� � ����3 .����� (���� ��������� �������� � ���� ������� ������� ��� ��

������ ����� ������� !��� ����� �� ����� ����� ������� � ����������� ��������

���� �� ������ ����� �������� ���������� /��� �� ��4� �� �� ������� ��� �� �� �����

� �� ������ ���� /� ������� �� ������� ������ ��� �� �� ������ ����� �������

/�� �� ������� ������� ��� �������� �� 5����� ������ ����� ������� 1� �����

�� �� 5����� ������ ����� ������� ��� ���� ���� �������� ���� �� ������� �

���� ������ ����� �������� ���������� /��� ���� ��� �������� ����� ������� 1� ����

������� �� ����� �������� �� ������� �� /���� ������� ��� �� �� 5����� ������

����� �������� ����� ��������� ������� �������� �� �� ����� �������� ��� �� 5�����

������ ����� �������

��

����� ��� ��

2��� ��� �������� /��� � �3����� �� ���� ����������� � �� ������� !����� "���� "�

�������� �� ���� ��� ��� ����� ��� �������� �������(�� ������ ��� ������ ����������

��� �������� �� ������ �� �� �������� 1���� ��� ������ ��� ��������� ��� /��.

/���� �� ���� (��� �������� !����� ��� (��� ���� ��� �� �������� ������� � ��

1��� �� ��� /�� ��� ���� ���� �� /��� (����� ������� /�� ������� /���� ������� ��

� ���� ����� ��� ��� ��� ������ ���� ������� �����(�� ��/ !����� ���������� ������

�� ���� �� ����� �� ��/� ��� �6���� ��� ���� ���� ���� ������� � ���� !����� �� �

����� ��� � ������ ����� ��/��� ��������� ��� �������� /���� ��� �� � �� /��������

/���� �� �������

�� ���� ���.� � ���� �� ,������ '���� ���� � ,������ 7 ��/ ���� � ������

�����(����� "� �� � ������ ���������� � �� ��� ����� ��� ����������� ������

�� ���� ���� ������� � ��������� '�( !�(�������� /���� ��������� �����������

����� ������� ��� /��� ������������ ����������� �� �������� �� ����������

������� �/� �� ������� � ��������� ,���� "����� ��� ��������� ����� �������� 7

/���� ���(�(�� �� ���� ������ � ���� ������� �� ���� � ,������ ��� �� �� ,����

��� ����� /��� /�� � *������ /�� � ���. ,���� ����� ��� /����� �� /� �������

������������� ����� � /� ��6���� ������ ��� /��� ������� � �� ������� ������

��� �� ���� /��� ������� ��� � 8�( /��� � ���. ��������� %��� &����� ���������

����� 2������� ��� ��������� �� 9/�� ��� ����� �� ���(��� �� �� ���� ������� ���

��������� ������ ���������� �� �� ��������

���� /��� � ���. �� ������� ��� ��������� � ,������� �� ���� � ����� ��� ��

�

:����� 0���(�/� ����� ��� ������� �� �� �� ���� /��� ��� ��.��� �� ���� ���� ��������

��� ��8���(�� :� ������� ���.� �� � ;�4���� /���� ������������� ��� �����0�� ������

���� ����� /� (���� ��� 8������ ������ ���� (�������� �� ���� 2������� /���� ��.� �

���. �� ������ ��� ���� ���� ��� ���0����� �� �� :� ������< ������ �� � (�� ��� ��

��������� �� ����������

��

�� ��

�������� �

���� ���������

� ������������ �

5 5 !�� *�����0����� ���(��� 5

5 5 5 "���/���� ���� '���������

5 5 �=� :��������� *�����0�����

5 ,����� >���� :������� �

5 5 :����� :�3���4�� �

5 '�������4�� 2������ 2���� ?

5 � :��������� ,����� >���� :������ @

5 � 9����� �� �� !����� 5�

� ������ ������ �������� ��

5 A����� B������ '��������� 5

5 5 AB' �� :����� :�3���4�� 5C

5 =�/���'������ :���� 5D

5 � ,�������� :������ 9����4���� :���� 5@

���� >���� :������� 5

5 ��������

,������� �� � E

���

� ,�������� '����� F

E '��� ��� '����� C

� :��������� *��� ?

� 5 :��������� AB' ��� :��������� ,>: �

� :��������� >: ��

E ,������ �E

� 5����� ������� ������ �������� ��

� 5 ��������� �F

� '�������4�� ������ ����� �������� �D

� � �������� E�

� � 5 ������/��� �������� E�

� � ����� ������� #� � � G �$ E5

� � � :��� �������� E

� � E '����.� E�

� � F *���������� ��� EE

� E =�������� ������ EE

� E 5 ,�������� ������ EE

� E '��� ��� ������ EC

� F ,������ ED

� ��������� !�����"������ �#

E 5 ��������� F�

E ������4�� B������ '��������� F

E 5 ������4�� ������� ���������� 2��������� F

E *���������� ����� FF

E � 2����� ,������� FC

E � 5 )�������� '��.��� FC

E � '�������� 2����� &��������� FD

E E '����� FD

����

E E 5 *������� � F?

E E B��.���� ��� F@

E E � ,'%*! ��� C�

E E E '����/��� ��� C5

E E F ���������� C

E F ,������ CE

� ������ �$ %����� &'

� %������� ��� (���$� )*

+���������� '�

�3

���� � ���� �

5 ,������ �� �� �� (�������. ������ @

*�����0����� ����������� �� ,>:� �� >:� @

� =��(�� �� .����� (���� ���� (� ,>:� �� >:� �5

� 5 ,�������� ������ �� 5����� ��� ����� ������ ����� ������� EF

� '����� �� :��������� *�����0����� ED

E 5 *��������� �� ���.���� ������0����� ������ C�

E *��������� �� ,'%*! ������0����� ������ C

E � *��������� �� '����/��� ��� ������0����� ������ C

E E *��������� �� ���.���� ������0����� ������ C�

E F *��������� �� ,'%*! ������0����� ������ C�

3

���� � ����� �

5 5 "���/���� ���� �

5 ,'%*! ��� E

5 � B����� ,>:� C

5 ,��� ���� �������� 5E

,>: �� AB' 5F

� *����� � C

E *����� ����� ����� D

F ,>: �� >: ?

C &6�� �� ������� ��� ��4� ��

D :��������� >: ��

� 5 ������/��� �������� ������� ��� �?

� 5����� ,>:� EC

E 5 *����� � F@

E B��.���� ��� C5

E � ,'%*! ��� CF

E E '����/��� ��� CC

E F '����/��� ��� CD

3�

������� �

��������

��� ��� ������ �� �������

� ������� ������0����� ���(����� /� ��� ����� � �� �� ������� ��� #��� ��$� #��� ��$�

� � � #��� ��$� /���� �� ���� #�������� �����(��$ �� � �� ��� �� ���� #�������� �����(��$

�� �� ��������� ��� ������� ������ �� � 0��� ��� � � � G �5� � � � � �� !�� ��� �� � 0��

� ������0����� ���� ���� �� ������� ���� �� �� /��� ����� � ��/ ���� �� /� ��� ������

� ����� #�$ ���� � � �

!�� �������� ���� �� /�� �� �� ��� �����(�� ������0����� ���� !� ���/�� ��� �����

���� /� ���� � ��0�� /�� /� ���� (� ��� � ������ ��0����� �� ��� �� � ������� ��

��/�� ���������0����� ����� ��� )������ � �� ������� �� �� ������� ��� ��� �� ���

���������� ��� ���������� �����(��� ������� ���� �� ��.��/� ���(�(���� �����(����

#�� � $ !��� �� ���������0����� ����� ��� ��-

��� 5������� G � ##�$ �G � ��$ #5 5$

G 5 � � ##�$ G � ��$ #5 $

G 5 ���

��

�

�5����� #� G ���$

�#5 �$

5

������� � ���� �����

�� ����� ��

#�$ G �����3 #� G ��� G �$

/��� ������4� ��� ������ /�� �� ���������0����� ����� ��� ����� � 5� � ��3 #� G

���$ !��� ������0�� �� .��/� �� �� � ��� �� ������ ��� �� ����� ��� � �������� �� ��

� ��� �� �

%���/ /� ��� /� ���� ������0����� �3������ �� ��� ��������� �� ������ ����� �� ��

�����

����� �������� � ���� ���

*������� �� ����� �� 2����� #5 5$ #'������� ���� "����� !�(������� H 2������� #��5$$

!���� ��� ������� �� ������ �� ����/���� 4�� ����� ���� �� ), ����� ,������ ��� *���

��� ,� !�� ������ ��� 5C 5C ��������� ���� 1� ��� ���� � � G FC �����������

�������� ������ � � ����� ��� � �������� ����� ��������� 5� �����(�� �������� � G

��� 5� � � � @� !�� ��. �� � ��� � �� �� ������� ��� #����� �� �� ��� ��$ � ���� � ���� �

������ � #�� ����$ ����� � #�� ��3���$

����� ��� ��������� ����������

�=� ����������� ������� �� �3�������� �� � ���� �� � ���� (� ��������� �� ����� ��

�'=� ������ ��� �� ���� :���������� ��� ���������� � (���.������ ��������� ��

(������� ��� ��� �������� �� ��������� ���� �� �������� �� ����� ������������� ����

� ������ ������ �� �����

2����� #5 $ �������� �� ��� ��� �� � ��� �� ��������� � ��? ����� #��/�$ ��� C�

������� #�������$ !�� ������� ��� � ��������� �� ����� ����� (��� ���� ����� #,'%*!$

���� �������� ��� ���� ������ (������ � ��� �� ���� ���� ������� !�� ���� �� � ������

�� ��������� ���� ������� �� � ������ �� �� (���� �� �� ���� �3�������� ���0�� "���

/� ���� � ������� �� �� ���(�� �� ����� #�����$ #� G � ��?$ �� ���� ������ ���

�� ���(�� �� ������� #� G C�$ "����� (������ ��������� �� ������ ���� ����� ��� �

������� � ���� ����� �

2����� 5 5- �������� ��� ������� ����� �� ���� ����� ���������

����� ������� ������ ��������� �� ���������� ��������� �� � ������� ������� ����� ��

�����(�� ��� � �� ������0�����

��� ������ ��� �� ������

!�� ������ ����� ������� #,>:$ ��� (��� � ������� ��� ��� ������0����� ���(����

�� �� ������� �������� 0��� '������� � ��� ���� ������ ���������� ������ ���� ��

������� �������� %���/ /� (���I� �� ���� �� ������ ����� ������� ��� /�������

������0����� ���� /� ����������� ,�� >����. #5@@F$� %����� #5@@?$� &�������� ����� H

������ #5@@@$ ��� "����� !�(������� H 2������� #��5$ ��� ������

����� ��� � �������

'����� �� ������� ��� ��� #��� ��$� #��� ��$� � � � #��� ��$� �� � �� � /������� ������0������

�� � ��5� 5� B� �� 0�� �������� �� ���� /��� �� ������� ��� ��� (� �������� ��������

������� � ���� ����� E

BL EWS NB RMS

2����� 5 - ��� ��������� ���� ��������� ������ ��� ����� !���" �� #$ �������!��%���" � ��� �&'() ����

������� � ���� ����� F

(� � ���������� �� �� ��0�� �� ���������� (�

�� - �#�$ G �� J �� G ���

/���� � �� � ��� �����- �� G 5� ��� �#�$ ����� �� ������ ������� ���� � ���� � � ��

���������� ,���� �� ������� ��� ��� �������� ������(��� /� ��� �(�� � 0�� � ����������

���� ��

���#��$ � � ��� #5 E$

������ ���� ��� ��0����� ���� ���� ����������� ����� �� ����������� ���������

#5 E$� �� ������ ����� ������� ���.� ��� �� ��� �� ��3���4�� �� � ��� !�� ������

�� ��0��� �� �� ������ ������� ���� �� ������� ��� � �� ���������� "���� /� ���

/��� �� ������ ����� ������� ���(��� ��-

��3�����������

� #5 F$

��(8�� � ��#�� J �� �$ � �� � G 5� � � � � � #5 C$

1��� �� ������� ��� ��� �� �������� ������(��� /� ����/ ���� ������� ��� � (� ��

�� /���� ���� �� �� ����� �� ������ ��� �������� ����. �����(��� ��� �� � � !�� ������

����� ������� ���(��� ��� (������

��3�����������

� #5 D$

��(8�� � ��#�� J �� �$ � �#5 � ��$� � G 5� � � � � � #5 ?$

�� � ���

�� �� #5 @$

/���� � �� � ��������0�� ������� ���(��� /���� ��� (� �������� �� � ����� � ���

#5 D$ 7 #5 @$ ��� (� ����� ��� � �������� ����������� ���(��� ��� �� ������� ���

������� � ���� ����� C

•

•

•

•

•

• •

••

•

•

•

••

•

••

•

•

•

������

�

�

��� � �� � �

•

•

•

•

•

• •

••

•

•

•

•

•

••

•

••

•

•

••

������

���������

���������

������

��������� ��

�

�

�

��� � �� � �

2����� 5 �- *����� �%���� ����� ������� ������+����

�� ����-

�#�$ G �� J

�����

�������� ��� #5 5�$

/���� ��<� ��� B��������� ���������� ��� �� �������� ����������� ���(���� ���

� G

�����

�������

=���� ���� ������� ��� ��� � ������������� �� )���� �� A������A����!��.�� #AA!$

��������� �� �� �������� ����������� ���(���� ��� ��� ���/ � ��4��(�� ������� �� �� �

������ �� �� ��� 4��� !��� ����� � (� �� ������� �������� (������ ���� �� ��� �����

���� �� ������0����� (������� #��������� ���� �� �� /���� ���� �� �� (�������$ ����

�� ��I����� �� ���������� �� ������� �� �� (�������� ��� ����� ���� ����4��� ��<�

!�� ������������� ��<� ��� ������ ����� ����� #������ ������$ 2����� #5 �$ ���������

(�� �� �������� ������(�� ��� ����������(�� �����

�� /�� ���� ������ ������� /� ��� ��.� �� ������ ����� ������� ���� I�3�(�� (�

��������� �� ������ ����� ����� (���� �3�������� ���� �� ����������� �� ������� +���������

������� � ���� ����� D

������ (��������� �� �� �������� ����� ������� (��� ������� ��� ��������� ��� �������

� ��������� (��������� �� �� �������� ���� ����� ,������ �� ��������� �� �� (����

�������� �� �� �������� ������ ����� ��

� G ���#�$� ��#�$� � � � ��#�$� �

/���� � �� �� ��������� �� �� �������� ������ ����� =�� �� � G � ��� � #�$ �� ��

�� �������� �� �� �� �������� ������ ����� �� ������� � �� �������� ���� ����� !��

������0����� (������� �� �� �������� ������ ����� �� ����� (�

�� - �#�$ G �� J �#�$ � G ���

=�� �� �� �� ������ ������ ����� �������� �� ������� #5 5�$ ������� �� �� (����

�������� ���� ������ ���� ����� ������ "����� /��� ����� �� �������� (���� ���������

�� ��/ ������� /��� ���� �� ����-

�#�$ G �� J

�����

������#��$� �#�$�� #5 55$

!��� ������� �� �� �� �������� (���� �������� ��� (���� �������� �� � ����������� .�����

"��(�� ����� #'A",$ #1��(� #5@@�$$� /��

�#�� ��$ G ��#�$� �#��$��

��� /� �� �� ���� � .��/ �� �������� (���� �������� �#�$ �3�������K ��� /� ���� �

.��/ �� �� .����� ������� �#�� ��$ �� �������� �� ����������� .����� "��(�� �����

!��� .����� ���. ����/� �� �������� ������ ����� � (� ���� ��0��� ������������ � � �

� G �� /���� ������� ��� ������ ����������� (������ ����� �� ������� #5 55$ ��� �

0��� ����������� ���� �� ���� �� �� .����� (���� �#��� �$� ��� �� ���(�� �� ���������

�� ��/��� � J 5 #� ��� ��<� ��� 5 ��� ��$ !���� ������� ������� �� �#�� �$ �� �� ������

������� � ���� ����� ?

����� ������� �������� ���-

�� ������ ���������� - �#�� ��$ G�5 J ��� ����� � #5 5$

'����� (���� - �#�� ��$ G �3���� � ������

�� #5 5�$

=����� ��/��. - �#�� ��$ G ��������� ���J ��

�� #5 5E$

/���� �� �� �� ��� �� ��� ���������0�� ���������

����� �� ������� ������ ��

,����� #5 5$ ���/� �� ������ ����� ������� ���� � �������� ���� �� ���/� � � � �

���������� �� �� �������� ����������� .����� "��(�� ����� �� ��3���4�� �� ������ ��

�� ������� ��� ���� �� �� �� ������ ����� ������� �� ���� ��������� � �

��������4�� ������� 0��� ���(��� 1�� �#�$ G �� J �#�$ �� �������� �� �����4����

���(���-

�������

�����

L5 � ���#��$M J ���� #5 5F$

/���� �� ��(����� NJO �������� � ������� ��� ��� � �� � ����� �������� 9�� ���

���/ �� �� ������� � #5 5F$ �� �� ���� �� �� ������ ����� ������� #5 D$ 7 #5 @$

2���������� �� �#�$ ��� ���������� (���� �������� �� � ����������� .����� "��(�� ������

#5 5F$ ��� (� /���� ��-

�������

�����

L5 � ���#��$M J �� #�$� #5 5C$

/���� �� �� �� ����������� .����� "��(�� ������ ��� � #�$ G ������ �� ������ �� ��

�� ���� �� �#�$ ��0��� �� �� ,������ � ,����� #5 5$� ������� �� ��� (� ��0���

������� � ���� ����� @

������������ �� ������� �� #5 5C$ ��� � 0��� ����������� ����-

�#�$ G �� J��

���

�����#��� �$� #5 5D$

/���� �#�� �$ �� �� ������� ��0��� .����� ������� �� �������� �� ����������� .�����

"��(�� ����� ��

=���� (�� #5 5F$ ��� #5 5C$ ���� �� ���� !�� J �"�# $�� /���� �� � �������� ��������

� ���������� �� ������� �������� !�� ���� ������� #5 � ��$ �� ������ �� ����� ����

B�� #��$ ���/�-

������� L#5 � � �#�$$M G ��%�#��#�$ � 5�$ �� ��%�

����

��#�$

5 � ��#�$

��

/���� ��#�$ G #� G 5�� G �$ �� �� ���������� ���(�(���� �� � ���� (���� �� �����

5 ����� � G � "���� �� ������ ����� ������� ���� � �������� �� ������ %����

������0����� ���� /���� �������� �� ����� ���������� ���(�(���� ��#�$

����� ��� ����� !�""�� #���� ���$��

!�� ������ ����� ������� ������0�� �� ��� ������(�� �� ��� /������� ������0����� �

����� ���� /������� � ���������� ������0������ ���� ����������� ���� �������� �������

����������

� �������� �� ���������� ������ �� ���� ����- ����� � �������� �� ���(��� �� �������

��� � ������ �� � ���������� ���(����� ��� ���� ���������� ���(��� �� ��������� (� �

��6���� �����������0� ������ ����� ������� ������0�� #� � � N����� 5O �� N�� ����� 5O$K

��� � ��/ ������ �.�� �� ����� �� �� ������0�� /�� �� ������ ���� ������ ����

G �����3��������� /���� � �� �� ���� ������ ���� �� �� �� ������ ����� �������

������0��

����� �� ������� � ���(����� 1���� H 1�.��� #5@@@$ ��� >����. #5@@?$ ��������4�

������� � ���� ����� 5�

#5 D$ 7 #5 @$ (� ������� ��� ������ �����4���� ���(���-

��3������

� #5 5?$

��(8�� � #���� � ��$ J �� #��� � �$ � �#5 � ��$� #5 5@$

� G 5� � � � �� � G 5� � � � �� � �G �� #5 �$

�� � ����

� ����

�� � #5 5$

����

��� G 5� #5 $

,������ � ������ 5 5� ��� ���� ���� ��� � ���� �������� �����������

'������� B��� B�� H 1��(� #��$ �������� �� �������� �� ��������� �� %����

������0����� ���� ��� ������� �����3 #� G ��� G �$ �������� (� �� ��������

������ �� ���� �������� �� ���� �� �����

��� �� ��� �� �� ���

� *����� /� ������� � ��/ �������� ��� ������0������ ������ �� ����� ����� �������

# >:$� /���� �� (��� �� .����� ������� ���������� #AB'$ 1� ���/ �� �� ����� �����

������� �� ���� �������� �� /��� �� �� ������ ����� ������� �� /������� ������0������

(� ���� ��� �������� (� ��������4�� � �� ���������� ���� 2���������� �� ����� �����

������� �������� �� ������ �� �� ���������� ���(�(���� ,������ � �� ����� �����

�� �� ������ ����� �������� �� ����� ����� ������� ����� ���� ���� � ������� �� ��

������� ��� � ����3 .����� (���� ��������� �������� � ���� ������� ������� ��� ��

������ ����� ������� !��� ����� �� ����� ����� ������� � ����������� ��������

���� �� ������ ����� �������� ���������� /��� �� ��4� �� �� ������� ��� �� �� �����

!�� ����� ����� ������� �� (���� �� .����� ������� ����������� /���� �������� ��

����� ���� �� �� ������ ����� ������� /�� ������� (������� ������.������� � *�����

�� /� ������� �� ������ ��� ���� �� ������ �� �� �� ���� �� �� �� #5 5F$ �� �� ������

����� �������� /�� �� �� ���� ��� ��� /� 0 �� 5����� ������ ����� ������� !��

������� � ���� ����� 55

�������� ��� ����� ���� � ���������� �� �� �� ������� � �����.��� �� 0�� ��������

P� �/���� 4���� 8�� �� �� �� ������ ����� �� �� ������ ���� ���� � �� ���� �� ��

0�� �������� �3���� ����� � 4��� "���� �� 5����� ������ ����� ������� 0� �

����� �� ���� ������� ������ �������� 1� ���/ �� �� 0�� �������� ��� P� ��

� ������� �� �� ����� �������� � �� ������/��� ������� ��� /� ���� �� ����� ��������

�� ������� �� /���� �������� ��� !��� ��������� ����� ������� �������� �� ��

����� �������� �

� *����� E� /� ��������� �� �=� ���������� ������0����� ����� ��������� ������

���� �� *����� ��� *����� � 9��� � ������� ���� �� ���������� ��������� �� � �������

�� ����� ��������(�� ��� �� ������0������ ����� ��� ����� ��������� %������ �� ����

���� ���� �������� ���� (� �� �� ������ �� ������(�� �� *����� �� /� �������� /� ����

�������� ������ ���� �� �� ��������� ��������� ���.��� #)'$ ��� ��������� ������ �����

������ #'2&$ &�������� ������ ������� �� ��������� ������ ���������� ����� ����

� ����� ��/�� ����� ��� ���� ������ ��� ���� �������� /��� �� (�� ���������������

��� �� ���

� �� �������3 /� ���� ������ ��� ��� �� ������� �������� �� �� �����

�������

����� � ��� ����� �

� ��� ������� /� ������� � ��/ �������� ��� ������0������ �� ����� ����� �������

# >:$� �� �� (��� �� .����� ������� ���������� #AB'$ 1� ���/ �� �� ����� �����

������� �� ���� �������� �� /��� �� �� ������ ����� ������� �� /������� ������0������

(� ���� ��� �������� (� ��������4�� � �� ���������� ���� 2���������� �� ����� �����

������� �������� �� ������ �� �� ���������� ���(�(���� ,������ � �� ����� �����

�� �� ������ ����� �������� �� ����� ����� ������� ����� ���� ���� � ������� �� ��

������� ��� � ����3 .����� (���� ��������� �������� � ���� ������� ������� ��� ��

������ ����� ������� !��� ����� �� ����� ����� ������� � ������� �����������

�������� ���� �� ������ ����� �������� ���������� /��� �� ��4� �� �� ������� ���

�� �� �����

��� ������ ��� � ������

�� ������(�� �� *����� 5� �� ������� ������ ����� ������� �������� � ����������

������0����� (������� �� �� �������� ���� ����� (� ���������� � ������ (������� �� ��

�������� ������� �� �� �������� ���� ����� !�� ��������� �� �� �������� ����� ��� (�

���� ������ ���� ��0���� �� ���� ����� !��� ��������� �����(���� ��������� �� ��������

������ � ������� ��0��� ����������� .����� �#�� �$� /���� ����� �� ����� ������ �� ��

�������� �����

5

������� � ����� ������ ������� 5�

� *����� 5 /� ���� ���� ���� �� ����������� (�/��� �� ������ ����� ������� ���

��������4�� ������� 0��� �� �� ����������� .����� "��(�� ������ #'A",$ �� �������/

��� (� ����� �� &�������� ����� H ������ #5@@@$� 1��(� #5@@@$ ��� "����� !�(������� H

2������� #��5$ 2���� � ������ ����� ������� �� ��������� �-

�������

�����

L5 � ���#��$M J ������ # 5$

/���� �� �� �� ����������� .����� "��(�� ����� �������� (� � .����� �#�� �$ %� ��

���������� ������ #A�������� H 1��(� #5@D5$$� �� ������ �#�$ ��� �� ����-

�#�$ G �� J

�����

���#��� �$� # $

��� ���� �� ������ ����� /��� ���� ����4��� ��<�

=�� �� # 5$ ��� �� ���� !�� J �"�# $� !�� ���� ������� #5 � ��$ �� �����

�� 2����� 5� ����� /�� ������� ��������� ���� �������� �� /� ��� ���� �� �������

������.������� #=BB$ �� �� (������� �����(���� ��� � ����� ������� � �� �� �� ������

����� �������- (�� �������� �������� �� �� ��� ���� ����� #�������$ ��� ��������� �

��� � � ���� �� ���� ���� � /� ������� #5���$ �� # 5$ /�� ��#5J"��� $� �� �������

������.������� �� �� (������� �����(����� �� ���(��� (������ � .����� ������� ����������

���(���-

�������

�����

���

5 J "��������

J ������ # �$

%������ �� �� ��������� (�/��� �� /� ���� ��������� /� �3��� �� �� 0�� �������

�������� ��������� � �� ������ ����� ������� ��� /������� �����0�����

!���� ��� /� �������� ��������� �� ��.��� ���� � ����������- #�$ A����� �������

������� � ����� ������ ������� 5E

yf(x)

Loss

-3 -2 -1 0 1 2 3

0.0

0.5

1.0

1.5

2.0

2.5

3.0

Binomial Log-likelihoodSquared ErrorSupport Vector

2����� 5- ��� ��� %������� � � ���� ���

���������� ������� �� ��������-

�#�$ G ��� #� G 5�� G �$

#� G �5�� G �$# E$

G �� J��

���

���#��� �$� # F$

"����� (������ ������ � ������0����� ����� .����� ������� ���������� ���� �6��� � ������

������ �� �� ���(�(����

��#�$ G"����

5 J "�����

/���� �� ������ ����� ������� ���� ������� #B�� #��$$

��%� L��#�$� 5�M �� ��%�

���

��#�$

5� ��#�$

��

/���� ��#�$ � #� G 5�� G �$ �� �� ���������� ���(�(���� �� � ���� (���� �� ����� 5

������� � ����� ������ ������� 5F

����� � G �K #($ !�� .����� ������� ���������� ��� �������� (� ��������4�� � �� �����

����� ���� ������ .����� ��������� ����������� /������ ��� �� �� �� ���� ��� �� ������

����� ������� "�/����� (������ �� .����� ������� ���������� ����������� �� ����� ����

������� �� �� ������ ����� �������� � �� ������ ��� �� ����� ����� �������K ��

���� /����� ��� �� ��<� �� # F$ ��� ����4���

A����� ������� ���������� �� � /���������� ���(���K ��� 1��(�� +�� 1��� H *�������

#5@@F$� +���� H Q������ #5@?F$� "���� H !�(������� #5@@�$ ��� ���������� ������K ��/�����

��� ��� ��� ����� �� �������� ������ �������� �� �������� ������

1� ��� � ��������� �3����� � �������� �� ������� ����������� �� .����� �������

���������� ��� �� ������ ����� ������� !�� ��� �� ���� ����� ��� �������� ���� �

��3��� �� +������� �����(���� #"����� !�(������� H 2������� #��5$$- 0�� /� �������

5� ����� & ���� � (������� +������� �����(���� '##5� �$ � �$ ��� ��(�� ��� ����� J5

,��������� 5� ���� ��� ���/� ���� '##�� 5$ � �$ ��� ��(���� ����� �5 !��� ��� ���� ������

/� ������� 5�� �(��������� �� �����/�- ��� ���� �(��������� /� ���. �� & � ������ /��

���(�(���� 5�5�� ��� ��� ������� � '#&� ��F$� ��� ������� � � ��3��� �� +�������

������� ��� ���� �����

1� ��� � ������ (���� .����� #5 5�$ !�� ��������4���� �������� � �� ������ � �������

���� ���������0����� ����� !�� ������ ��� ���/� �� 2����� !�� ������ (���� .�����

�������� � (������� ���� ����� � �� %���� ������ (������� ��� ��� ��������� 1� ���

�� �� 0�� ����� �� .����� ������� ���������� �� ���� ������� �� ������0����� �����������

� �� �� �� ������ ����� ������� � ������� � � ������0����� (�������� �����

.����� �������� ���������� ������� �� �������� �� ����� ���(�(������� � ��� ���� �������

���(�(���� ������� #2����� $

����� %&� �� ��� � �������

'����� �� �� *����� 5 /� ������(�� �� ������ ����� ������� ���� /� �����������-

#�$ ������������ �� �� ������ ��3���4��� ��� #($ �� � ��������4�� ������� 0��� ���(���

!�� �������� ��� 0��� � .����� ������� ���������� ����� �� �� ��������� �� ����� (�/���

�� ������� ������.������� �� �� (������� �����(���� ��� �� ����� ���� �� �� ������

������� � ����� ������ ������� 5C

SVM − 130 Support Points

o

o

o

o

o

oo

o

o

o

oo

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

o

o

o

o

oo

o

o

o

o

o

o

oo

oo

o

oo

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

o

oo

o

o

o

o

o

o

o

o

o

o

oo

oo

o

o

o

o

o

o

oo

o

ooo

o

oo

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

oo

o

o

o

o

oo

o

o

o

o

oo

o

oo

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

oo

oo

o

o

o

o

o

o

o

o

o

o

o

o

oo

Training Error: 0.235

Test Error: 0.264Bayes Error: 0.255

KLR − Radial Basis

o

o

o

o

o

oo

o

o

o

oo

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

o

o

o

o

oo

o

o

o

o

o

o

oo

oo

o

oo

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

o

oo

o

o

o

o

o

o

o

o

o

o

oo

oo

o

o

o

o

o

o

oo

o

ooo

o

oo

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

oo

o

o

o

o

oo

o

o

o

o

oo

o

oo

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

oo

oo

o

o

o

o

o

o

o

o

o

o

o

o

oo

Training Error: 0.225

Test Error: 0.262Bayes Error: 0.255

2����� - )�� ��� ,���- ����� ��� ������+����� ,%� �����. ��� ���� �%���� ����� ��� '���������� ,%� ������ /� ��� �012 ��� ���� ,���- ����� ��� ��� � ��� ��� ������� �� ��� ,���-����� ��� ��� ����� ������� � ��� � ��� ��� ������� /� 3*&2 ��� ���� ,���- ����� ��� �������� � ���� �� ��� ������

����� �������� ��� ��� �������� �� ���� �� ��������4�� ������� 0��� ����������

,���� �� ������ ����� ������� /�� ������� �� � ����� � ��3���4� �� ������ ��

�� ������� ���� ��� � ������ ������� ��- /�� ���� .����� ������� ���������� �� /��

�� ������R ���� �� �� .����� ������� ���������� ��� ���� (� �������� �� � ������

��3���4��

,������ � ������ 5 5� ��

� G ���#�$� ��#�$� � � � ��#�$�

(� �� ��������� �� �� (���� �������� �� �� �������� ������ ������ /���� � �� �� ���

������� �� �� �������� ������ ����� !�� ������0����� (�������� � ���������� �� ���

�������� ������ ������ �� ����� (�-

�� - �#�$ G �� J �#�$ � G ���

������� � ����� ������ ������� 5D

,������ �� �������� ������ ����� �� �� ���� �� �� ������� ��� ��� ������(��� ��� ��

���������3����� ������ ����� ������� ��� (� /���� ��-

��3�����������

� # C$

��(8�� � ����� J �#��$

�� � �� � G 5� � � � � � # D$

/���� � �� �� ������ ������� ���� �� ������� ��� � �� ��������� ���������� ���

��0��� �� �� � ���

=�/ �������� �� ��������� ���� �� .����� ������� ����������-

�������

�����

���

5 J "��������

# ?$

��(8�� � ��� � # @$

�#��$ G �� J �#��$�� � G 5� � � � � �� # 5�$

!��� /� ���� �� �����/��� ������-

%������ �,� ������� �� ����� � � ��� ���� ���� ���� �� ��� ��#�� J �#��$�$ �

�� ��� �� �� ������� �� ��������� !� �� ������ �� P�#�$� ���

P�#�$

�� �� � � ���

"��� �� �� �� ������� �� �� � ���#� $���%��� ����� ���� � ����� ���&�����'�� ��

�� �� ���(���

)� �� �� �� ���(��� �������� � � � �� ������� ���������� ������ �� ��� "��� ��

������ � ���#� $���%��� ��� ��� ������ ����

!�� ����� �� �� ������ �� ������� �� �� �������3 !������ 5 ������� �� .�����

������� ����������� ������� � �� ������ ����� �������� �� ���� � .��� �� ������ ��3���4��

������� � ����� ������ ������� 5?

����� ����� ��"$��� ��$��

� ��� ������� /� ������(� ��/ � ����� .����� ������� ���������� ����� �� =�/���'������

����� B�

( G

�����

���

5 J "��������

J�

����

� # 55$

!���� (� �� ���������� ������ #A�������� H 1��(� #5@D5$$� �� ������� �� ������4��

( ��� �� ����-

�#�$ G �� J

�����

���#��� �$�

B�

�� G5

5 J "�������� � G 5� � � � � # 5$

)� G #��� ��� � � � ��$ # 5�$

)� G #��� � � � ��$ # 5E$

)� G #��� � � � � ��$ # 5F$

�� G�)5� �#��� ���$

�������

# 5C$

�� G

� � �

� �#��� ���$�������

�� # 5D$

* G ���� #��#5 � ��$� � � � ��#5 � ��$$ # 5?$

=���� �� �� � � #� J 5$ ����3� �� �� � #� J 5$ #� J 5$ ����3 ��� * �� � �� ����3

1�� ���� �(��� �� ������� # 55$ ��� (� /���� �� � 0��� ����������� ����-

( G )5 ���

5 J "����������

J�

)� ��)�� # 5@$

������� � ����� ������ ������� 5@

=�/ /� ����

+(

+)�G ��

� #)� � )�$ J ���)� # �$

+�(

+)�+)�G �

� *�� J ��� # 5$

/���� N�O ������ �������/��� ������������

!�� =�/���'������ ����� ��� ������ �� �������� 5-

��������� �,� *�"��#+ ����� ,���� �� -�+

5 ������4� )��

*����� )�� ��� �� ��� *

� )����

)�� G )���� ��

+�(

+)�+)�

���+(

+)�# $

G )���� J��� *�� J ���

��� ��� #)� � )�$� ���)����

�# �$

G��� *�� J ���

����� *), # E$

/����

), G ��)���� J *��#)� � )�$

E '���� ���� #$ ��� #�$ ���� )�� ���������

� # E$� /� ���� ����3������� �� =�/���'������ ��� �� � /������ ������������

��� ), �� �������� .��/� �� �� ��8���� ��������� ��� �� ��� �� �������� � �� �� �����

�"������ �� � �(� �� )�� G � �� ������� � ���� ������ ����� ,���� ( �� �����3�

�� �������� �������� ���� ��������� (� ����������� ��� ����� � �� ���� ���� ��

����������� ������� ��� ��4� ������� /��� ������� �����������

������� � ����� ������ ������� �

����� !�'����� ����� ("����� ��$��

!�� ���/(��. �� �� =�/���'������ ����� �� �� �� ���� �������� �� � � ����3

����� � (� ������� !�� ������������� ����������� ��� ��� (� ���� /��� � �� �����

'������� A������ ����� ,������ H ��� #��$ �������� � ���� �������� ��� .�����

������� ���������� �� ������ �������� ���� ������� �����/� �� ����� �� �� �������

��������� ������� �����4���� #,:9$ �������� #��� #5@@@$$

B� � G 5�� B�

-� G��

����

�������#��� � ��$ J �� ��

���

� � ��

�# F$

�#�$ G5

��

���

�����������#��� ���$

J ���

��

���

��

�J #5 � ��

�$ ��

�5� ��

�

# C$

!���� �� ��������� ������� �����4���� �������� �������� �� �������� -

��������� �,� ��(���� � ,���� � .����% ��� /������ �� -�+

5 ������4� �� ���� ��

� . �� . � �����

���

���� G ��

B�

-�� G ��3�

-� # D$

-��� G ����

-� # ?$

��� G �����3�-� # @$

���� G �������-� # ��$

������� � ����� ������ ������� 5

� -�� G -���� ��� � ��� ��

S����#�$ G ���� � ������ # �5$

S�����#�$ G ����� J ������� # �$

S��#�$ G �� �� �G ���� ���� # ��$

2��� �� �� ������4� � #S�#�$$

� )����

� � S�#��$�

+� � ��� #$

� �� ��� �� �� ��������� /� ���� �� G �-�� G �-��� ���

�#�$ G �� J��

���

�����#��� �$ # �E$

����������� ����������� �3�������� ���/ �� ��� ��������� ������� �����4����

�������� �� ��(�� ��� ��� #A������ ����� ,������ H ��� #��$$ 1� ���� ��������

�4�� ��� �������� � �� ���������� ���� � ������� ���������� �� �� ���������� ����

�������� �� ����� �� �� �������3

��� !���� ��� �� ������

������� �� ��������� ������� �����4���� ����� ����� ������ �� ����������� ���

�� .����� ������� ����������� �� �� 0�� �����

�#�$ G �� J��

���

���#��� �$� # �F$

������� � ����� ������ �������

�� �������� �� ������ 5� ��� �� ��<� ��� ����4��� !��� �� �� �� ���� ��� �� ������

����� �������� ��� ���� ������ ����� ���� ����4��� ��<� ,� �� ������ ����� �������

����/� ��� ��� ����������� ��� ��� �� �������� �� ���� ������ ��� ����.�� ���������

� ��� ������� /� ������� �� ����� ����� ������� ����� �� 0��� � ��(������ �

�����3���� �� ���� ����� # �F$ ����� (� .����� ������� ���������� !�� ��(������ ���

�� ����-

�#�$ G �� J����

���#��� �$ # �C$

/���� � �� � ��(�� �� �� ������� ��� ���� ��� � � � ���� ��� �� ��� �� � ��� ������ ����

����� !�� �������� �� ��� ��(������ �� �� �� ����������� ��� �� �������� ����������

��� ����� ������� ��� ���� /���� �� 8�������4��� �� ����������� �� ������0�����K ���

����� ���� � ��(�� �� �� ������� ��� ��� ���� � ����3 �� 0�� ������ ��� �����������

�� ��������

,������ ���� ����������� ���� ���� ���������� ��������� �� �������� �� ��(�� �

B��� 1��(�� ;����� +��� A���� H A���� #���$ ������ �� ������� ��� ��� ������� �����

���� ��� �������� ����� � ������������ ���� ���� ������ � ��.� �� � ,���� H

,��T��.��� #���$ �������� � ������ �������� � ����������� ����� / ������� �� �� .�����

����3 L�#��� ���$M��� ���� �� �� ���� �� ���� / ������� �����3����� �� ���� ��

L�#��� ���$M�� /��� �� �� 2��(����� ���� 1������� H ,����� #��5$ ������� ��������

�������� / ����� �� �� ������� ���� ��� ����� �� =����� ����� � �����3���� ��

������������������ �� �� .����� ����3 L�#��� ���$M��� ��� �3������� �� ������ (��. ��

� � ���������� =��� �� ���� ������ ���� �� ���� �� �� �������� �� ��(�� � #� � �

�� ��������� �������� ���� ��$ !�� ����� ����� ������� �������� ���� (�� �� ����

�� ��� �� ���� �� � ����� �� ��(�� � �� ���� � /�� �� �� �������� 0 �����3�����

�� ���� ����� /���

������� � ����� ������ ������� �

����� �� ��$�

�� �������� (������ /� /�� � 0�� � ��(�� � �� ���� ��� � � � ���� ���� �� �� ��(�

����� # �C$ �� � ���� �����3������ �� �� ���� ����� # �F$ ,���� � �� �������������

�������(�� � ������ ��� ����� ��(�� �� /� ��� � ������ ���/��� ������ �� ������(�� ��

�������� � 1� ���� �� ����� �� � ���� �����

��������� �,� � ��� )0, /������

5 B� � G �� � G ���� ��� � � � � ���� $ G 5

2�� ���� �� � �� ��

��#�$ G �� J�

�������

���#��� �$

2��� )� � ������4�

(#��$ G

�����

�� #5 J �3�#�����#��$$$ J�

��#�$���

# �D$

G )5 ���

5 J �3�#�)� � #� ��)�$$

J

�

)�� �

�)� # �?$

/���� �� ��������� ����3

� �� G L)5� �#��� ���$M������ �� � ���� � � � ���� ��� � � � ����K

�� ��������4���� ����3

� �� G

� � �

� �#��� ���$

��

��������

� ��� ��� � � � ����K

��� / G ���

� 2���

��� G ����������(#��$�

������� � ����� ������ ������� E

B� � G � � ������ � G � � ������ (� G (#���$� $ � $ J 5

E '���� ���� #$ ��� #�$ ���� (� ���������

�������� � �� ������������� �����(��� (� �� ��� #$ /� ���� � ��� �� =�/���

'������ ����� �� ��������� ������� �����4���� ����� � 0�� )� ��������� 1���

�� ���(�� �� ����� ����� / (������ ������ �� ��������� ��� (� �3������� !� ������

��� ���������� /� ��� � ������ �����3������

����� �� ��������� �������� )� ���� � ���������� /� ��� ������ �� � �������

=�/���'������ �������� ��� ��� � �� �� �����3������ � �� ��������� ��� !� �� �

���� �����3������� /� �.� �������� �� �� 0�� ����� ���� �� ������ N������O ��

� � � �� ��(������ /��� ��� G /� ��� ��� � �� �� ������ ����� !��� ������� ����� ��

������� � �� ����� �� �� ��������4�� ������ ������ #+B:$� (� �� ���� ���� �� ���� �

������ ��� !�� ������� ������� ����/� �� /������ ���������� # E$ � (� �������

�� 0#�/$ ��� "����� /� ���� �� ������� ��� #$ �� �������� � �� �������� --

��������� �,� +������ ��� ���

#�$ 2�� ���� �� � �� ��������������� ������ �� /�� � ������� ��� �� /�� � ������

��� � ��/ )�� �� ������� ������� � 0�� )� �� # E$ *����� # �D$

� ��� #E$ �� �������� �� /� ���� � ������ /��� � ��� �� �������� � ������

������� ���� �� � ���. � �� ��������4�� ������� ������.������� B� (�� (�� � � � (� ��

�������� �� ��������4�� ������� ������.������� �(����� �� ��� #�$ � ���� ��� $� /�

������� (� /�� (����� /���� U$ �� � ���������� ����� ������� ��� �3������ U$ G 5 �

�� �����������

����� ���� ��� ���� ���������� ����� ���(�� 1� ��� �3������ 1 G ����5�

/� ��� ������ ��/ ����� ����� � �

����� !������ �) �

,� ���� /� ���� ������� �� �� ����� �������� � �� 03�� � �������� /� ���� ����

� ������ �� N������O � 1� ��� �������� ���� ��� �� ��� ��� � ������� �� ��� �

����� ��� ��� ��� �� ���������0����� ����� �� �� ����� �� �� � �������� ��� ��������

������� � ����� ������ ������� F

� !� ������ �� ���������� /� �.� �������� �� �� ��� �� �� ��������4�� �������

������.������� ��������� ����� ��� � ������ � !���� ������ �� ������� �� ����� �������

�������� ��� ���� �� /� ������� �������� --� /���� ���(���� (�� ������ ����� �����

� � ��� �������� �� ������ �

��������� �,� ����� ����� �������� �� � �� �

5 ,�� /�� � ����� ����� �������� �

B� � G �� � G ���� � � � � ���� $ G 5

� '�� ���� #�$� #�$ ��� #E$ �� �� ������� �������� E� ���� �� ������� ��������

�� ����0�� � � G ���� � � � � � ��� ����� �� /��� ���� ������ �� ��������0�����

����� �� �� ����� ��

E �������� � � � ������� �����

F '���� ���� #�$ ��� #E$� ������ /�� � G ���� � � � � � ���

1� ������ �� ������ � �� �� ��� �� ����������� � �� ������� ���������0�����

����� �� �� ����� ��

����� !������ ������

� ��� ������� /� ��� � ��������� � �������� �� ����� ����� ������� ����� !��

��� ��� �������� �� �� ���� /�� �� 2����� !�� ��������� ������ ��� ���/� ��

2����� � 7 2����� F

2����� � ���/� ��/ �� ����� �������� � �� ������� !�� ������ � �� ����� �

(� ����� � 5 ��� ����������� � � ���������0����� ��� ��C 2����� E 03�� �� �����

������� � � G 5 ��� 0��� 5@ ����� ����� 2����� F �������� �� ������ �� ��

������ ����� ������� ��� �� ����� ����� �������- �� ������ ����� ������� ���

5�� ������ ������ ��� �� ����� ����� ������� ���� 5@ ����� �����K ��� ���� �������

������0����� (��������� 2����� C �� ��� �� ���� ��������� (� ��6���� ��4�� �� �������

���- � G ��� E��� C��� ?�� 1� ��� �� �� �� ������� ��� ��4� � ���������� �� ���(��

�� ����� ����� ���� �� ��� � ��������

������� � ����� ������ ������� C

0 50 100 150 200

8010

012

014

0

# of Import Points

Regu

larize

d Dev

iance

Choosing Lambda

Optimal Lambda = 1

0 50 100 150 200

0.26

0.27

0.28

0.29

0.30

0.31

0.32

0.33

# of Import Points

Misc

lassif

icatio

n Rate

Choosing Lambda

Optimal Lambda = 1

2����� �- &� ��� -����� �� %�� � � ���2 � � ��2 � � �2 � � �����2 �������� �� ��� ������ )�� �����%� ���������+����� ���� ����� �� %� � ������� � � ��

+�� 1- !�� ������ ����� �� �� ������ ����� ������� ��� ���� /���� ��� ����� �

�� ������0����� (������� �� ���������0�� ��� ������� ���� ����� /����� L�#�$#5 � �#�$$M

!�� ����� ����� �� �� ����� ����� ������� ��� ���� �� �������� �� ��������4��

������� ������.������� �� ���� ��� ��� (� ����� ����� � �� ��� ���� �� ������0�����

(������� !�� ��6������ �� ��������� �� ������� (������ �� ������ ����� ������� ��

���� ��������� /�� �� ������0����� ��%�L�#�$ � 5�M� /���� �� ����� ����� �������

���� ������� �� �� ��.��/� ���(�(���� �#�$ !����� ����� �/�� ���� �� ������0�����

(������� �� �� �����(�� � ���������� �� ������� �� �� ������0����� (�������� ���

��� �����(�� � �������� �� ��.��/� ���(�(���� �#�$ !�� ��� ����������� ���

�� �� ������ ����� ������� �� 0#���$� /���� � �� �� ���(�� �� ������ ������ /����

�� ����������� ��� �� �� ����� ����� ������� ����� �� 0#��/�$� /���� / �� ��

���(�� �� ����� ����� ,���� / ���� �� ��� � �������� �� � ���������� �� ��������� ��

������� � ����� ������ ������� D

0 50 100 150 200

110

112

114

116

118

120

# of Import Points

Regu

larize

d Dev

iance

Lambda = 1

# of Import Points = 19

0 50 100 150 200

0.26

0.27

0.28

0.29

0.30

0.31

0.32

# of Import Points

Misc

lassif

icatio

n Rate

Lambda = 1

Test Error = 0.262

2����� E- &� ��� -����� �� %�� � � ���2 � � ��2 � � �2 � � �����2 � �� )�� ��������������� �� �����+� ���� ��� � � �

2����� C� �� ����������� ��� �� �� ����� ����� ������� ��� (� ������� ��� ��

�� �� ������ ����� �������� ���������� ��� ����� ������� ��� ���

����* ���� ��� ������

� ��� ������� /� ������� �� ����������� �� �� ����� ����� ������� ��� �� ������

����� ������� �� ���� ���� ������ !�� (�������. ������ ��� ���� ��� ��� �������-

%������ %������������ 2����������� +������ "���� ����� '�������� ,������ !�������

!������ !/����� ��� 1������� ������� ���������� �(�� ���� ������ ��� (� �����

�� 'T����� ! 9���� H A ' :T����� #���$ �� ��� ������(�� � �$$� - ����#���2�$�%/��"�3� �2#"$����#$#

������� � ����� ������ ������� ?

SVM − 130 Support Points

o

o

o

o

o

oo

o

o

o

oo

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

o

o

o

o

oo

o

o

o

o

o

o

oo

oo

o

oo

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

o

oo

o

o

o

o

o

o

o

o

o

o

oo

oo

o

o

o

o

o

o

oo

o

ooo

o

oo

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

oo

o

o

o

o

oo

o

o

o

o

oo

o

oo

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

oo

oo

o

o

o

o

o

o

o

o

o

o

o

o

oo

Training Error: 0.235

Test Error: 0.264Bayes Error: 0.255

IVM − 19 Import Points

o

o

o

o

o

oo

o

o

o

oo

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

o

o

o

o

oo

o

o

o

o

o

o

oo

oo

o

oo

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

o

oo

o

o

o

o

o

o

o

o

o

o

oo

oo

o

o

o

o

o

o

oo

o

ooo

o

oo

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

oo

o

o

o

o

oo

o

o

o

o

oo

o

oo

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

oo

o

o

o

oo

oo

o

o

o

o

o

o

o

o

o

o

o

o

oo

Training Error: 0.225

Test Error: 0.262Bayes Error: 0.255

2����� F- )�� ��� ,���- ����� ��� ������+����� ,%� �����. ��� ���� �%���� ����� ��� '���������� ,%� ������ /� ��� �012 ��� ���� ,���- ����� ��� ��� � ��� ��� �������2 �� ��� ,���-����� ��� ��� �%���� ����� ������� � ��� ������� /� ��� 4012 ��� ���� ,���- ����� ��� �������� � ���� �� ��� �����2 �� ��� ,���- ����� ��� ��� ����� ������

!�(�� 5 ������� � ������� �� ���� ������ '����� .����� #5 5�$

�#�� ��$ G "������

���

�� ���� �������� ���� ������ !�� ��������� � ��� � ��� 03�� � �����0� ������ ��

��� ������ ��� �� ������ ����� �������<� ��������4���� ����������� #'T����� ! 9����

H A ' :T����� #���$$ &��� ����� ��� � �����4����� �� �� ������� ��� �� ��� !��

������ ��� �� !�(�� ��� !�(�� � !�� ���(�� ������ ���� (���.� �� �� ���� ���� �

�����4����� �� �� ������� ��� �� ���� ��� �� ���(�� �� ���� (���.� �� �� �������

�������� 2��� !�(�� � /� ��� ��� �� �� ����� ����� ������� �������� �� /���

�� �� ������ ����� ������� �� ������0����� �� ���� (�������. ������ 2��� !�(��

�� /� ��� ��� �� �� ����� ����� ������� �������� ���� � ���� ������� ������� ��

�� ������� ��� ��� �� ������ ����� ������� � ����3 .����� (���� �������� !���

��� ���� �� ����� ����� ������� � ����������� �������� ���� �� ������ �����

������� � ����� ������ ������� @

0 50 100 150 200

110

112

114

116

118

120

# of Import Points

Reg

ular

ized

Dev

ianc

e

# of Training Data = 200

# of Import Points = 19

0 100 200 300 400

225

230

235

240

245

# of Import Points

Reg

ular

ized

Dev

ianc

e

# of Training Data = 400

# of Import Points = 22

0 100 200 300 400 500 600

320

330

340

350

360

# of Import Points

Reg

ular

ized

Dev

ianc

e

# of Training Data = 600

# of Import Points = 26

0 200 400 600 800

420

430

440

450

460

470

480

# of Import Points

Reg

ular

ized

Dev

ianc

e

# of Training Data = 800

# of Import Points = 22

2����� C- )�� ��� ��� �������� �� ��� ���� ��� �� /��%�� ��� 5 /��%�� ��6� &� ��� -����� ��%�� � ���2 � �2 � � �2 � � ������ )�� ��7�� �������� ��� ��� � ���� ���� ���� ���2 �� ��� ������� ��� �%�,��� ����� ����� ��� � � ��� ��� ���

�������� ���������� /��� �� ��4� �� �� ������� ��� �� �����

��� ��� "��� ���

� ��� ������� /� (���I� ������(� � ��������4���� �� �� ����� ����� ������� � �����

����� ������0����� ,������ ���� ��� � ������� !�� ���������� ���(�(���� �� � ����

(���� �� ����� � ����� � G � �� ������ �� �#�$ G #� G ��� G �$ "���� �� %����

������0����� ���� �� ����� (�-

#�$ G �����3������� �� �#�$

������� � ����� ������ ������� ��

!�(�� 5- ,������ �� �� �� (�������. ������ � �� �� ��4� �� �� ������� ���� � ���� ��������� �� �� �������� ����� �� �� �� �������� �� �� ������ .������ � �� �� �������������� ��� ' �� �� ��4� �� �� �� ���

����� � � �� � '

%����� E�� 5 ��5C 5��� E@��%����������� �� @ F� C�F? 5��� DD2���������� CCC @ �� � @D? E��+����� D�� � FF � �5C ���"��� 5D� 5� 5� � �5C 5�� ���� 5��� 5? � � �� 5�5�'������� E�� � 5� 5�� D���!������ 5E� F � � 5 DF!����� 5F� � 5��� �F5!/����� E�� � E� � �5C D���1������� E�� 5 � 5 EC��

!�(�� - *��������� �� ������0����� ����������� �� ,>: ��� >: �� �� (�������.������

����� ,>: &���� #V$ >: &���� #V$

%����� 5��D?#���C?$ 5���E#���EC$%����������� F�F?#�E�F�$ F�@#�E�D@$2���������� ��CF#�5�E$ ���CC#�5�CE$+����� �??#��?$ ��F�#��E?$"��� 5F�@F#���5E$ 5F�?�#���E@$ ���� ���E#��D�$ ���5#���?�$'������� ���#���5@$ 5�@D#���@$!������ E�?�#��@?$ F���#����$!����� �5C#���C�$ ��@#�5���$!/����� �@�#���F$ �EF#���5F$1������� @�@?#���E�$ 5��5�#���ED$

������� � ����� ������ ������� �5

!�(�� �- *��������� �� ���(�� �� .����� (���� ���� (� ,>: ��� >: �� �� (�������.������

����� W �� ,> W �� >

%����� @�#�5�$ 5#�D$%����������� 55F#�F$ 5E#��$2���������� F@D#�?$ @#�5$+����� E�D#�5�$ 5D#�$"��� @�#�E$ 5#�$ ���� 5#�55$ D#�5?$'������� ?@#�F$ D#���$!������ 5#�$ #��$!����� C@#�@$ ?#�$!/����� D�#�F$ E#�E$1������� 5F5#�@$ C#��$

!�� ����� ��� �� ����-

��#�$ G"��������� "�����

� # �@$

��#�$ G"��������� "�����

� # E�$

# E5$

��#�$ G"��������� "�����

� # E$

/���� �#�$ � �� K �� �� �� ����������� .����� "��(�� ����� �������� (� � �������

��0��� .����� �#�� �$ =���� �� ��#�$� � � � � ��#�$ ��� �� �����0�(�� �� ��� ������ ���

�� /� ��� � ������ ��� � ���� �#�$� ��#�$� � � � � ��#�$ /��� �� ������ !� ��.� �#�$

�����0�(��� /� �������� �� �������� ��������

����

�#�$ G �� # E�$

!��� �� ���������� .����� ������� ���������� 0� � ����� � ������4� �� ��������4��

������� � ����� ������ ������� �

������� ������.�������

( G ���

���

�� ���#��$ J�

����

# EE$

G

�����

���

� �#��$ J ���

"������ J � � � J "�������

J�

����

# EF$

/���� �� �� � (����� ������� /�� ������ ��� 4��� �3��� � 5 �� ������� � �� �� ����� �� ��

���

�#��$ G #��#��$� � � � � ��#��$$ � # EC$

����G

����

����� # ED$

)���� �� ���������� ������ #A�������� H 1��(� #5@D5$$� ��� ��� ���/ �� �#�$� /����

������4�� (� ��� �� ����

�#�$ G �� J

�����

���#��� �$� # E?$

"����� # EE$ (������

( G

�����

���

� #��#�� $4$ J ���

5 "�����������

J�

����

� ��� # E@$

/���� 4 G #�� � � � ��$� �� ��� �� ��� ��0��� �� �� ���� /�� �� �� �� /������� ����K ���

��#�� $ �� �� �� ��/ �� �� =���� �� �� ��� ������ �� �������� # E�$ �� �� ���������

�������� ��� � �� ������� �� # EE$���

�� �#�$ G � �� ����������� ����0��

������� � ����� ������ ������� ��

����� ��� ����� %&� ��� ��� ����� !#�

,������ � !������ 5� � ��������� (�/��� �� ���������� .����� ������� ���������� ���

�� ���������� ������ ����� ������� ���� �3��� B�

� G ���#�$� � � � � ��#�$�

(� �� ��������� �� �� (���� �������� �� �� �������� ������ ����� *�������

���������

�����

���

� �#��$ J ���

"������ J � � � J "�������

# F�$

��(8�� � �#��$ G �� J �#��$ �� � G 5� � � � � � # F5$

����

��� �� # F$

%������ �,� ������� �� ����� � � � �"��� ��� ���� ���� ���� �� ��� #���� ���$ J �#��$

#��� � �$ � �� ��� �� �G ��� �� �� ������� �� ���2!�����2�� �� ������ ��

P�#�$� ���

P�#�$

�� �� � � ���

"��� �� �� �� ������� �� �� ����#�� �� ����� ���� � ����� � � ���� ����� �� �� ��

���(���

)� �� �� �� ���(��� ��������� � � � �� ������� ���������� ������ �� ��� � ��

�������� �� � � ���� �����

!�� ����� �� �� ������ �� ���� ������� � �� �� !������ 5� /� ��� � ����

����� ��� ����� +#�

!�� ���������� ����� ����� ������� ��������� �� ������� � �� /������� ����� ��� ��

����������� ��� �� 0#���/�$ 2����� D �� � ��������� �� �� ���������� �����

����� ������� !�� ��� �� ���� ����� ��� �������� ���� � ��3��� �� +�������� #"�����

������� � ����� ������ ������� �E

!�(������� H 2������� #��5$$

Multi-class IVM - with 32 import points

.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................... ..................................................................................................... .................................................................................................. ................................................................................................ ................................................................................................ ............................................................................................ ..................................................................................... ................................................................................ ............................................................................. ......................................................................... ...................................................................... ................................................................. ........................................................... ................................................... ........................................................................................... ...............

........................................................................................................................................................................................................................................................................................ ......................................................... ........................................................................... ............................................................................ ............................................................................ ........................................................................... ........................................................................... ........................................................................... .......................................................................... ....................................................................... .............................................................. ...................................................... .................................................. ................................................ ........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................ ................................................................................................. ..........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

o oo

oo

o

oo

o

o

o

o

o

o

o

o

oo

o

oo

o

o o

o

oo

o

o

o

oo

o

o oo

oo

o

o

o

o

o

o

o

o

o

ooo

o

o

o

o o

oo

o

o

o

o

o

oo

o

o

oo

o

oo

oo

oo

o

o

o

o

o

o

o

oo

oo

o

o

o

o o

o

oo

oo

o

o

o

o

oo

o

ooo

o

oo

o

o

o

o

o

ooo

o

o

o o o

o

o

o

o

oo

o

oo

o

oo

oo

o

oo

o

o o

o

oo

o

o

oo

o

o

o

o

o

oo

o

o

o

o

o

o

o

o

o

oo

o

o

oo

oo

o

o

o o

oo

oo

oo

o

oo o

o

o

o

oo o

o

o

o

o

o oo

o

o

o

o o

o

o

oo o

o

o

ooo

o

o

o

o

o

oo

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

o

oo

oo

o

oo

o

o

o

o

o

o

o oo

o

o oo

o

o

o

o

o

o

o

o

o

o

o

o o

o

o

o

o

o

o

o

o

oo

o

o

o

oo

o

oo

oo

o o

o

oo

o ••

••

•• •

••

•

•

••

•

•

•

•

•

•

•

•

•••

•

•

• •

•

•

•

•

Training Error: 0.237Test Error: 0.259Bayes Error: 0.251

2����� D- &� ��� -����� �� %�� � � � �2 � � ���2 � �����2 ��� � ���

��# ������$

1� ���� ��������� �� ����� ����� ������� ����� �� /������� ��� ���������� �������

0����� 1� ���/�� �� � �� ���� �������� �� /��� �� �� ������ ����� �������� (�

���� �������� �� ������ �� �� ���(�(���� �#�$ !�� ����������� ��� �� �� �����

����� ������� �� 0#��/�$ ��� �� /������� ���� ��� 0#���/�$ ��� �� ���������� �����

/���� / �� �� ���(�� �� ����� �����

�������

���� ������ � ��� ����� �

� *����� � /� ������� �� ����� ���� ������� �� �� ������ ����� ������� /�� ��

(������� ������.������� ��� 0 .����� ������� ���������� ��� ����� ����� ������� ������

� ��� ������� /� ������� �� ������� ������ �� �� ������ ����� ������� /�� ��

�������� ��� �������� �� 5����� ������ ����� ������� 1� ����� �� �� 5�����

������ ����� ������� ��� ���� ���� �������� ���� �� ������� ����� ������ �����

�������� ���������� /��� ���� ��� �������� ����� ������� 1� ���� ������� �� �����

�������� �� ������� �� /���� ������� ��� �� �� 5����� ������ ����� ��������

����� ��������� ������� �������� �� �� ����� �������� ��� �� 5����� ������ �����

�������

��� !� ��%�� ��

� ������� /������� ������0����� ���(����� /� ��� ����� � �� �� ������� ��� #��� ��$�

� � � #��� ��$� /���� �� ���� �� � ��� ��� �� ���� �� � �5��5� �� (����� 1� /��� �

0�� � �����0����� ���� ���� �� ������� ���� �� �� /��� ����� � ��/ ���� �� /� ���

������ � ����� � ���� �5��5� � �

�F

������� � 5����� ������� ������ ������� �C

!� ������ ��� ���(���� /� �������� �� 5����� ������ ����� �������-

�������

�����

��5� ��

� �� J

�� ��

� � #��$

����

#� 5$

� �� G ����J � � � J ���� �� #� $

/����

� G ���#�$� � � � ��#�$�

�� � ��������� �� (���� ��������� ��� � �� � ����� �������� !�� ������� �� ������ ��

P��#�$ ��� P�#�$K �� 0�� ����� ��

P�#�$ G P�� J

�� ��

P� � #�$� #� �$

!�� ������0����� ���� �� ����� (� ��%�L P�#�$M !�� 5����� ������ ����� ������� ��� (���

������������ ���� �� %������ H :���������� #5@@?$ ��� ,���� %�������� %�� ,�.�����

%����� *����� H !���� #��$ 1� ����� �� ��� ������ �� �� 5����� ������

����� ������� ��� ���� ���� �������� ���� �� ������� ����� ������ ����� ��������

���������� /��� ���� ��� �������� ����� �������

!� �� � ���� 0�� ����� P�#�$ �� �������� /��� �� ����� ���� /� ���� ���� � �����

�� ���������� ����� �������� � � �������� ������ ������� ����������� � 0��� �� ��

������ ��� � �� ������ � /��� ������ ��� ����� ��� � ������� ��������� ��� �� �� ���

��������������� � ����� � ����� ��� � �� ����� �� (�� ����������� ����� �� ����� ��

� ��� ������ /� �������� �� �� ������� ��� P�#�$ �� ������/��� ������ �� � �������

�� � #�� �� �� �����$K /� ���� ������� �� ����� �������� � ������ �� �3�� /����

������� ���

�P�#�$� � � ���

������� � 5����� ������� ������ ������� �D

����� ���� �� ��������� ��/ �� ������� ������� /�� � ��� �������� �� ������� ������

��� �� �� ����� �������� � )���� ���� ���� ����������� /� ���/ �� �� �������

����� ��� � ������ �� /���� ������� ��� P�#�$ �� 0#�� ���#�� �$�$ �� �� /��� ����

��� 0#��$ �� �� (�� ����

%����� ������� ��� �� �������� ������� /� �������� �� ������ �� ������/��� ��������

�� �� ������� ��� P�#�$ /�� � ������ �3����� 1� ������� 5� ������� ��� �� ���� �� /�

������� !�� 0�� ����� ��� /� ������� ������ ���������� ����� ��� �� !�� ������ �����

���� ��� /� ������� ������ ���������� ������ (� ���������� �� E�F ��� J ��� ?

!�� ��������� �� (���� �������� ��

� G ��

����

����

����� ���� �

����

!�� ������� ��� P�#�$ �� � ������� �� � �� ���/� �� 2����� � 5 ��� ������ (�/���

/� ��8���� ������� ����� �� ������ "���� �� ���� ��������� �� P�#�$ /�� ������ � �

�� ������/��� ������ #�� ��$ !�� /� ����� ���� ��� ��� ��� ��� ���� /���� ��� �� /�

������� �������

� ������ � � /� ������ /�� /� ��� �������� �� �� 5����� ������ ����� �������

� ������ � �� /� ������(� �� �������� �� ������� �� /���� ������� ��� P�#�$ �

������ --� /� ���/ ���� ��������� ������ �� (�� ��������� ��� ��� ���� /���� ���

��� ������&�% ����� '�� �� ������

!�� ������� ����� ������ ����� ������� �� ��������� � 0 � ����� ��

�������

�����

��5� ��

� �� J

�� ��

� � #��$

����

J ����� #� E$

/���� � �� � ����� �������� � �������� ������ ������� ������ � #�$<� � (� �� (����

�������� �� � ����������� .����� "��(�� ����� !��� � .����� ���. ����/� �� ���������

�� �� ���������� ������ ����� � (� ���� ������ ���� ��0��� �� ���� ����� #� � � G �$�

������� � 5����� ������� ������ ������� �?

0.0 0.5 1.0 1.5

0.0

0.2

0.4

0.6

0.8

P �

�

2����� � 5- ��� �������� ���� ����� �� � �������� �� ��

/���� ������� �3�� ����������� (������ ��� &�������� ����� H ������ #5@@@$ ���

1��(� #5@@@$ � ��� ������� ��/����� /� /��� ��������� �� �� (���� ������������

#� �$ ����� ��� � .����� ������������

=���� �� #� E$ ��� �� ���� !��J�"�# $�� ��� � �� �� ����� �������� �� �������

�� �����6 (�/��� ���� ��� ������ !�� ���� #5 � ��$ �� ������ �� ����� ����� ��� ��

������ �� ������ �� ���� ������ !�� ���� �� ������4��� (� �� �������������� �� ��

��������� �� ���� ���� �� ������ ��/��.�� /���� � �� .��/� �� "���� ��� � !�� �����

������ �����.� �� 0�� �������� P� �/���� 4��� �� /��� .��/� �� ��� �����.���

��� �� �6�� �� ���������� �� ��������� �� P�� ����� �����(�� �������� �� 0�� �����<�

��������� ��������� ���������� /��� ���� ��� ���� ������ ��������� �������� ��� "�����

!�(������� H 2������� #��5$ ,� ���� � �������� ������� �������� ���� �� ���/�

�� ����� ������ ����� �����(�� �3����� �� ������� �� �� ������ ����� ������� #"�����

!�(������� H 2������� #��5$ ��� 1��(� #5@@@$$ 9� �� ���� ����� �����������

�������� ����� ��� ��������� �� ���� ����������� �� �� ������ ����� ������� � ��

������� � 5����� ������� ������ ������� �@

������ ��3���4��� ������� #>����. #5@@F$$� � ������� �� �� ����� ���� '����� ��� H

"���� #���$ ��.�� ���� �6�� � (���� � ��������� (�/��� ���� /� ��6���� ���/�

� ��� ������� /� ������� �� ����� ������ �� #� E$ /�� �� ������� �� �� � � �� � ���

������ #!�(������� #5@@C$$� ��� �������� �� 5����� ������ ����� ������� ���(���-

�������

�����

��5 � ��

� �� J

�� ��

� � #��$

����

J ���� #� F$

/���� �� �� ��������� B������� ������� �� �� �����4���� ���(��� #� 5$�#� $

!�� ����� ������ /�� 0�� �������� �� !�(������� #5@@C$ ��� ���������� ���(����� /����

�� �������� � �� ��������� ����� ��� ���������� ��� ���� (��� ���� �� %������ H

:���������� #5@@?$ ��� ,���� %�������� %�� ,�.����� %����� *����� H !���� #��$

��� ������0����� ���(���� ����� �� �����/��. �� ������ ����� �������� ,������ � ��

����� ������� �� ����� ������ ���� �����.� �� 0�� �������� P�<� �/���� 4���� �����

#� F$ ���� (���0� ���� �� �������� �� 0�� ��������< ��������� ������ ������� ��

�� ����� ������ �� �� (������ �� �� �� ����� �� �� ������� ��.��� � �������� ������

�� ����������� � �������� ������ /��� ����� ���� �� �� �������� P� <� � (� �$ ��� %��

2�� �3������ /��� � G 5 �� 2����� � 5� ���� ���� 0�� �������� ��� ����4��� !��� ��

����� ������ ���� � .��� �� ��������� ������ ��������� /���� ��� �� �� �� ���� ��� ��

����� ������ � #� E$� ���� �� �� P� <� /��� (� ����� � 4���

�� ��������� � ��� �� �� ����� ������ ����������� � � +������� ����� ���

�� � <�� /���� �� ����� ������ ����������� � � ���(����3�������� ����� !�� ���(���

�3�������� ������ ��� ������� ���� ��� �� +������� ������ !��� ��I��� �� ������

������� �� �� ����� � ������� ���� ����� 0�� �������� ��� ����� ����� � �� ����������

�� ���� ����������� ���(���� '������� 2�������� "����� '����� !�(������� H ��� #��E$

�������� � ������� /���� /� ���� � ����� ���(�� �� ������� ���� � � � G 5��� ��� �

����� ���(�� �� (���� ��������� � � � G 5�� ��� 2�������� "����� '����� !�(������� H

��� #��E$ ����� �� �� �� �� �� ��������� � � ���� � ����� ���(�� �� ��� ��������

������� � 5����� ������� ������ ������� E�

� <� ��� ����4���� �� ����� ������ /��.� (��� ��� �� ����� ������K /���� �� �� ����

������ ��������� � � �� ��� �������� � <� ���� � +������� �����(����� ������ ��

����� ������ ��� �� ����� ������ /��� 0 �� �������� /���� ����� ���� �� �� ����

��� ���� /���� � ������ ���� ����4��� �������� !��� �� �� ���� �� ��������� ���

�.��� �� ��� %���� �� ���� �(���������� 2�������� "����� '����� !�(������� H ���

#��E$ ������ ������� �� �� �� �� ��� ��������� ��� ���������������� ���(����� /����

���������� ����� ����� ������

��� (���� ��

,����� � ����� �� �������� /�� /� ��� �������� �� �� 5����� ������ ����� �������

!� ����� �� 5����� ������ ����� ������� ��� � �$�� ����� �� �� /� ��� �������� #� 5$�

#� $ ��� � ������ ����������� ���(��� ��� ��� ������� ���/��� ���.����K (� � �� �

���� 0�� ����� P�#�$ �� �������� /��� �� ����� ���� /� ���� � ����� �� ����������

����� ��� �� ����� ������� � � ��� ������� /� ������� �� ����� �������� ��

������� �� /���� ������� ��� P�#�$� ����� ��������� ������� �������� �� �

����� ,��� ��� ������

� /� �����/ �� ������� ��� P�#�$ �� #� 5$�#� $ �� � ���������� /� /��� ����� �� �����

(���

�#5��� P��$ ��� �� ��� ������/��� ������� �� A������A����!��.�� ��������� /���

�� ������ /��� � ��������� ������ � ����� � #5� �� P��$ ������� ���� ����4��� � 4���� �� �

0�� ������� P� #�$ ������� ���� ����4��� � 4���� /���� ���������� � �� ���������

����� ���

�#5 � �� P��$ ��� �� !��� ������� �� �� ��������� �� P�#�$ /�� ������ �

� �� ������/��� ������� (������ /��� �� A������A����!��.�� ��������� �� �� �������

�� ��������� �� P�#�$ /��� �� ������ ����� "���� � �������� �� �� /���� �������

��� P�#�$ �� ������/��� ������ ,�� �������3 ��� ������

!��� � ������ �� /���� ������� ��� P�#�$� ��� /� ���� � �� �� � 0�� �� 3�����

� � �� ������. ����� �� 2����� � 5� �� ��� ������/��� ������ ���� ��� ��� ������ �����

� ��������� ���� �� ������������ � ��� � P�#�$ G �� 0�� �� ���� ��������� �� P�#�$�

������� � 5����� ������� ������ ������� E5

�� � �������� ��� ���� ������ �� ��������� /��� P�#�$ ��� � � 8���

����� +��� ������ -��� � � �.

!�� �����/��� ������ �� ���� B�

G �� - P� #�$ �G ��� #� C$

! G �� - 5� �� P�� G ��� #� D$

" G �� - 5� �� P�� � ��� #� ?$

��� 3 ��� �� ���� ��������� �� P��#�$- 3� G 5 ��� P��#�$ ������ �� ��������� ��

P�#�$ /�� ������� �� 1���� ���� �� ���������� /� ������ W��� G 5� � W��� G �5�K��� P��#�$ G 5� P� #�$ G � !� ������ �� ��� �� P�#�$ �����/�� /� ���� � ������ ��

��������� �� P�#�$ � � 1� �������� � ����0�� ���(���-

�������

�����

#5 � ����$ J�

�����

#5 � ����$ #� @$

� �� U�� �� G �� J

�� ��

� � #��$� #� 5�$

=���� �� �� �� G 5� �� ���� �� ���� #5�����$K (� �� �� G �5� �� ���� (������ #5�����$ �

��� ����� �� ��������� �� P�#U�$ /�� ������ � U� �� �� ���� �� ���� /�� ����� U�

��� ��� ��� ��� ���/ �� � ��������� /�� �� ���� ��������� �� P�#�$ /��� � �� ��������

����� "���� ��� ���� ����� �� 0�� �� ������ ��������� 3 �� P�#�$ ,������ #� @$�#� 5�$�

/���� ��� (� ���������� ��� � ������ ������ ����������� ���(���� /� �� ������ � !��� " � � ������ (� ����� � �!� 1� ���� ����-

� P��#U�$

P��#U�$

�� G

� 5

�

��J U� �

� 3�

3

�� � #� 55$

U� ���� � � ��� ���������

������� � 5����� ������� ������ ������� E

����� ��� �� ��$�

!�� ���� �������� �� ������� �� /���� ������� ��� P�#�$ �������� �� �����/���-

5 ������� U� ���� ��� �� �� �����/��� /� ����� �������-

# � ������� ���� ��� ! � � � 5 � ���� �G � (������ 5� ���� G � ��� ���� �

# � (���� ������� �� ������ � � � P� �G � (������ P� G � ��� ���� �

B� �� ������ P��� P� ��� � (� ������ (� P����� � P���� ��� ����

2�� ���� �� �� � /� �����-

��� 3� J

�� 3 � #��$ J 3 �� �#��$ G � ��� � � !�

� ��%�# P���� $3 J �3 � � G 5

#� 5$

/���� 3�� 3 ��� 3 � ��� �� ��.��/�� 1� ��� ������-

U !�� �

U�G��

��

�3� J

��

3 � #��$ J 3 �� �#��$

�� #� 5�$

� 2�� ���� �� � ! � /� �����-

��� 3� J

�� 3 � #��$ G � ��� � � !������

� ��%�# P���� $3 G 5

#� 5E$

/���� 3� ��� 3 ��� �� ��.��/�� 1� ��� ������-

U !����

U�G��

��

�3� J

��

3 � #��$

�� #� 5F$

E *������ �� ������� ������ �� ������� ���� ��� ��� ��� � !���� ��� ��� �J�!� G

� J 5 ���� ������ *����� �� ������� ������� ������� "�����

# � �� ������� ������� �� ������������ �� �������� ��������K ����

������� � 5����� ������� ������ ������� E�

# � �� ������� ������� ������� ����������� � � �� �� ��� � /� �����

� � ����� #� 5C$

3 �� 3

3 �

�� � #� 5D$

# � �� ������� ������� ������� ����������� � � �� �� ��� �� /� ����� 3 ���

! � !������ #� 5?$

" � " � ���� �� ��������� #� 5@$

� ����� �� �� ��� /� ������ P�#�$ ������� ��-

� P��#�

��� J U�$

P��#���� J U�$

�� G

� P����

�

P�����

��J U� �

� 3�

3

�� � #� �$

��� /� �� (��. � ��� 5

� �� ���� /� �� � ��� P�#�$� /���� �� ������/��� ������

����* �����/�

1� ������� �� ����� �� ��� �������� ���� ������ ���� �� �3�� /���� ������� ���

P�#�$ �� #� 5$�#� $ � �� �������3 "��� ������� /� �3����� � ���� /�� ���� ��� �� ��

�������� ���� � ��

,�� 5 �� �� �������� �������� �� P�#�$ ��� � � 8��� �� �� ������� ��� ���

�� ���� ��������� �� P�#�$ ����� � (� ������� �� ����� � �������� #5� �� P��$ ������� ����

����4��� � 4���� �� �� ������� �� � (���� ������� P� #�$ ������� ���� ����4��� � 4����

/��� � ��������� !��� ���� ��� /� �����(�� ���� �� ������ �� �� �������� ��� �.�-

#5$ ��� � (���� ������� ��� � �� #$ ������ � ���� ���� !

,�� ������� �� �����(�� ���� ��������� �� P�#�$ �� ������ ���� (���� ������� � �#�$

��� ,�� � ������� �� �����(�� ���� ��������� �� P�#�$ �� �������� ���� ���� �� ����

������� � 5����� ������� ������ ������� EE

! !�� �����(�� ���� ��������� �� P�#�$ #��������� (� ����� #� 5$ �� #� 5E$$ �� ���� ��

�� ������� ����� �� ! ��� .�� �� ! /��� � ���������� ���� �� ��3 8��� #��� 5$ ������

U !���U� �������� ��/ ��� �� !�� /��� �������� �� P�#�$ ������� ��������� � 3 ,�� E

�.�� �� ����� ������������� � �� ������� ������� U !���U� 1��� �� !�� ��� ��

(� ���������� �� �������� ��������

����0 ���"������ ���

1� ���� �������� �� �������� �� ������� �� /���� ������� ��� P�#�$ � ������

������� �� ��� /�� �� �� ����������� ��� �� ��� ��������R ,������ �!� G / � �

8��� �� �� ������/��� ������ ������� ���� ��� � �.�� 0#�/�$ � ������ ��� ��� ���

� �� �� �������� ������ ,�������:������� ������� ������� � /� ������ �� �������

��� ��� ������(�� (� �� ��������� �� ��� ��� �� ������� ��� ��� ��������� ����� �

���� ���� #5 � �� P��$ ����� � 4��� "���� � �� �������(�� � ������ �� ���(�� �� 8����

�� �� ������/��� ������ ������� ��� �� 0#�$ ,���� �� ��3���� ����� �� / �� ���#�� �$

��� �� ������� ����� �� / �� 5� /� �� �� /��� ����������� ��� �� 0#�� ���#�� �$�$

��� �� (�� ����������� ��� �� 0#��$ =���� �� ��� �� � ����� ���������� �� ��

����������� ��� ����� ���� ���� ���������� ,�������� ������ #������ --$ �������

������� �� �� ���(�� �� 8���� ���� � (� 0#���#�� �$$

��# )������� ����

� ��� ������� /� ��� (�� ��������� ��� ���� ��� ������ � �������� �� 5����� ������

����� �������

��*�� !������ ������

!�� ��� ��������� ��������� �� �� ���� �� �� ��� ������(�� �� ������ � 5� �3���

�� /� ������� F� ������� ��� �� ���� �� /� �������� ��� � ��.� ������ ���(����� /�

����������� ������ �� ����� /�� ��������� /�� ����� ��3 ��� ���� ������� ������

����� ����� "���� �� ������ ����� ����� ��������� ��������� �� 0��� ��.� �� �.��

������� � 5����� ������� ������ ������� EF

!�(�� � 5- ,�������� ������ �� 5����� ��� ����� ������ ����� �������

%��� .���� /�.0

���������� 5����� ����� 1� (����� ��� 2 3�����

5 =� ����� ���� � �D� #� �5�$ � �? #� �$ � �? #� �5$ F @E #5�$ ����� ����� � �DE #� �5E$ � 5� #� �$ � 5 #� ��$ 5E 5E@ #�$� E ����� ����� � �DE #� ��@$ � 5� #� ��$ � � #� �F$ D F #��$E C ����� ����� � �? #� ��@$ � 5F #� ��$ � #� �C$ EE �DE #F$F ? ����� ����� � �?E #� �55$ � 5? #� ��$ � #� �C$ CF E@@ #CD$

����������� �� ������� �� � /������������� ��(����� !�� %���� ����� ��� ��� ���

���(��� �� ���E�F� ����������� �� ��������� � �� �������� ���� ������ � ����������

����� ������� �� �������K /� ��� �� �������� ������ ����� ������������� � �� ��

������ ���������� .������ ����� �� ��������� �� (���� �������� ��

� G ��

� ��

� � � � �� � �� �

� G 5� � � � ���

1� ������� 5��� �� ��� � ������� �� 5����� ������ ����� ������� ��� �� ����

���� ����� ������ ����� ������� !�� ������� �� ������ ���� F� ����������� /��

��6���� ���(��� �� ����� ������ ��� ���/� �� !�(�� � 5 2�� (�� �� 5����� ������

����� ������� ��� �� ����� ������ ����� �������� /� ������ �� ����� ���������

� ������4� �� �� ������ � (� �� ���� �� �����(�� � ���� ����� 2�� ����������� /�

���� ������� �� ������ ��� �� ����������4�� ������ ����� �������

2��� !�(�� � 5 /� ��� ��� �� �� ����������4�� ������ ����� ������� ��������

�����0����� /���� ��� �� ������4�� ����K �� 5����� ������ ����� ������� ��� ��

����� ������ ����� ������� ������� ��������� /��� ���� �� �� ����� ���� #���� 5$�

(� �� ����� ������ ����� ������� �� ��������� �6���� (� ����� ����� #���� � ����

F$ ,���� �� 5����� ������ ����� ������� ��� �� �(���� � ����� ������� ������� ���

������ �������� �������� � ���� �� ��6�� ���� �� ����� ����� �� ���� �� �� �����

������ ����� ������� !�(�� � 5 ���� ���/� �� ���(�� �� (���� �������� � ��� ��

���(�� �� 8���� �� �� ������/��� ������ ������� ��� =���� �� � . � ��� ���� �� �

������� � 5����� ������� ������ ������� EC

���.��� ������ ����������� (�/��� ��� ��� W5!��$� #2����� � $ 2����� � ���� ���/�

�� 5����� ������ ����� ������� ����� ��� ��� ���������

0 2 4 6

−0.5

0.00.5

1.0

0 2 4 6

0.05

0.10

0.15

0.20

Test

Erro

r

10 20 30 40 50 60

100

200

300

400

500

Number of Bases

Numb

er of

Joint

s

P �

��

2����� � - ��� ��! "�!!�� ������# �$��%" �����%� &����% "������ '��� ���%� �%� � ����� ���������� ���� ����� �� ��� �����$'��� �����% �������� ���� ������ ��� �'� ����% ����� ��%%�����! �� ��

�

��! ���( '���� �%� ��� %���&��� �����%��� ��� "�!!�� ����� �� ��� ���� �%%�% ����) ��� �������� �����

��� !��� ����� ��%%�����! �� ��� "���"�" �� ��� ���� �%%�%� ��� %�)�� ����� ������%���� ��� �����%%����������� *��'��� ��� ��"*�% �� *���� ��������� ��! ��� ��"*�% �� +����� �� ��� �������� ����'��� � � �

��*�� ���� ��� ������

� ��� ������� /� ����� �� 5����� ������ ����� ������� � ������0����� �� ���� ���

��������� ������� ���������� �� ������0����� �� ���� ����������� ��� �� *����� E *����

��0����� �� ����� ������� �� �� ������� ����� �� ������ ��������� ��� ������ !��

����� ������ ����� ������� ��� (��� ������������ ������� � ���������� ������ �������

��� ���(���� #+����� 1����� %������� H >����. #��$ ��� :�.���8��� !������ ,������

>����� +���(� :������ H ������ #5@@@$$ "�/����� ��� /��.���� �� �� ����� ������

����� ������� �� �� � ���� ������� � ������ ����� ��(�� (� ���� �� ����������� �����

������� ����� ��� �� ������0����� 9��� � ������� ���� �� ���������� ������ ��������� ��

� ������� �� ����� ��������(�� ��� �� ������0������ ����� ��� ����� ��������� +���(�

,������ !������ "����� +�����(��.� :������� *������ B��� ��/���� H *�������� #���$ ���

+����� 1����� %������� H >����. #��$ ���� �������� ���� �������� ������� /���� /�

���� ��������� ���.��� #)'$ ��� ��������� ������ ���������� #'2&$ #��� L5EM$� �� ��� (�

������� � 5����� ������� ������ ������� ED

!�(�� � - '����� �� :��������� *�����0�����

������ !� .���� %��� .���� 2 �$ 4����

����� ,>: )' X�? �X�E ����� ,>: '2& X�? 5X�E �55����� ,>: X�? X�E 5D

���(���� /�� �� ����� ������ ����� ������� "�/����� ���� ���������� ��� /�����

���������� �� ������ �� �3����� ���� �������� ������ 9� �� ���� ����� �� 5�����

������ ����� ������� ��� �� ������� ���� #������$ �������� ������� ��� � �� �����

������ "���� �� 5����� ������ ����� ������� �������� �� ����� �� ������0����� ��

������ ��� �������� �� ����� �������������

1� ����� �� 5����� ������ ����� ������� � ���.���� ��� +���(� ,������ !������

"����� +�����(��.� :������� *������ B��� ��/���� H *�������� #���$ !��� ��� ��

������� �� �? ������� ��� ��� �E �� ��� �� /� ���� �� ���� ���.����� ��� �������

���1��� #�:B$ ��� ��� �������� ��� ���1��� #�BB$ &��� ���� �� � ����� �� � G

D� 5@ ����� 1� ��� �� �������� ���� � � � � �� �� ����<� �3�������� ������ �� �� (����

�������� � � � G � !�� ����� �������� �� ������ ��������� � 5������ ����������������

��� �� 0��� ����� �� 0�� �� ��� �� ������� ��� ��� �������� �� �� �� ��� !��

���(�� �� 8���� �� �� ������� ��� �� 5�E� /���� ������� � (� 0#�$ $ 0#�$ !�� ������

��� �������4�� �� !�(�� � 1� ��� ��� �� �� 5����� ������ ����� ������� ��������

��������� � �� ���� ������ �� ������0����� ��� � ��� �� �������� �� �����������

�������� ������� ����� 1� ������ ����� �� �� ��3���� ���(�� �� ����� �� ��

5����� ������ ����� ������� ��� ����� �� ����� (������ (� �� /���� �� ������� ����

���� ��� � �� ���������� ���(����

��* ������$

1� ���� ���������� �� 5����� ������ ����� ������� �� ��� ������ 1� �������� ��

�� 5����� ������ ����� ������� ��� ���� ���� �������� ���� �� ����� ������

������� � 5����� ������� ������ ������� E?

����� �������� ���������� /��� ���� ��� �������� ������� !�� ������� ��� P�#�$ ��

�� 5����� ������ ����� ������� �� � ������/��� ������ ������� �� �� ����� ��������

� 1� ���� �������� �� ����� �������� � ������ �� /���� ������� ��� P�#�$ �� ��

5����� ������ ����� �������� ��� �������� ������� �������� �� �� ����� �������� �

������� �

��������� ������ ����

*�����0����� �� ����� ������� �� �� ������� ����� �� ������ ��������� ��� ������

!�� ������ ����� ������� ��� (��� ������������ ������� � ���������� ������ ���������

���(���� "�/����� ��� /��.���� �� �� ������ ����� ������� �� �� ����� � ����

������� � ���� ������� � ������ ����� ��(�� (� ���� �� ������� ��� ������ �� �� ������

����� ���(�(���� 1� ������� ������4�� ������� ���������� #�B'$ �� �� ��������� � ��

������ ����� ������� ��� �� ���������� ������ ��������� ���(��� 1� ���/ �� /���

����� �� ���� �� �� ������ ������4�� ������� ���������� ��� �� ������ ����� �������

������� ��������� �� ������ ������0������ (� ������4�� ������� ���������� ��� �� ��������

�� ����������� ��������� �� ������ �� �� ���������� ���(�(���� 9��� � ������� ���� ��

���������� ������ ��������� �� � ������� �� ����� ��������(�� ��� �� ������0������ �����

��� ����� ��������� 1� �������� /� ���� �������� ������ �� ��� ������� ��������

�� ���.��� #)'$ ��� ��������� ������ ���������� #'2&$� �� ��� (� ���(���� /�� ��

������ ����� ������� ��� ������4�� ������� ���������� &�������� ������ ������� ��

������4�� ������� ���������� ���(���� /�� ��������� ������ ���������� ���� � ����� ����

����� ��� ���� ������ ��� ���� �������� /��� �� (�� ��������������� ��� �� �������

E@

������� � ��������� ����������� F�

#�� !� ��%�� ��

*�����0����� �� ����� ������� �� �� ������� ����� �� ������ ��������� ��� ������

*���������� ��������� �� ������ ��� (��� (���� �� �3�������� �� �� ������������� ���

�������� �� ������ ����� ��������� ����� ���� ���������� "�/����� ��� ����� ��

��(8����� ��� ������� �� ������ ������ ���������� :���������� �6�� ���� �� ������

������0����� ��� (� �(8����� ��� ������ �������� ��������� ���������� /�� �� ����������

� ������ �� ��� ���������� ����� �� ������ ,�� +���(� ,������ !������ "�����

+�����(��.� :������� *������ B��� ��/���� H *�������� #���$� A���� 1��� '������� ,����

B������� 1��������� %������� ,��/�(� �������� H ������� #��5$� B�� H B�� #���$�

'����/���� !������ '��.��� :�.���8��� Q����� ������� B���� '����� B�������� :�������

������� +������ B���� B����� H +���( #��$� !�(�������� "����� =��������� H *��

#��$ ��� ���������� ������ ��� ����� /��.

!�� ������ ����� ������� #,>:$ �� ��� �� �� ������ �� ��� (��� ������������

������� � �� ������ ��������� ���(��� �� �������� ������ #B�� H B�� #���$� :�.���8���

!������ ,������ >����� +���(� :������ H ������ #5@@@$� '����/���� !������ '��.���

:�.���8��� Q����� ������� B���� '����� B�������� :������� ������� +������ B���� B�����

H +���( #��$$ � /������� ������0������ �� ������ ������ ����� ������� 0� � �����

�#�$ G �� J��

�� � � �� ������4��

�����

L5� ���#��$M J�

#��� J � � � ���$� #E 5$

!�� ������0����� �������� �� ��� ���� ��������� � ��%�L�#�$M "�/����� ��� /��.���� ��

�� ������ ����� ������� �� �� � ���� ������� ��%�L�#�$� 5�M� /���� �� ���(�(����

�#�$ �� ���� �� ������ ������ /���� �#�$ G #� G 5�� G �$ �� �� ���������� ���(�(���� ��

� ���� (���� �� ����� 5 ����� � G � � ����� ���� /������� � ���������� ������0������ ��

���������� ������ �� ���� ����- ����� � �������� �� ���(��� �� ������� ��� � ������ �� �

���������� ���(����� ��� ���� ���������� ���(��� �� ��������� (� � ��6���� �����������0�

������ ����� ������� ������0�� #� � � N����� 5O �� N�� ����� 5O$K ��� � ��/ ������ �.��

������� � ��������� ����������� F5

�� ����� �� �� ������0�� /�� �� ������ ���� ������ ���� G �����3��������� /���� �

�� �� ���� ������ ���� �� �� �� ������ ����� ������� ������0�� '������� B�� H B��

#���$ �3���� �� /������� ������ ����� ������� � ���������� ���� �� � ���� �����

/�� ��� ������� #2%/#� #� G ��� G �$ �������� (� � ���� ���.� �� ������� ��

#� G ��� G �$ ���������

� ��� ������� /� ��� ������4�� ������� ���������� #�B'$ ������0�� � ������� �� ������

��������� ���(��� !�� �������� ��� �� ��� �� ������4�� ������� ���������� �� ������ ��

�� *����� ������4�� ������� ���������� �� ���� �������� �� /��� �� �� ������ �����

������� �� /������� ������0������ (� ��� ���� �������� (� ��������4�� � �� ����������

���� 2���������� ������4�� ������� ���������� �������� �� ������ �� �� ���������� �����

���(�(������ �#�$

:�3���� ��.������� ��� �� =�/���'������ �������� �� �� ��������� /�� � �����

������4�� ������� ���������� ����������� "�/����� �� ��������� �� �����(���� /���

�� ���(�� �� �����(��� �� ����� 1� ��� � ������������ ���. � ��.� �� ���������

�����(��� (� �� ����������� ��� ��� ���� (� ���� !� ������ ������ �� ����������

/� ��� � ��������� ������� �����4���� #,:9$ �������� #��� #5@@@$$ � ����� ������4��

������� ���������� �� ��� ����� !��� ����� /�� 0�� �������� �� A������ ����� ,������

H ��� #��$ ��� /������� ������0�����K /� ��������4� � � �� ���������� ����

%������ ��������� �� ������ ������ ����� ��� � ����� ���� ������� ������ ���������

�� ���������� ������ ��������� �� � ������� �� ������� ����� /���� �����(�� ��� � ��

������0����� 1� �������� /� ������ #����$ �������� ������ �� ��� ������ ���������

���.��� #)'$ #������ 2�������� H ,���� #��$� +���(� ,������ !������ "����� +������

(��.� :������� *������ B��� ��/���� H *�������� #���$$� ��� ��������� ������ ����������

#'2&$ #+����� 1����� %������� H >����. #��$$� ��� ������� ���� ����������� /���

���� /�� (�� ������4�� ������� ���������� ��� �� ������ ����� ������� �� ���� ������

��������� ��� ���

9�� �������� �� ���� ��� ��� �������� �� ������4�� ������� ���������� ��� �� ����

��� ����� ������� ������� ��������� /��� ���(���� /�� ����� ��������� ���.��� ��

��������� ������ ����������K �� ��������� ������ ���������� ����� ����� � �������

������� � ��������� ����������� F

(��� ��� �� ��������� ���.��� �����K ������4�� ������� ���������� ���� � ����� ����

����� ��� �� ������ ����� ������� 9������� ������4�� ������� ���������� /�� ������

���� ������ ���������� ����� � ������� �� (�� �� (�� ��������� �� ������ ����� ���

�������� �� �������� �����

!�� ���������� �� ������4�� ������� ���������� �� ����� �� ������ E � ������ E �� /�

������(� �� /� ���� �������� ������� ��������� ���.��� ��� ��������� ������ ��������

��� � ������ E E� /� ����� ������4�� ������� ���������� ��� �� ������ ����� �������

� ���� ���������� ������ ��� ���

#�� �����&�% ��� � ������

� ������� ������� ������0����� ���(����� /� ��� ����� � �� �� ������� ��� #��� �$�

#��� �$� � � � #��� �$� /���� �� ���� � �� � ������� �� G #���� ���� � � � ���$ � �� ���� � ��

��������� ��� ������� ������ �� � 0��� �� �5� � � � � �� 1� /��� � 0�� � �����0�����

���� ���� �� ������� ���� �� �� /��� ����� � ��/ ���� �� /� ��� ������ � ����� ��(�� �

���� �5� � � � � �� � � )������ � �� ������� �� �� ������� ��� ��� �� ������������

��� ���������� �����(��� ������ ���� �� ��.��/� ���(�(���� �����(���� #�� �$ !��

���������� ���(�(���� �� � ���� (���� �� ����� � ����� � G � �� ������ �� �#�$ G #� G

��� G �$ !�� %���� ������0����� ���� �� ����� (�-

�����3���������� �#�$

*���� ,������� �� �� �� ������ ���������

!�� ������� ���������� ����� ������ ���� �� ������ � ����� �� ���������� ���(�(������

�� �� � ������� ��� ������ �������� �� �� /���� � �� ���� ��� �������� �� ��� ���

������� � ��������� ����������� F�

� ��� ��� ������ �� L�� 5M !�� ����� ��� �� ����

��#�$ G"��������� "�����

�

��#�$ G"��������� "�����

�

��#�$ G"��������� "�����

�

/����

�#�$ G �� J

�� ��

� � G �� J � �� � G 5� � � � � �� #E $

=���� �� ��#�$� ��#�$� � � � ��#�$ ��� �������0�(�� �� ��� ������ ��� �� /� ��� � ����

��� �� J��

�� � � � ���� �#�$� ��#�$� ��#�$� � � � ��#�$ /��� �� ������ !� ��.� �#�$

�����0�(��� /� �������� �� �������� ����������

�� �#�$ G �� �� ���� �3�������

����

�� G � #E �$

����

� G �� #E E$

B������ ���������� ������ ��� ������� 0 (� ��3���� ��.������� ,���� �#�$ ���������

�����0�� �� ���������� ���(�(������� �� ���������� �����(���� �� ���������� +����

�� ������� �� #��� �$� #��� �$� � � � #��� �$� �� ������� ���������� ������.������� ��

���

���

��� ���#��$

G

����

����

���#��$ J ��

�"������ J � � � J "������

��

1�� �3�������� ������� � �� ������ �� � % � #� � � G �F� � G D���$ !�� ���������

������� � ��������� ����������� FE

����������� �� �� ������� ���������� ����� ���-

# !�� ������� ��� ������� �������� ������(��

# !�� ������.������� �������� � ��3���� �� �

# !�� ��������� � <� ��� �� �������� ��0���� ��� ������ ���� /��� (� ��0���

!� ����� ��� ���(���� /� �������� �� ���������������������4�� ������� ������.�������-

( G��

���

���

� �#��$ J ���

"������ J � � � J "�������

J�

����

��� #E F$

/���� �� �� � (����� ������� �� �������� �� �������� �� /�� ������ ��� 4��� �3��� � 5

�� ������� � �� �� ����� �� �� ���

�#��$ G #��#��$� ��#��$� � � � � ��#��$$ �

��� (� ���/� �� �� ��� ���������������������4�� ������ �� �������� #E E$ �� ��

��������� �������� ��� � �� ������� �� #E F$���

�� � G � �� ����������� ����0��

� �� ���������� ������ ��������� ���(���� �� ������ �� �3�������� ��� ���� � G

5� � � � � � ��� ������ � G 5� � � � � � ,���� � �� ���� ���� ����� #�� �� ��������$� ������4���

#E F$ ������� �� ������������� �����(���� !� ������ �� ���������� /� ����� ��

�� ����� ������� �� #E F$ �� ����� (�-

+(

+�G �� ��

�� #� � �$ #E C$

G �� � G 5� � � � � #E D$

/���� ��� �� � ����3 /�� �� �� �� #�� �$� ������� � �� � � 5 ����� ���������

��� � G 5� � � � �� ��� � �� ���� � � 5 ����� ��������� �#��$� � G 5� �!$�� !�� �����

������� #E C$�#E D$ �������� �� � �� �� �� ��/ ����� �� ���� �� ����������� � ��� (�

������� � ��������� ����������� FF

/���� ��

� G��

���

����� � G 5� � � � �� #E ?$

B� �� &�������� ����� ������

��� ��� G

�� ��

� �� �

!��� �#�$ /���� ������4�� ( ���� ��� �� ����

�#�$ G 6� J

�����

����� ���� #� � � #E @$

���

�� G�����

��������� ����� #E 5�$

!��� #E F$ (������

( G

�����

���

� �#��$ J ���

"������ J � � � J "�������

J�

����

�����

��������� ����� #E 55$

!�� ������4�� ������� ���������� ����� �� 0 (� 0����� �� ��<� �� ������4� #E 55$�

��� �<� ��� (� �(����� ����� #E ?$ !�� ���(�� �� ��������� �� ������� ���� ��

#� J 5$� �� #E F$ #�� � <� ��� � ��<�$ � �� #� J 5$� �� #E 55$ #�� ��<� ��� � ��<�$�

��.��� �� ���������� �����(�� ��� �������(�� ����� �

*���� ���"������ +�����

,���� #E 55$ �� �����3� � �� ������ � ��� �� =�/���'������ ����� � ������4� ( �

����� � �������� ������������ ����(�� (������� ���� ��� (� ���(���� /�� �� =�/���

'������ �������� !�� ���/(��. �� �� =�/���'������ ����� �� �� �� ���� ��������

������� � ��������� ����������� FC

�� �� �� ����3 ����� � (� ������� ������� ��� ��� (� �����3����� (� � ����

��� +�����,����� �� ����(��� �������� #�������� �� ��������� � �������� � � �

�������$� �� ����������� ��� �� ���� ���� /��� � �� � �� �����

'������ A������ ����� ,������ H ��� #��$ �������� � ���� �������� ��� /�������

������4�� ������� ���������� /���� ������ �������� ���� ������� �����/� �� ����� ��

�� ������� ��������� ������� �����4���� #,:9$ �������� #��� #5@@@$$ �����������

����������� �3�������� ���/ �� �� �������� �� ��(�� ��� ��� A������ ����� ,���

���� H ��� #��$ ������(�� �� �������� ��� /������� ������0�����K /� ���� ��������4��

� � �� ���������� ���� � ������� ���������� �� �� ���������� ���� �������� �� �����

�� �� �������3

#�� +�� ��� ����� ��

%������ ��������� �� ������ ������ ����� ��� � ����� ���� ������� ������ ��������� ��

���������� ������ ��������� �� � ������� �� ������� ����� /���� �����(�� ��� � ��

������0����� � ��� ������� /� ������(� /� ������ #����$ �������� ������

*���� 1�2���� ���/�

,������ ��������� ���� (��� ���� ��� ���.��� ����� �� ���� �� ���� ������0����� �������

����� +���(� ,������ !������ "����� +�����(��.� :������� *������ B��� ��/���� H

*�������� #���$ 0�� ��������� � ���.��� �������� ��� ���� ���� �� /������� ������0�����

!�� �������� �� ��0��� ��-

7 G

����� Y���� � Y�

���

���� J �

���

����� �

/���� Y��� ��� �

�� ������� �� ������� ��� ������� �������� �� �� ���� �3�������� ������

�� ���� � ��� ��� ������� �� ����� � B��� �� ������ 2�������� H ,���� #��$ ���� ��

������� � ��������� ����������� FD

���� �� (�/���� � /������������������� �� ���� ���� ��� �� ���������� ����-

7 G

�������

�� �#Y��� � Y� $

�

#���$��

����� � #E 5$

/���� Y� �� �� ������� ���� �3�������� ������ �� ���� �� � �� �� ���(�� �� ������� �������

(�������� � ����� �� ��� � �� �� ������ /���������� ������� �������� ��� ���� �-

�� G5

���

����

#� � 5$���� �

!�� ���� �� � ���. �� ����� ��������� � �� ����� �� 7 � ��� ��� ��� �� ������ / ��

������� �� ������4�� ������� ���������� ����� �� �� ������ ����� ������� / /���� ���

(� �������� �� � �������� �������� �� ��� � (� ���������

'������� !�(�������� "����� =��������� H *�� #��$ �������� �� �����.�� ����

����� ����� ��� ������0����� !���� ��� ����������� �������� ���� �����.��� ��� ����

��������� �������� ��� � ����� %���� ������0�� ���� �6������� ���� ��������� ����

��������� (���� �� $�������� ��� ���� ���� �� ���� �����

!���� ������� ��� ��������� ������ ����������� ����� �� ������� #�����$� (������

���� 7 �� ������� /�� ���������� �(�� � ������ ���� ��� ���� �� �.� ��� ������

����� ���������� (�/��� �����

*���� ������2� ������ 3������

+����� 1����� %������� H >����. #��$ ������(�� ������ ���� �������� ����� (����

�� ��������� ������ ���������� #'2&$ � ���� ��� �� �� ������� ���������� � ������0�� ��

0�� /�� ��� �� ������ �������� � ���.��� �������� �� ������� ��� ���� ������� ��� ��

������ /�� �� ������� ���.��� �������� �� ������� � �������� ���� ���.��� ��������

�� ��0��� ��-

U G5

+�

+��

�� � #E 5�$

������� � ��������� ����������� F?

/���� �� � ���� ������� ��������� �� �� ������� ���� ��� � �� �� ������� ������

�������� � ������ � U ������� �����3����� �� ��������� �� � ������ � 2��

�� ������������������ ������0�� # G � � ����$ ��� ������ ������ ����� ���������

U G �� � �� /���� �� ������� � � $�������� /���� � �� �� ������� �� ������ ������

��� ���� � �������� �� �� ������ �� ���� ������ ���� ������� ������� U G �� �� ����

���� ���� 2�� ����������� �������� � ��� (� ���� ����� � ������ � ����� ���(��

�� ������� � � ���� � �� �3����� �� �����(�� ��������� �� ������0����� �����������

#�# ���

� ��� ������� /� 0 (�� ������4�� ������� ���������� ��� �� ������ ����� �������

������ � ���� ������ ��������� ���������� ��� ��� 1� ��� �� /� ������ ��������

������ �� ������ E � � ������ �� ���(�� �� ����� 2�� �� ��������� ���.��� �����

#)'$� � ���� ���� /� ��� #E 5$ ��� ������ �� 5�V �� �� ����� /�� �� �������

��������� ���.��� �������� 2�� �� ��������� ������ ���������� #'2&$ /�� ������4��

������� ����������� � ���� ���� /� 0 �� ����� �� �� #E $ ��� #E @$-

�#�$ G �� J

�����

����� ���

G �� J

�� ��

� �

��� �������� �� ����� /�� �� ������� ������� 5�V �� ������ ,� � ���� ��� /� ���

�������� ��6���� ���(�� �� ����� ��� ��6���� � 2�� �� ������ ����� ������� '2&�

����� /� ��� �� ���������� ������ �� ������(�� �� ������ E 5� �� �� <� ��� �� �������(��

��� ��6���� �� ����� � ���� ���� /� ������ �� ����� /�� �� ������� 5�V �� ������

��� ���� ����� � !�� ���(�� �� ����� �� �� 0��� ����� �� ������� (� ��������������� ���

�� ����������� �� �� 0��� ����� �� �������� �� �� �������

%����� �������� ������4�� ������� ����������� /� ��������4� ���� ������ �� �� �������

���� �� ���������� ������� � � ������ 2�������� H ,���� #��$ ��� +����� 1�����

������� � ��������� ����������� F@

%������� H >����. #��$� �� �� ���� ��� ������� �������� �� �� �3�������� ������ ��

���� ������ ��� � ��� 5 �����������

*�*�� �$���� �

!�� ��������4���� ������� � �� #E F$ ��� #E 55$ �� ������ (� ��������������� /����

���� �������� !�� �������������� �������� �� ���� �� �� �������� 2�� �3������ 2�����

E 5 ���/� �� ����� ��� �� ,'%*! ��� !�� ,'%*! ��� �� ������(�� �� ���� �����

�� ������ E E � !�� ������� �������������� �������� ����������� � � G 5�5�E� �����

� G 5�5�E �� ������ �� �� ��������4���� �������� !�� ���� ����� �� 2����� E 5 ���� ��

������ �� ���.��� �������� ��� ���� ���� �� ���� ����� (���� �� #E 5�$ ��� ������4�� �������

���������� ����� !�� ������ � G 5�5�E �� ���� ��� ��� �� ����� ��� �� �� ����� 1�

��� ��� �� �����(���� �� �� ���.��� �������� ������ �� ������ �.�/��- ��� �� �� �����

��� �������� �� �� (��� #/�� ����� ���.��� �������� ������$� ���� � ��/ ��� �������

�� �� �� #/�� ����� ���.��� �������� ������$ !��� �������� �� ��� �� �� ����� ���

�������� ����� ��� �� ������0����� !�� ����� /�� ��� ������� ���������� � �� �����

������� (� �B' '2&� /���� �� ����� � (� ������(�� �� ������ E E �

−logb(lambda, base=2)

Dev

ianc

e

0 5 10 15 20

0.03

0.04

0.05

0.06

0.07

CV Deviance vs. Lambda

•

•

•• •

• • • • • •

(With 2308 Genes)

Classes

Ran

king

coe

f.

Ranking genes (lambda = 1/1024)(With 2308 Genes/Class)

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••

•

••••••••••••••••••••

•

•••••••••••••

•

••••••••••••••••••••

•

••••

•

•

•

••••••••

••••••••••••••••••••

••••

••••••••••••••••••••••••••••••••••••••••

•••••••••••

•

•

•

••••

•••••••••••••••••••

•

••••••••••••••••••••••••••••••

•

••••••••••

•

•••••

•

••••••••••••••••••••••••••••••••••••••••••

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••

••••••

•

••••••••••••••••••••••

•••••••

•

••••••••

••

•

••••••••••••••••••••

•••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••

•

•••••••••••••••

•

•••••••••

•

•••••••••••••••

•

•••••••••••••••••••

•

•••

•

•••••••••

••••••••••••••••••••••••••••••••

•

•••••••••

•

•••

•

••••••••••••••

•

••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••

•

••••••••••••••••

•

•••••••••••••••

•

•••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••

•

••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••

••

•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•••••••••

•

•••••••••••••••••••••••••••••••••••

••••••••••••••••••••

•

•••••••••••••••••••

•••••••••••••••••••••••••••••••••••••••••••••••••••

•

•••••••

••

•

•

•••

•

•••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••

•

•••••••••••••••••••••••••••••••••••••••••••••••••

•••••••••••••••••••

•

••••

•

•

•

••••••••••••••

•

••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••

•

••••••••••••••

•

•••••••••••••••••••••••••••••••••••••

•

•••••••••••

•

•••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••

•

•

•

•••

•

••••••••••••••••••••

••

•••••

••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••••••••••••••••••••••••••••••••

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

•••••••••••••••

•

•••

•

•

•

••

••••••••••••••••••••••••

•

••••••••••••••••••

•

••••••••••

•

••••

•

••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••

•

••••• •••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••••••••••

•

••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• ••••••••••••••••••••••

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

•

•••••••••••••••••••••••••••••••••••••••••

•

•

•••••••••••••••••••

•

•••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••

•

•••

•

•••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•••••••••••••••••••••••••••••••••••

•

•••••••••••••

•

•••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

•••••••

•

•••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••••••

•

••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••

•

•

•

••••••••••••••

•

•••

•

•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••

•

••••••

•

••••••••

•

•••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••••••••

•

••••••••••

•

••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

•••••

•

•••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••••••••••••••••••••••••••••••••

•••••••••••••••••••••••••••••••••••••

•

•••••••••••

•

•••••••••••••••••••••

•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••

•

••••••••

•

•••••••••••••••••••••••••••••

•••••••••••••••••••••••

•

•••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••

•

•••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

•

•

••••

•

•••••

•

•

•

•

••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••

•

•

•

•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• •

•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••

•

•••

•

•••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••••••••••••••••••••••

•

•••••••••

•

•••••••••••••••••••••••••••

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

BL EWS NB RMS

2����� E 5- (����� � �&'() ���� *�� ���� ����8���� ��� ������� ����%� � ��� ��� �������� %�� � &���� ���� ���-��� �������� ���%�� � ���� ���� ���� ������ )�� ��� ���� �� �������������� � ��� ����� ������� ,� 9*& &/��

������� � ��������� ����������� C�

!�(�� E 5- *��������� �� ���.���� ������0����� ������

:���� 5������ *> ����� !�� ����� =� �� �����

,>: )' X�? �X�E �B' )' X�? �X�E 5C,>: '2& X�? 5X�E �5�B' '2& X�? 5X�E C

*�*�� &��/��� ���

!��� ��� �� ������� �� �? ������� ������� ��� �E �� ������� �� /� ���� �� ����

���.������ ���� ������� ���.���� #�:B$ ��� ���� ������(����� ���.���� #�BB$ #+���(�

,������ !������ "����� +�����(��.� :������� *������ B��� ��/���� H *�������� #���$$

&��� ������ �� � ����� �� D�5@ ����� � G 5�5C �� ����

!�� ������ ��� ����� �� 2����� E ��� �������4�� �� !�(�� E 5 =���� �� ��� ����

������ ���.���� �� ���.���� �� ����� ���� ������ �� �� ���� �3�������� ������ ��� �� ��

������ �� �� 0�� ������ �� ������4�� ������� ���������� ��� �� ������ ����� �������

��� �� ���� �� �� ����� � ���� ��� "�/���� �� �� ��������� ������ ����������� �� ��

������ ������ �� �� 0�� ������ �� �� � ���� ���� ������4�� ������� ���������� ���

�� ������ ����� ������� ������ ��6���� ����� � �� ����� ��� �� �� 2����� E � /�

��� ��� �� /��� ����� �� ���� �� �� ����� #� � ����� �� ��������� ���.���$� ������4��

������� ���������� ��� �� ������ ����� ������� ���� ������� ������0����� ������� /����

������ /�� �� 0������ �� -

!�� ������� ��������������� ����� ��� ������4�� ������� ���������� ������ � 5�F �����

��� C� ����� �� �� ��������� ���.��� ��� �� ��������� ������ ���������� ����������� !�

�(��� � ���� �������(�� �� �� ������ /� �����0�� ��� ���� ��������������� ����� #/����

���� ��������� �� ��������������� ����� ���� 5 � �� (�� �� ��������� ���.��� ��� ��

��������� ������ ����������$ ��� ������ 5C ����� ��� C ����� !�� ������� ���(�(������

���� �� ������4�� ������� ���������� ����� �� �� �� ������� ��� ����� �� �� ��/�� ���

�� 2����� E !�� ���� /�� ��� ������� ��� �� ���������0�� �� ������� ���� ���� ��

���������0�� ���� ��� ���� ������� ���� ���� ��������� (�/��� �� /� ������� #� �

������� � ��������� ����������� C5

Number of Genes

Err

or

5 10 50 500 5000

−0.2

0.0

0.2

0.4

0.6

0.8

Use UR

•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•••• ••••••••••••••••••••••

•••••••••••••••••••••••••••••••••••••

•••••••••••••••• ••••••••••••••••••••••••••••••••••••••••••

••••••••••••••••••••••

•••••••••••

••••••••••••••••••••••••••••••••••••••••••

••••••••••••••••••••••••

•••

••••••

CV PLRCV SVMTE PLRTE SVM

Number of Genes

Err

or

5 10 50 500 5000

−0.2

0.0

0.2

0.4

0.6

0.8

Use RFE

•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•••

•••••••••••••••••••••••••••••••••••••••••••••••••

•••••••••••••••••••••••••• •••••••••••••••••••••••••••••••••••••••••••••••••••

••••••••

••••••••••••••

•

•

CV PLRCV SVMTE PLRTE SVM

Test Samples

Pro

babi

lity

0 10 20 30

0.0

0.2

0.4

0.6

0.8

1.0

PLR with UR(With 16 Genes)

Test Samples

Pro

babi

lity

0 10 20 30

0.0

0.2

0.4

0.6

0.8

1.0

PLR with RFE(With 26 Genes)

2����� E - *�%-���� ������+������ ����� ����� ����8���� ���� �� ���� ����� ��� �01 �� ��� 9*& %���� ��� �& �� ��� &/�� *��� ����� �������� ��,�,������� � ��� ���� ���� )�� ������� �� ������� ��� ���������+� ���� )�� ���7���� ���� �� ��� ��� ������+����� ������ ,%� ����

�� ������� ���(�(���� �� ����� � ����� 5 �� �$

*�*�� !�4�5 ���

!��� ��� �� ������� �� ���������� �3�������� �� ����� ����� (��� ���� ����� #,'%*!$

�� ��������� ������ #A���� 1��� '������� ,���� B������� 1��������� %������� ,��/�(�

�������� H ������� #��5$$ !�� ����� ��� ������0�� �� %��.� �������� #%B$� &/���

������� #&1,$� �����(������ #=%$� �� ���(������������ #':,$ � ��� �� C� �������

������� ��� F �� ������� ��� �������� 2��� �� �� �� ������� ��� ������� ����,'%*!

������� � ��������� ����������� C

!�(�� E - *��������� �� ,'%*! ������0����� ������

:���� 5������ *> ����� !�� ����� =� �� �����

,>: )' �XC� �X� 5�B' )' �XC� �X� 5F,>: '2& �XC� �X� ��B' '2& �XC� �X� ?

&��� ������ ������� �� �3�������� ����������� �� ���? ����� � G 5�5�E �� ����

!�� ������ ��� ����� �� 2����� E � ��� �������4�� �� !�(�� E �� /�� �� ���.����

���� /� �(����� �� /��� ����� �� ���� �� �� ����� #� � ����� �� ��������� ���.���$�

������4�� ������� ���������� ��� �� ������ ����� ������� ���� ������� ������0����� ���

����� /���� ����� �� ��������� ������ ����������� ������4�� ������� ���������� ���� �

������ ���� ����� ��� �� ������ ����� ������� !�� ������4�� ������� ����������

����� ������ 5E ����� ��� ����� �� ��������� ���.��� ��� ? ����� ��� ����� �� ���������

������ ���������� !�� ������� ���(�(����� ���� �� ������4�� ������� ���������� �����

�� �� �� ������� ��� ����� �� �� ��/�� ��� �� 2����� E � !�� �� ����� �� 4��� !��

���� /�� ����� ������� ��� �� ��3���� ������� ���(�(����� �� �� 0�� ����,'%*! ��

������� ���� ���� ���� 0�� �������� ��� ���� ������� ���� ���� ���������

*�*�* ��������� ���

!��� ��� �� /�� ������(�� �� ����� (� '����/���� !������ '��.��� :�.���8��� Q�����

������� B���� '����� B�������� :������� ������� +������ B���� B����� H +���( #��$

������� �� 5EE ������� ���� ������� ��� FE �� ���� �������� �������� 5E ������

���� ������� �� ������ ��� ?�V �� ��/ ������ ��������� �� �� ) , ����� ���� FE

�� �������� ? ��� ������� ������� !���� ��� 5C��C� ����� ��� ���� ������ � G 5�E ��

����

!�� ������ ��� ����� �� 2����� E E ��� 2����� E F ��� �������4�� �� !�(�� E � !��

��������� ������ ��� ��� ��� �� ��� �� �� ���� �� ��� �� ���� /� ��� ��� !���

��� (� ��� � �� ��������� ����� ���(�� �� ������ ������� #� G 5E$� ��.��� � ������ �

������� � ��������� ����������� C�

!�(�� E �- *��������� �� '����/��� ��� ������0����� ������

:���� ?����� *> ����� !�� ����� =� �� �����

,>: )' 5@X5EE 5XFE C5D�B' )' �X5EE 5XFE C5D,>: '2& 5DX5EE @XFE �5F�B' '2& 5DX5EE @XFE @E

���������� (�/��� �������

�� /��� ����� �� ��� ���� ������ ������ � ����� ���(�� �� ����� /��� ��������

� �� ���� /� ��� ���� (� �� ��������� ������ ���������� ����� ������� ����

���� ����� ��� �� ��������� ���.��� ����� !�� ������� ���(�(������ �� �� ��

������� ��� ����� �� 2����� E F !�� ���� /�� (���. ������� ��� �� ���������0�� ��

������� ��� �� ���� /�� ����� ������� ��� �� ���������0�� ������� �� ������� !��

��3���� ���(�(����� �� ���� �� ���� ���������0�� ������� ��� �� ��� �/�� ���� ����

������ ������ ���(�(������ 1� ��� ���� ��� �� �� (����� ����� ��� �������� ����

������� ��� �� ��� ����� ������� ��� ������0�����

*�*�0 ��������

������4�� ������� ���������� /�� ��������� ������ ���������� ����� C ����� �� ����

��������� ���� ���������� ���.���� #�:B$ ���� ���� ���������� ���.���� #�BB$

/�� � ��/�� ����� ��� ��� �� ������ �������� �� +���(� ,������ !������ "�����

+�����(��.� :������� *������ B��� ��/���� H *�������� #���$ ��� !�(�������� "�����

=��������� H *�� #��$ !�� ������ �� +���(� ,������ !������ "����� +�����(��.�

:������� *������ B��� ��/���� H *�������� #���$ ��� !�(�������� "����� =��������� H

*�� #��$ ��� �������4�� �� !�(�� E E 9�� ��� �� C ����� �������� ���������3����� ���

(����� ������ ������� ���3����������� ���������� !���� /� ����� /��� �� �����0��

�� +���(� ,������ !������ "����� +�����(��.� :������� *������ B��� ��/���� H *��������

#���$ (� ��� .��/� � (� �3������ ���.��� ��� �:B ��� �BB� ����������� #!�(��������

"����� =��������� H *�� #��$$

������� � ��������� ����������� CE

!�(�� E E- *��������� �� ���.���� ������0����� ������

:���� 5������ *> ����� !�� ����� =� �� �����

+���( � �� #5@@@$ �X�? EX�E F�!�(������� � �� #��$ X�? X�E 5�B' '2& X�? 5X�E C

!�(�� E F- *��������� �� ,'%*! ������0����� ������

:���� 5������ *> ����� !�� ����� =� �� �����

A��� � �� #��5$ �XC� �X� @C!�(������� � �� #��$ �XC� �X� E��B' '2& �XC� �X� ?

� �� ,'%*! ��� ��� ������4�� ������� ���������� ����� ��������� ������ ����������

����� ����� ��� ���� ������ ����� � ��� �� ? ����� /��� �����0�� !��� ����� �����

��� �������� � �� �� �� ������ ��/��. ����� �� A���� 1��� '������� ,���� B�������

1��������� %������� ,��/�(� �������� H ������� #��5$� /���� �������� @C �����

� �(��� 4��� �� ����� #!�(�� E F$ 9� ��� ? ������ D /��� ���� ����� (� �� ������

��/��. ������ �3��� ��� N���� ����. ������ ������ �O *�������� ��� ? ����� � ��

E� ����� ����� �� !�(�������� "����� =��������� H *�� #��$� �� ? ���� ��� ��� �� ��

��� �� !�(�������� "����� =��������� H *�� #��$ !��� ��� ����� �� �� ������ ������

����� ���� (� ������4�� ������� ���������� ������� �� ���������� ����� ����� (���

��� �� �����.�� �������� �����

!�� '����/��� ��� �� ��� 5E ������� ������4�� ������� ���������� ����� ���������

������ ���������� �����0�� @E ����� +���� �� ��������� ����� ���(�� �� ������� #� G

5E$ ��� �� ����� ���(�� �� �������� ����� #� G 5C� �C�$� ��� �� � ��4�(�� �������� !��

(��������� �������� �� �� ����� �� /��� �����0�� ���� ������ ����������� =�� -

����4�� ��� 5C� �C� ����� �� ���� ���� � ������� �� ����� ��� #5�FE$

!�� ������� �� ������4�� ������� ���������� ������ ���� ����� ��� �� ������ �����

������� ��� �� ������ ��� ��� ��� (� ��������� ������������ 2�� �� ����������

������� � ��������� ����������� CF

������ ��������� ���(���� ����� ����� �� ������� ��� ��� ������� �������� ������(�� ��/�

� 8�� � ��/ ����� !�������� �� ������� �� �� ������ ����� ������� �� ����� ����������

� �� ����� �� �� ��������4���� �������� � �� #E 5$ ������� /��� � �� ����� ������

#� G 5�5? �� ������� �������$� �� ������� �� �� ������ ����� ������� /��� (� ��

���� ��� ��6���� � ������� /���� �������� �� �� ��������4���� ���� �� ���� ���� ��

�� �6�� !��� �� �� �� ���� ��� ������4�� ������� ���������� '�������4���� ��/��� �����.�

�� �������� � � �� ���� /�� �� ����� �� � ��� ��� ��.�� �� ��������� ����� ����

��.��� � (� ������� !��� ��� (� ���� ��������� ���� � ���������� ��6������ (�/���

�� ������ ����� ������� ��� ������4�� ������� ���������� �� ������ �� �� ������ E 5�

�� ������ ����� ������� ������� ��%�L�#�$�5�M ������������� ����� �#�$ �� ����� �

�5 �� 5� ��� ������4�� ������� ���������� ������� �� ���� �� ���(�(������� ����� �#�$ ��

�� �� ����� �� �� ��� � !��������� �� �����.��� �� ������4�� ������� ���������� �����

� (� ���� �6�����

#�* ������$

1� ���� �������� ������4�� ������� ���������� #�B'$ ��� �� ���������� ������ ���������

���(��� !�� ��������� ������ �� ���� ��� ��� ���/ �� /��� ����� �� ���� ��

�� ������ ������4�� ������� ���������� ��� �� ������ ����� ������� ������� ���������

�� ������0������ (� �� ������� ������4�� ������� ���������� �������� �� ������ �� ��

���������� ���(�(���� 1��� ����� �� ��������� ������ #����$ ���������� ����� �

����� ������� ����� ��� ������ ������0������ ������4�� ������� ���������� ���� � ������

���� ����� ��� �� ������ ����� �������

������� � ��������� ����������� CC

Number of Genes

Err

or

1 5 10 50 500

0.0

0.2

0.4

0.6

0.8

Use UR

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•••

•

•

•

•

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••

•

•

•

•

•••••

•••••••

•••

•

•••••••••••••••••••••••••••••••••••••

•••

•••••

••

••

•

•

•••••••••••••••••••••••••••••••••••••••••••••••••••••••

•

••••

•

•

•

•

•

•

•

CV PLRCV SVMTE PLRTE SVM

Number of Genes

Err

or

5 10 50 5000.

00.

20.

40.

60.

8

Use RFE

•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• ••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

••

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•••••••••••••••••••••••••••••••••••••••••••

••••••

••••••••••

••••••

•

CV PLRCV SVMTE PLRTE SVM

Test Samples

Pro

babi

lity

5 10 15 20 25

0.0

0.2

0.4

0.6

0.8

1.0

PLR with UR(With 15 Genes)

•

•

•

•

•

•••

•

•••

•

•

•

•

•

•••

•

••• •

•

•• •

•

•• •

•

•• •

•

•• •

•

•

•

•

•

•• ••

•

• ••

•

• ••

•

• ••

•

• ••

•

•••

•

• •••

•

•••

•

•••

•

•••

•

•••

•

•••

•

•••

•BL EWS NB RMS

Test Samples

Pro

babi

lity

5 10 15 20 25

0.0

0.2

0.4

0.6

0.8

1.0

PLR with RFE(With 8 Genes)

•

•••

•

•••

•

•••

•

••• •

•

••

•

•

•

•

•

•

••

•

••

• •

•

•• •

•

•• •

•

•

•

•

•

•• ••

•

• ••

•

• ••

•

• ••

•

• ••

•

• ••

•

• •••

•

•

•

•

•

•••

•

•

•

•

•

•••

•

•••

•

•••

•BL EWS NB RMS

2����� E �- �&'() ������+������ ����� ����� ����8���� ���� �� ���� ����� ��� �01 �� ��� 9*& %���� ��� �& �� ��� &/�� *��� ����� �������� ��,�,������� � ��� ���� ���� )��������� ��� ��������� ,� ��� ��� ���� ������ ��� �� ��� ���� ������� ��� �������� ������+� � )��� ��8�&'() ���� ������� ��� ���-� ���� � ������ ���� ��� �����%� �������� ��,�,������ )������ ,��� ��� �����%� ��,�,������ ��� ���� ���� ������� �� ���� ������

������� � ��������� ����������� CD

Number of Genes

Err

or

5 10 50 500 5000

0.0

0.2

0.4

0.6

0.8

1.0

Use UR

•••••••••••••••••••••••••••••••••••••••••••••

••••••••••

••••••••

•••••••••••

••••••

•••••••••••••••••••••••••••••••••••••••••••••••••

••••••••

•••••

•••

••

•••

•••

•••••••

•••••••••••••••••••••••••••••••••

••••

••••••

•••••••

••••••

••••••

••••••••••••••

•••

•

•••••••••••••

••••••••••••••••••

•••••

••••

••••••

•••••

••••••••••

••

•

•

•••••

••••

•

•••

••CV PLRCV SVMTE PLRTE SVM

Number of Genes

Err

or

100 500 5000

0.0

0.2

0.4

0.6

0.8

1.0

Use RFE

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

••••••• ••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

•••••• ••••••••••••••••••••••••••

•••••

•••••••••••••••

••••

•••••••••••••••••

•••

••••• ••••••••••••••

••••••••

•••••••

•••••••••••••

•••••••

••••••••••••

••

•••••••

••••

••

CV PLRCV SVMTE PLRTE SVM

2����� E E- &�������� ������+������ ����8���� ���� �� ���� ����� ��� �01 �� ��� 9*&%���� ��� �& �� ��� &/��

������� � ��������� ����������� C?

Test Samples

Pro

babi

lity

0 10 20 30 40 50

0.0

0.2

0.4

0.6

0.8

1.0

PLR with UR(With 617 Genes)

••

•

••

•

••••

•

••• •••••

•

•••••

•

••

•

••••

•

•••••

•

••

•

••••••

•

•••••• •••••••

•

••••••

•

••••••••••••• •

•

•••••••••

•

••

•

•

•••••••••

••

•

•

•

•••••••••••• •

•

••••••••••••

••

•

••••••••••• •

•

•••••••••••• ••

••

•••

•

•••••• ••

•

••••••••••• •••

•

•••••••••• •••

•

•••••••••• •••

•

•••••••••• •••

•

•••••••••• ••••

•

••••••••• ••••

•

••••••••• ••••

•

••••••••• ••••

•

••••••••• ••••

•

••••••••• ••

•

•

•

••••••••• ••

•

••

•

•••••••• •••••

•

•••••••• •••••

•

•••

•

•••• ••••••

•

••••••• ••••••

•

••••••• •••••••

•

•••

•

•• •••••••

•

•••••• ••••••••

•

••••• ••••••••

•

••••• ••••••••

•

••••• ••••••••

•

••••• ••••••••

•

••••• ••••••••

•

••••• •••••••

•

•

•

•••• ••

•••

•

•••

•

•••• •••••

•

•

•

•

•

•••• •••

•

••••••

•

••• •••••

•

•••••••• •••

•

•••••••••• •••••

•

•••••

•

•• •••••••••••

•

•• •••••••••••

•

•• •

•••••

•

••••

•

••••••••••••••

•

• ••••••••••••

•

• ••••••••••••

•

• •••••••••••••

•

•••••••••••••

•

•••••••••••••

•

•••••••••••••

•BR PR LU CO LY BL ML UT LE RE PA OV ME CNS

Test Samples

Pro

babi

lity

0 10 20 30 40 50

0.0

0.2

0.4

0.6

0.8

1.0

PLR with RFE(With 294 Genes)

•••••

•

••••

•

••• •••••

•

••••

•

••• ••

•

••

•

••••••

••

•

••••••

•

•

•

••

•

• •

•

•••••

•

••••••

•

••••

•

••••

••

•• •

•

•••••••••••• •

•

••••••

•

••••• •

•

••••••

•••••• •

•

••••••

•

••••• ••

•

•••••••••••

••

•

••••••

•••••

••

•

•

•••••••••• ••

•

••••••••••• •••

•

•••••••••• •••

•

•••••••••• •••

•

•••••••••• •••

•

•••••••••• ••••

•

••••••••• ••••

•

••••••••• ••••

•

••••••••• ••••

•

••••••••• ••••

•

••••••••• ••

•

•

•

••••••••• •••••

•

•

•

•••••• •

•

•••

•

•••••••• •••••

•

•••

•

•••• ••••••

•

••••••• ••••••

•

••••••• •••••••

•

•

••••• •••••••

•

•••••• ••••••••

•

••••• ••••••••

•

••••• ••••••••

•

••••• ••••••••

•

••••• ••••••••

•

••••• ••••••••

•

••••• •••••••••

•

•

••• •••••

•

•

•

•

•

•••• •••••••

•

•

•

•••• •••

•

••••••

•

••••••••

•

••••

•

••• •••

•

•••••••••• •••••

•

•••••

•

•• •••••••••••

•

•••••••••••

•

•

•

•• •

•

•••

•

•

•••••••

••••••••••••

•

• ••••••••••••

•

• ••••••••••••

•

• •••••••••••••

•

•••••••••••••

•

•••••••••

•

•••

•

•••••••••••••

•BR PR LU CO LY BL ML UT LE RE PA OV ME CNS

2����� E F- &�������� ������+������ �������� ��,�,������� � ��� ���� ���� )�� ������� ������������ ,� ��� ��%� ������ )�� ���������+� ���� ������� ��� ���-� ���� ,���- ������� ��������� �����%� �������� ��,�,������� �� ��� � ���������+� ���������� ���� ������� ��� ���-� ���� ����� �������� )�� �� ������� ������� �� '�����2 9������2 *%��2 (�������2 *������2'�� ��2 1������2 �����%�2 *�%-����2 &����2 9�������2 :����2 1��������� �� (�� �%����

������� �

������� � �� ���

� *����� 5� /� �������� �� ����� ����� ������� ����� ��� (�� /������� ��� �����

����� ������0����� ���(���� 1� ���/�� �� �� ����� ����� ������� �� ���� ��������

�� /��� �� �� ������ ����� �������� (� ���� �������� �� ������ �� �� ���(�(���� �#�$

!�� ����������� ��� �� �� ����� ����� ������� �� 0#��/�$ ��� �� /������� ���� ���

0#���/�$ ��� �� ���������� ����� /���� / �� �� ���(�� �� ����� �����

� *����� �� /� ���������� �� 5����� ������ ����� ������� 1� �������� �� ��

5����� ������ ����� ������� ��� ���� ���� �������� ���� �� ����� ������ �����

�������� ���������� /��� ���� ��� �������� ������� !�� ������� ��� P�#�$ �� �� 5�

���� ������ ����� ������� �� � ������/��� ������ ������� �� �� ����� �������� � 1�

���� �������� �� ����� �������� � ������ �� /���� ������� ��� P�#�$ �� �� 5�����

������ ����� �������� ��� �������� ������� �������� �� �� ����� �������� �

� *����� E� /� ��������� �� �� ���������� ������0����� ���(��� � ���������� /�

������� �� ������ �� ������4�� ������� ���������� ��� �� ������ ����� ������� !��

��������� ������ �� ���� ��� ��� ���/ �� /��� ����� �� ���� �� �� ������ ������4��

������� ���������� ��� �� ������ ����� ������� ������� ��������� �� ������0������ (�

�� ������� ������4�� ������� ���������� �������� �� ������ �� �� ���������� ���(�(���

�� 1��� ����� �� ��������� ������ #����$ ���������� ����� � ����� ������� �����

��� ������ ������0������ ������4�� ������� ���������� ���� � ������ ���� ����� ��� ��

C@

������� � ������� �� ����� D�

������ ����� �������

�������

�� � �� �� !���

,���) �) 5$����� ���

2�� �� ������� �� ������ ������� /� ��� �� ������ �� �� �� ����� 1� ��0��

�#�$ ���

���

���

5 J "��������� �

�

5���� �,� 4������ �� �����% �� ������ ��������� !�� �� �� ������� �� ������ ��

P�#�$� )� �� ����� � � ��� ���� ���� ��� ��� ���#��$� � �� ��� ��� ���#��$

P�#�$ �

�� �� �� P�#�$� G � �� �� � � ��� "��� �� �� �$�� ������� ������ 5�������� ����

�

��� G 5�

(���$

,������ ���� ��$� ����#���$� �� ���

�#�$ � ���

5 J "��������� �� �

#� 5$

� �� � #� $

D5

����� � � �������� �� ������ D

9� �� ���� ����� (� �� ������(���� ���������� /� .��/ ���� �3��� ��� ��� G 5�

��$� ���#��$�� � �� �� !��� ��� � � �� G � ��#��� � 5$� ����

����#��$

���� /� ����

�#���$ G

�����

���

5 J "��������� ���

#� �$

.��

���

��

�G �� � #� E$

,���� �# P�#�$$ �#���$� /� ����� ��� � � ��� ���#��$ P�#�$ � �� ��

2�� � � ��� �� P�#�$� . �� /� �������� � ����� �� P�#�$ (� �����

P��#�$ GP�#�$

P�#�$���

!��� P��#�$� G �� ���

��

P��#�$

G

�����

���

5 J "��������� �����

#� F$

.��

���

���

5 J "��������� ����

#� C$

G ��

P�#�$

� #� D$

/���� �� � ����������� "���� P�#�$� G �

=�/ /� �������� /� ��������� ��������� �� ��� ��� ���� �� ��� G ��� G 5

������ �� �� �������� (���� � � -

/� -G ����

���#��$�� � /� -G ���

����#��$

�� � ��

5���� �,� 6��� �$��� ���� �� G 8#/�� /�$ ���� � �� � ��� ��� ����� �� ��� ����

� � ���� �� ��� "���7

�#���$ . �#���$�

����� � � �������� �� ������ D�

(���$

B�

�� G 8#/�� /�$ G�� � J ��

/� �/��

��� �� � ��� /� ����

�����

���

5 J "��������� ���

� ��

�5 J "�����

�#� ?$

� �3�#�� � /�$ #� @$

.5

�3�#�� � /�$ #� 5�$

���5 J "�����

�#� 55$

��

���

���

5 J "��������� ���

� #� 5$

!�� 0�� ��� �� ��� ����������� �����

�#���$ . �#���$�

+���� ���� /� ������� /� ��� ��/ ����� �� ��� ����������� ���� ������� ��� (�

� ������ ��3���4��� �������� ������ �� �� � ����������� ���� ������� ����� /� -G

���� ���#��$ �� ,���� �� ������� ��� ��� ������(��� ������� /� � � #����� ����/���

�#���$ ���� �� ���� �������� � � �� � ��$

=�/� ������ ���� S� /�� S�� G 5 ��� (����� ������� ������ S/ � /� %� ��������

�� �� ������� ������ �� �� ���� �3��� ���� ���� �����(������ �� ��-

'�� G �� - � � ��� . ��

����� � � �������� �� ������ DE

��� �� 1 � �� ���� ��-

����

���#��$ � . S/� 1� �� � '�� �

=�/ (� B���� � /� �� �� ���� �3��� ���� �� G 8# S/� S/� 1$ ���� �� �S� ������

������� ���� ��� �� ��� ��� � � ��� � � '�� !�������� �� ����� (� � ����������� ����

�������

1� �������� �� ��� ����������� ���� �� �� ������������� ��� (� � ������ ��3��

��4��� �������� � �� ������ ��3���4��� �������� �� ������ ��� � �� �� ���� �����(��

����������� ����� ��� ��������-

������

P�#�$

�G ��� ��3

���������

����#��$

��

� �� ���� �� �� ������ ��3���4��� ��������� ����������� �� �� ������� ��� ����

������� ��� ������ (� ��������4�� � ���������4� � ������ ������� (� ��0���� ���(���.���-

�� �� ������� ������ �� �� ����� ��� �� ������ ������� ������ ��������� /���� �����

�������� (���� ��� �� �� 9��� �� �� ���� �� �� /���� ����� ������� �� �� �������

�� ������ � ���� �������� ��� ���� ������ (� ���� ��� ��� ����������� ���� ��������

�� !�( �� ��$� )�� ���2� ��� ����� ,&�

!�� ����� �� �� ���������� ,:9 �������� �����/� �� �� �� /������� ,:9 ��������

#A������ ����� ,������ H ��� #��$$� (� �� ������ ��� ��6����

!� ������4� #E F$ ����� #E �$7#E E$� /� ��� ���/��� � ��-

��� G ���

���

%#��$ J5

����

��� #� 5�$

��(8�� � - �� G �� J � ��� ��� �� #� 5E$

����

�� G �� #� 5F$

����� � � �������� �� ������ DF

/���� � G 5�� �� �� ��������4���� ��������� ���

%#��$ G �#������ J � � � J ������$ J ���

" �� J � � � J " ��

�

!�� B��������� ��� ��� ���(��� ��-

� G �

�����

%#��$ J5

����

�� J

����

�����

��L�� � �� � � ��M J ��

����

��� #� 5C$

/���� ��<� ��� �� ��� �� B��������� ���������� !�������� �� AA! �������� ���������

��� ����� (�-

+�

+��G �� �

�����

�� G �� ��� #� 5D$

&��� G � ���

���

���� G �� ��� #� 5?$

+�

+��G �

���� J

" ������� " ���

�J �� G �� ��� �� #� 5@$

/���� ����/ �� � �3����� � ��� �� �� �������� �� ��<�-

� G

�����

��)��� ��� #� �$

�� G ���

�� � ��

�

� 5

�

�����

������ � ���

�

� ��� �� #� 5$

"��� /� ���������

�� �� G �� �� =�� #� 5@$ ���� ��������-

����

�� G �� ��� #� $

"���� /� ���� �� G � �����

��� �� G �� ��

=�/ /� ����� 1���� ������ ����� � #� 5�$ !�� 1���� ���� ����������� � ��

��3���4���� �� � ��(8�� � #� 5D$� #� 5?$ ��� #� 5@$ )���� #� �$ ��� #� 5$ /� ���

����� � � �������� �� ������ DC

�������� �� 1���� ���� ��-

��� 9 G �

�����

:#��

�$ J

5

����

��� #� �$

��(8�� � -

����

�� G �� ��� #� E$

�����

�� G �� ��� #� F$

/���� �� G #���� � � � � ���$ � � �� ����� (� #� �$� ���

:#��

�$ G

����

#�� � ��

�$ ��#�� � ��

�$�

9��� �� ���� ���(��� �� ������ ��� ��<�� �� ������ �����(��� �<� ��� ��<� ��� (� �(�����

����� #� �$ ��� #� 5$

!� ����� #� �$� /� 0�� ������� ��� /�� ������� ��� ����� #� �$ (������

��� 9 G ���

���

:#��

�$ J

5

������

�� J5

���� #� C$

��(8�� � -��

���

�� G �� � G 5� � � � � � 5� #� D$

/���� �� G ������

������� ��

�� ���

:#��

�$ G

������

#�� � ��

�$ ��#�� � ��

�$ #� ?$

J

�5 �

������

#�� � ��

�$

�� ��

�5 �

������

#�� � ��

�$

�� #� @$

=�/ /� ��� /��� ��/� �� �������� ��������� ��� #� C$ !�� B��������� ��� #� C$

����� � � �������� �� ������ DD

�� ���

S� G ���

���

:#��

�$ J

5

������

�� J5

��� �

����

L6

�����

��M�

��0��

-� � � � �� � �

� � �� J �+:

+��

G #� � ��$ � �� ��

��#�� � ��

�$ � ��

�5�

������

#�� � ��

�$

���

!��� �� AA! ��������� ��� #� C$ ���-

+ S�

+��G -� � 6 G � � G 5� � � � �K � G 5� � � � � � 5� #� ��$

��0��

� 3�#�$ G �����3�-�� � G 5� � � � � � 5�

� !;#�$ G �������-�� � G 5� � � � � � 5�

!��� �� �������� ��������� /��� ���� � ����� ��<� �� ��� ���� ��

-� ����� G -� ������ � G 5� � � � � � 5� #� �5$

=�� � ��.� �� -�<� ������������ ��0���� �� ��<� ��� ������-

��� � . �� . � �� �� G 5

�� . �� . � �� �� G ��#� �$

���

� .

������

#�� � ��

�$ . 5 #� ��$

����� � � �������� �� ������ D?

� ���� �3��� �� ����3 ���� #�� ��$ ���� ��

-� �G -�� #� �E$

��� ���� �� ��� /� ��� �������� 9 #� C$ #/���� ���������� �� ������� ������������� �� G � #� F5$$ (� ��8����� �� ��� ��� ���� !� ��� ���� /� ��0��

S��#$$ G �� J $�

S���#$$ G ��� � $�

S�����#$$ G ����� ��� ��� �����

!��� ��� ��� ������ ��

�9

�$G -� � -���

/���� -� ��� -�� ��� �������� � $ ,���� (� #� �E$� -� � -�� �G � � $ G �� � ��������

�� 9 �� �����(�� (� �������� $ ����(�� �/�� ���� �

!�� ,:9 �������� ��� ��/ (� ������(�� �� �����/�-

#�5$ *����� �� ��������� ��������� #� F5$ ��� #� F$ ,� 2 G 5

#�$ � �! ����0�� #� �5$� ��� � ��� ��

�� ����� G �!� ����� J $� #� �F$

�� ���� G �!� ���� � $� #� �C$

��� G �!�� ��� ���� �� �� #� �D$

2��� $� /���� ������4�� �� ���� 9 #� C$

#��$ )���� �!� ��������� � #� �F$� #� �C$ ��� #� �D$ +� (��. � ��� #�$

=���� �� �� ��� #�$ �� � ��������� �����4���� ���(���� ��� ������� ��������

��� (� ���� � �������� -�<� ��� 9

����� � � �������� �� ������ D@

,���) �) 5$����� ���

%������ �,� )� �� ������� � � �� �8� ���8��� �� ���(��� ��� �� ������ ��������

�� ������ 8�8�� � 8�8�8 ������ ����� �� �$ � "���� ������� � � P�#�$�

(���$

'����� �� ������ /� ���� �� ������ � �-

! G �� - 5 � ���� G ��� ��� ����� � �� ����" �� �� ���� �������K #� �?$

" G �� - 5 � ���� � ��� ��� ����� � �� ��� �� �� ��(�/K #� �@$

� G �� - 5 � ���� . ��� ��� ����� � �� ��� �� �� ��(�/K #� E�$

G �� - P� �G ��� ��� (���� �������� /�� ����4��� �������� #� E5$

*������� �� ��������� ���� �� #� 5$7#� $-

�������

�����

1� #� E$

� 5 � ���� 1�� 1� � � #� E�$

�� G �� J

�� ��

� � #��$ #� EE$

�� ��

�� � �� #� EF$

!�� B������� ���� �� #� E$7#� EF$ ��-

� G

�����

1� J �

�� ��

�� �J��

���

��#5 � ���� � 1�$���

���

<�1��

����� � � �������� �� ������ ?�

/���� �� �� ��� <� ��� ����������� B������� ���������� !�� ������������� A������A����

!��.�� ��������� ���-

��%�#� $� ���

����� #��$ G � ��� � � #� EC$

��

���� G � #� ED$

5� �� � <� G � #� E?$

��#5 � ���� � 1�$ G � #� E@$

<�1� G � #� F�$

,���� /� ��� �������� �� �� /���� ������� ��� P�#�$� /� ���� /�� ������� /��� ��

����� �������� � ������� �� � ���������� P� ��� � /��� ������ 1� ��0�� �� ���� �

(� ����� � ���� ��� �� ��(�/� � � � �������� 5 � ���� ������� ���� ����4��� � 4���� ��

� ������� P� ������� ���� ����4��� � 4���� /��� � ��������� !�� A������A����!��.��

��������� ����� ��-

# 5 � ���� � � ' 1� � � ' <� G � ' �� G 5�

# 5 � ���� . � ' 1� G � ' #5 � ���� � 1�$ � � ' �� G ��

# 5 � ���� G � ' 1� G � ' <� ���� ' � �� 5�

"���� /� ��� ���-

# 1��� � �� 03��� ��� �� ������� � (� ������� /� ���� � � G �!�� ��� �� �� ��

�������� �� ��<� ������ ��-

��%�# P� $� ���

��� #��$�� G��

��� #��$� ��� � � #� F5$

��

���� G ���

��� #� F$

1��� � ���������� ��� �������� �������� � " ��� � /��� �� ������� ������ �� ����

������� "���� ��� �� ������� � �3�� ��� (� ������� �� �� �� �������� ��

����� � � �������� �� ������ ?5

��<� ������ /��� �� ������� ��� ��������������� ��<� /��� �� ������� ������ �� ����

�������

# 1��� ��<� �� �� ������� �� ����� � �� ��(�/� � � ����� �� ! � /��� ��� � ��

��(�/ !��������� P� <� ������-

5 � ��# P�� J��

P� � #��$$ G � ��� � � ! � #� F�$

,���� � � G �!�� ���� �� ��� ���� ��.��/� �����(�� �� ��� �� �� �������� "���� /�

��������-

# %�/��� /� ������ P�#�$ ������� �������� /��� � ��������� !� ������ �� /����

������� ��� P�#�$� ��� /� ���� � �� �� � 0�� �� 3����� � � �� ������. ����� ��

2����� � 5� �� ��� ������/��� ������ ���� ��� ��� ������ ����� � ��������� ����

�� ������������ � ��� � P�#�$ G �� 0�� �� ���� ��������� �� P�#�$� �� � ��������

��� ���� ������ �� ��������� /��� P�#�$ ��� � � 8���

=�/ /� ���/ �� �� �������� ������(�� �� ������ � � 7 ������ � � � ����� /�� ��

���������� �� �� A������A����!��.�� ���������

������� �������� /�,�, �6*0

1���� ���� �� ���������� /� ������ W��� G 5� � W��� G �5�K ��� P��#�$ G 5� P� #�$ G ��

� � ��� �� ������� ����� ��� �� " ��� ��� �� ������� ����� ��� �� ! 1��� � ���������

�/�� ���� �� ���� ������� ����� /��� ����� �� ��(�/ ��� ����� /��� ��� � �� ��(�/K ���

�������� ������� �� ������� ����� /��� ���� (� �� " �� � �� ����� ������ !�� ����� ��

��<� /��� �� ������ ���� ���� ������� ���� ��� �� ��(�/ /��� � ���������� ��� (�����

��� ������� ���� ��� �� ��(�/� P�#�$ ������� �������� �� � /�� ���� �� �� ����� �� !��� � �� ��(�/ !� �� �� ���� ��������� �� P�#�$ � �� /� ��� ����� #� E$ 7 #� EF$ ���

� ����� ������ � ��� ������ P�#�$ � P�#�$��� (� /� �� �� .��/ �� ������� ��/ ����� �

������ (� !� �� ������ ��� ������� /� �������� �� ����0�� ���(��� #� @$ 7 #� 5�$

=���� �� �� �� G 5� �� ���� �� ���� #5� ����$K (� �� �� G �5� �� ���� (������ #5� ����$

����� � � �������� �� ������ ?

"���� ���� /��� � ������� ���� ��� �� ��(�/� � � 5 � ���� G �� ����� � �� �� � ����

����� ���� �� #5�����$ �������� �� ��<� /��� �� ������ !��������� �� ���� ���������

�� P�#U�$ /�� ������ � U� �� �� ���� �� ���� /�� ����� U� ��� ��� � ��������� /��

�� ���� ��������� �� P�#�$ /��� � �� �������� �����

���� ���������

1��� � ���������� �� ����������� U� ��������� �� #� 55$� �� A������A����!��.�� ������

���� #� EC$7#� F�$ /��� ������� � ���� ��� �� ����� �� ! /��� ��� � �� ��(�/� ����

�� ���� ������� %� �� ��0����� �� ����� /��� �� ���� �������� ���� /��� (� � �J 5

����� � �� ��(�/ ��� � � (���� �������� /�� ����4��� �������� "���� � .��� ��

A������A����!��.�� ��������� ����� /� ���� � ����� ��� � (���� ������� �� �� ���

� �� ������ � ���� �� ! ���� !

,�� ��� ��� � �� ������ � � � �3���� ���� �����(������ !�� 0�� �������� ��

#� 5$ ��� #� 5E$ ��.� ���� P�#�$ ������� �� � /�� ���� �� �� ����� � �� ��(�/ /���

��� � �� ��(�/ !�� ������ �������� �� #� 5$ ��� #� 5E$ �������� �� �P�#�$� ���������

/��� U� ��������� ,�� E ��.�� �� ������ �� ��������� �� ���� /�� �� ����� ���

����� ��� �����(������

=�/ /� ���/ �� �������� G � 2��� #� EC$� /� ����

��%�#� $� G��

����� #��$ #� FE$

G��

��� #��$ J��

����� #��$� ��� � � � #� FF$

����� � � �������� �� ������ ?�

:������ ���� ������� /�� 3 #3 �� ���� #� �$$ ��� ��� ��� ������� /� ����

���

��%�#� $3 G��

��

��3 � #��$ J��

��

����3 � #��$ #� FC$

G��

����

3 � #��$ J��

��3� J��

������

3 � #��$

J��

����3� ���

��3� ���

����3� #� FD$

G��

��#3� J��

3 � #��$$ J��

����#3� J��

3 � #��$$ #� F?$

G��

��#3� J��

3 � #��$$ #� F@$

G �U !��

U�� #� C�$

� #� F?$� /� ���� #� ED$ ��� �� ��� �� �� G 5� ��� � � " ��� �� G �� ��� � � � �

#� F@$� /� ���� �� ��� �� �� ����� �� ! ��� � �� ��(�/� ����� 3� J�

� 3 � #��$ G

�� ��� � � ! ,�����

� ��%�#� $3 G 5� �� ��� ���� ���� �� #� FC$ �� ����� � � !��������

/� ��������

� G �U !��

U��

,���� /� .��/ �� � ���������� � /��� ��������� ��� ����� 8���0�� �� �� ������ ���� ��

��� E �� ������ � � � ������ /�� �� A������A����!��.�� ��������� ���� ������� ��

����.� �� � ������� ��������������

!� (� ���� ��������� � ������� ��� �� �������� � ����. �� �� ��<� ������� ����

#� F5$7#� F$ ������- � �� 5 !� ������ �� ���������� /� ��� ��� ��� �� ������

� � � 9�� �3�������� ������� �� � ���� �� ��.� � ��6������

!���� /� ���� ���/� �� ������ � � 7 ������� � � ������� � ��� P�#�$ �� ����0��

�� A������A����!��.�� ��������� � ��� ���� �� �� ��� %� �� A������A����!��.��

������� �� �� ������� ��� � #� E$7#� EF$ �� ������� ��� P�#�$ �� �� ������� ���

"����������

%������� � H :����������� 9 #5@@?$� 2����� �������� ��� ������� ������4���� ���

������ ����� ��������� �� � ,�����.� �� � Z *:B<@?<� :����� A�������

%������ * #5@@?$� Z� ������ �� ������ ����� �������� ��� ����� ����������<� 9

,����� �� -��"����� 9������� �/�0� 5575CD

������ , � 2��������� � H ,����� ! #��$� Z*��������� �� ������������� ������ ��� ��

������0����� �� ����� ����� ���� �3�������� ���<� :��� � �� �� /���� � � ���� �

/����� ��� #)� DD7?D

&�������� ! � ������ : H ������� ! #5@@@$� '�������4���� ��/��.� ��� ������ �����

��������� �� � ,����� � %����� % ,��T��.��� H * ,���������� ���� Z�������� ��

B���� :����� *�����0���<� : ! �����

2�������� � � "����� ! � '����� , � !�(�������� ' H ���� � #��E$� Z���������� �� N�������

���� �� (������O (� / 8����� � ������� � ������ ��� 4����<� /�� �� �� � �����

� !� ������

+���(� ! � ,������ � � !������ � � "����� * � +�����(��.� : � :������� � � *������ " �

B��� : � ��/����� � H *��������� : #���$� Z:�������� ������0����� �� ������- �����

��������� ��� ����� ��������� (� ���� �3�������� ���������<� ������� �'&� F�57F�C

+����� � H Q������� % #5@?F$� ,������������� ��������4�� ������ ������� �� Z�����������

�� ���������� +B : *���������<� >�� � �� ����� ���� �� � ������ ,��������

>������ =�/ Q��.� �� EE7FF

?E

���������� ?F

+����� � 1����� � � %�������� , H >����.� > #��$� Z+��� �������� ��� ������ ������0�

����� ����� ������ ����� ��������<� , ����� �� ���� �&� �?@7E

"����� ! H !�(�������� ' #5@@�$� ;��� ��%�� /������ ,������ ,����� �� ������� :����

������ *������ ��� "���

"����� ! � !�(�������� ' H 2�������� � #��5$� 6�� <������ �� � ���� � �� �����

,��������>������ =�/ Q��.

A������ , � ����� A � ,������� , H ���� � #��$� Z� ��� ���� �������� ��� .�����

������� ����������<� )��� ��� � 4�������� �� , ����� �� ���� �#

A���� � � 1��� � � '������� : � ,���� B � B������� : � 1��������� 2 � %������� 2 �

,��/�(� : � ��������� * H �������� * #��5$� Z*�����0����� ��� ��������� ����

������ �� ������� ����� ���� �3�������� ���0���� ��� ���0���� ������ ��/��.�<� * ��

,������� )� CD�7CD@

A��������� + H 1��(�� + #5@D5$� Z,��� ������ �� ���(������ ������ ��������<� :�

, �� /� �� /������ ��� ?7@F

B��� Q H B��� * #���$� Z*�����0����� �� ������� ������ ���� (� ����������� ������

����� �������� ����� ���� �3�������� ���<� �������� ��� �#� 55�755�@

B��� Q � B��� Q H 1��(�� + #��$� Z:���������� ������ ����� ��������� ������ ���

���������� � �� ������0����� �� ���������� ��� ��� ������� �������� ���<� :��� �

�� �� /���� � � ���� � /����� ���

B��� ; � 1��(�� + � ;����� � � +��� 2 � A����� ' H A����� % #���$� Z,������� ������

����� ������ ��� ����� ��� ��� /�� (�������� �(��������� ��� �� �������4�� ����<�

/�� �� �� � ����� �'� 5FD�75C��

B��� Q #��$� Z,����� ����� ������� ��� �� (���� ���� �� ������0�����<� 9 ,�����

�� -��"����� 9������� &� F@7DF

���������� ?C

:�.���8��� , � !������ � � ,������ � � >����� � � +���(� ! � :������� � H ������� !

#5@@@$� ,����� ����� ������� ������0����� �� ���������� ���� !�������� ������ �

:��� 5CDD� : !

���� � #5@@@$� 2�� ������� �� ������ ����� �������� ����� ��������� ������� ����

��4����� �� % ,��T��.���� * %����� H � ,����� ���� Z�������� �� A����� :����� �

,����� >���� B�������<� : ! �����

'����/���� , � !������ � � '��.��� ' � :�.���8��� , � Q����� * � ������� : � B���� * �

'����� : � B�������� & � :������� � � ������� ! � +������ 1 � B���� : � B������ & H

+���(� ! #��$� Z:�������� ������ ��������� ����� ���� ���� �3�������� ��������<�

=*/� #'� 5F5E@75F5FE

'T����� + � ! 9���� H A ' :T����� #���$� Z,�� ������� ��� ���(���<� , ����� �� ����

�� 57�F

'����� , � ���� � H "����� ! #���$� %������ �� � ��������4�� ��� � � ��3����

������ ������0��� !�������� ������ �������� �� ,������� ,������ )��������

,����� � H ,��T��.���� % #���$� ,����� ������ ����3 �����3������ ��� ������� ���������

�� Z����������� �� �� ,�������� ���������� *��������� �� :������ B�������<�

:����� A�������

,���� : � %�������� * � %�� � � ,�.����� = � %����� A � *������ , H !����� = #��$�

Z��������� �� ������ ������� ���� �� �������3������ ������������� ������ �����

������ ����� ����������<� :��� � �� 4����� � )���� ��� �� 4����� ��������

� ,����(��

!�(�������� ' #5@@C$� Z'��������� �����.��� ��� �������� ��� �� �����<� :��� � �� ��

+�� � � ���� � ������ ����� � �'� CD7??

!�(�������� ' � "����� ! � =���������� % H *��� + #��$� Z��������� �� ������� ������

���� (� �����.�� �������� �� ���� �3��������<� =*/� ##� CFCD7CFD

���������� ?D

>����.� > #5@@F$� 6�� * �� �� � ���� � �� ���� 6����� ,��������>������ =�/ Q��.

>����.� > #5@@?$� � ���� � �� ���� 6����� 1����� =�/ Q��.

1��(�� + #5@@�$� ������ ,����� �� .���� ��� � 9 � >�� F@ �� ����� �� /������

, ��� ���� , �:� ������������

1��(�� + #5@@@$� ,����� ����� ��������� ����������� .����� ���(�� ����� ��� �� ����

����4�� ����� �� % ,��T��.���� * %����� H � ,����� ���� Z�������� �� A����� :���

��� � ,����� >���� B�������<� : ! ������ �� C@7??

1��(�� + � +�� * � 1���� Q H *�������� ' #5@@F$� ,�� ������0������ � . � ���. ���

������� ��� ������4�� ��� ��.������� ��� �������� ������ �������� �� ��������� ��

� 1������ �� � Z!�� :�������� �� +�������4����<� ,��� 2� ����� ,����� ��

�� ,������� �� *�����3�� ��������1����� ��(������

1����� � H 1�.���� * #5@@@$� :��������� ������ ����� ��������� �� : >���������

�� � Z����������� �� &,�==@@<� � 2��� ������ %�������

1�������� * H ,������ : #��5$� )���� �� ������ ����� � ����� �� .����� ���������

�� ! B���� ! ������� H > !����� ���� Z�������� �� =����� ��������� ����������

,�����<� >�� 5�� : ! �����