flexible statistical modeling - stanford university
TRANSCRIPT
�������� �������� �� �����
� �����������
�������� �� � � ��������� �� ����������
�� � � ��������� � ������� ������
�� ������� ��������
� ������� ��������� �� � � ����������
��� � � ������ ��
������ �� � ������ �
�� ���
����� ���
�� ������� �� �� � ����
��� ���� ��������
��
������ �� ���� ���� ��� ���������� ��� ��� �� ��
�������� � �� ����� ������� �� ����� ��� ������ �� � �������
���� ��� �� ������ �� ����� �� ����������
!����� "����#��������� �������$
������ �� ���� ���� ��� ���������� ��� ��� �� ��
�������� � �� ����� ������� �� ����� ��� ������ �� � �������
���� ��� �� ������ �� ����� �� ����������
%������ &����
������ �� ���� ���� ��� ���������� ��� ��� �� ��
�������� � �� ����� ������� �� ����� ��� ������ �� � �������
���� ��� �� ������ �� ����� �� ����������
'�(�� !�(�������
�������� ��� �� )�������� *������ �� +������ ,�����-
���
��������
!�� ������ ����� ������� �� .��/� ��� �� ���� ����������� �� /������� ������0�����
!�� ���� �� ��� ����� �� (���� �� /� ��������� �� �� ������� ����� ������ �����
�������
� �� 0�� ��� �� �� ������ /� ������� �� ����� ���� �� �� ������ ����� �������
/�� �� ������� (������� ������.������� ��� �������� �� .����� ������� ���������� �����
1� ���/ �� .����� ������� ���������� �������� �� /��� �� �� ������ ����� ������� ��
/������� ������0����� 2����� ����� .����� ������� ���������� �������� �� ������ �� ��
���������� ���(�(���� %���� �� �� .����� ������� ���������� ������ /� ������� � ��/
�������� ��� ������0������ ������ �� ���� ���� � ����� ,������ � �� ����� �����
�� �� ������ ����� �������� �� ����� ����� ������� ����� ���� ���� � ������� �� ��
������� ��� � ����3 .����� (���� ��������� �������� � ���� ������� ������� ��� ��
������ ����� ������� !��� ����� �� ����� ����� ������� � ����������� ��������
���� �� ������ ����� �������� ���������� /��� �� ��4� �� �� ������� ��� �� �� �����
� �� ������ ���� /� ������� �� ������� ������ ��� �� �� ������ ����� �������
/�� �� ������� ������� ��� �������� �� 5����� ������ ����� ������� 1� �����
�� �� 5����� ������ ����� ������� ��� ���� ���� �������� ���� �� ������� �
���� ������ ����� �������� ���������� /��� ���� ��� �������� ����� ������� 1� ����
������� �� ����� �������� �� ������� �� /���� ������� ��� �� �� 5����� ������
����� �������� ����� ��������� ������� �������� �� �� ����� �������� ��� �� 5�����
������ ����� �������
��
����� ��� ��
2��� ��� �������� /��� � �3����� �� ���� ����������� � �� ������� !����� "���� "�
�������� �� ���� ��� ��� ����� ��� �������� �������(�� ������ ��� ������ ����������
��� �������� �� ������ �� �� �������� 1���� ��� ������ ��� ��������� ��� /��.
/���� �� ���� (��� �������� !����� ��� (��� ���� ��� �� �������� ������� � ��
1��� �� ��� /�� ��� ���� ���� �� /��� (����� ������� /�� ������� /���� ������� ��
� ���� ����� ��� ��� ��� ������ ���� ������� �����(�� ��/ !����� ���������� ������
�� ���� �� ����� �� ��/� ��� �6���� ��� ���� ���� ���� ������� � ���� !����� �� �
����� ��� � ������ ����� ��/��� ��������� ��� �������� /���� ��� �� � �� /��������
/���� �� �������
�� ���� ���.� � ���� �� ,������ '���� ���� � ,������ 7 ��/ ���� � ������
�����(����� "� �� � ������ ���������� � �� ��� ����� ��� ����������� ������
�� ���� ���� ������� � ��������� '�( !�(�������� /���� ��������� �����������
����� ������� ��� /��� ������������ ����������� �� �������� �� ����������
������� �/� �� ������� � ��������� ,���� "����� ��� ��������� ����� �������� 7
/���� ���(�(�� �� ���� ������ � ���� ������� �� ���� � ,������ ��� �� �� ,����
��� ����� /��� /�� � *������ /�� � ���. ,���� ����� ��� /����� �� /� �������
������������� ����� � /� ��6���� ������ ��� /��� ������� � �� ������� ������
��� �� ���� /��� ������� ��� � 8�( /��� � ���. ��������� %��� &����� ���������
����� 2������� ��� ��������� �� 9/�� ��� ����� �� ���(��� �� �� ���� ������� ���
��������� ������ ���������� �� �� ��������
���� /��� � ���. �� ������� ��� ��������� � ,������� �� ���� � ����� ��� ��
�
:����� 0���(�/� ����� ��� ������� �� �� �� ���� /��� ��� ��.��� �� ���� ���� ��������
��� ��8���(�� :� ������� ���.� �� � ;�4���� /���� ������������� ��� �����0�� ������
���� ����� /� (���� ��� 8������ ������ ���� (�������� �� ���� 2������� /���� ��.� �
���. �� ������ ��� ���� ���� ��� ���0����� �� �� :� ������< ������ �� � (�� ��� ��
��������� �� ����������
��
�� ��
�������� �
���� ���������
� ������������ �
5 5 !�� *�����0����� ���(��� 5
5 5 5 "���/���� ���� '���������
5 5 �=� :��������� *�����0�����
5 ,����� >���� :������� �
5 5 :����� :�3���4�� �
5 '�������4�� 2������ 2���� ?
5 � :��������� ,����� >���� :������ @
5 � 9����� �� �� !����� 5�
� ������ ������ �������� ��
5 A����� B������ '��������� 5
5 5 AB' �� :����� :�3���4�� 5C
5 =�/���'������ :���� 5D
5 � ,�������� :������ 9����4���� :���� 5@
���� >���� :������� 5
5 ��������
,������� �� � E
���
� ,�������� '����� F
E '��� ��� '����� C
� :��������� *��� ?
� 5 :��������� AB' ��� :��������� ,>: �
� :��������� >: ��
E ,������ �E
� 5����� ������� ������ �������� ��
� 5 ��������� �F
� '�������4�� ������ ����� �������� �D
� � �������� E�
� � 5 ������/��� �������� E�
� � ����� ������� #� � � G �$ E5
� � � :��� �������� E
� � E '����.� E�
� � F *���������� ��� EE
� E =�������� ������ EE
� E 5 ,�������� ������ EE
� E '��� ��� ������ EC
� F ,������ ED
� ��������� !�����"������ �#
E 5 ��������� F�
E ������4�� B������ '��������� F
E 5 ������4�� ������� ���������� 2��������� F
E *���������� ����� FF
E � 2����� ,������� FC
E � 5 )�������� '��.��� FC
E � '�������� 2����� &��������� FD
E E '����� FD
����
E E 5 *������� � F?
E E B��.���� ��� F@
E E � ,'%*! ��� C�
E E E '����/��� ��� C5
E E F ���������� C
E F ,������ CE
� ������ �$ %����� &'
� %������� ��� (���$� )*
+���������� '�
�3
���� � ���� �
5 ,������ �� �� �� (�������. ������ @
*�����0����� ����������� �� ,>:� �� >:� @
� =��(�� �� .����� (���� ���� (� ,>:� �� >:� �5
� 5 ,�������� ������ �� 5����� ��� ����� ������ ����� ������� EF
� '����� �� :��������� *�����0����� ED
E 5 *��������� �� ���.���� ������0����� ������ C�
E *��������� �� ,'%*! ������0����� ������ C
E � *��������� �� '����/��� ��� ������0����� ������ C
E E *��������� �� ���.���� ������0����� ������ C�
E F *��������� �� ,'%*! ������0����� ������ C�
3
���� � ����� �
5 5 "���/���� ���� �
5 ,'%*! ��� E
5 � B����� ,>:� C
5 ,��� ���� �������� 5E
,>: �� AB' 5F
� *����� � C
E *����� ����� ����� D
F ,>: �� >: ?
C &6�� �� ������� ��� ��4� ��
D :��������� >: ��
� 5 ������/��� �������� ������� ��� �?
� 5����� ,>:� EC
E 5 *����� � F@
E B��.���� ��� C5
E � ,'%*! ��� CF
E E '����/��� ��� CC
E F '����/��� ��� CD
3�
������� �
��������
��� ��� ������ �� �������
� ������� ������0����� ���(����� /� ��� ����� � �� �� ������� ��� #��� ��$� #��� ��$�
� � � #��� ��$� /���� �� ���� #�������� �����(��$ �� � �� ��� �� ���� #�������� �����(��$
�� �� ��������� ��� ������� ������ �� � 0��� ��� � � � G �5� � � � � �� !�� ��� �� � 0��
� ������0����� ���� ���� �� ������� ���� �� �� /��� ����� � ��/ ���� �� /� ��� ������
� ����� #�$ ���� � � �
!�� �������� ���� �� /�� �� �� ��� �����(�� ������0����� ���� !� ���/�� ��� �����
���� /� ���� � ��0�� /�� /� ���� (� ��� � ������ ��0����� �� ��� �� � ������� ��
��/�� ���������0����� ����� ��� )������ � �� ������� �� �� ������� ��� ��� �� ���
���������� ��� ���������� �����(��� ������� ���� �� ��.��/� ���(�(���� �����(����
#�� � $ !��� �� ���������0����� ����� ��� ��-
��� 5������� G � ##�$ �G � ��$ #5 5$
G 5 � � ##�$ G � ��$ #5 $
G 5 ���
��
�
�5����� #� G ���$
�#5 �$
5
������� � ���� �����
�� ����� ��
#�$ G �����3 #� G ��� G �$
/��� ������4� ��� ������ /�� �� ���������0����� ����� ��� ����� � 5� � ��3 #� G
���$ !��� ������0�� �� .��/� �� �� � ��� �� ������ ��� �� ����� ��� � �������� �� ��
� ��� �� �
%���/ /� ��� /� ���� ������0����� �3������ �� ��� ��������� �� ������ ����� �� ��
�����
����� �������� � ���� ���
*������� �� ����� �� 2����� #5 5$ #'������� ���� "����� !�(������� H 2������� #��5$$
!���� ��� ������� �� ������ �� ����/���� 4�� ����� ���� �� ), ����� ,������ ��� *���
��� ,� !�� ������ ��� 5C 5C ��������� ���� 1� ��� ���� � � G FC �����������
�������� ������ � � ����� ��� � �������� ����� ��������� 5� �����(�� �������� � G
��� 5� � � � @� !�� ��. �� � ��� � �� �� ������� ��� #����� �� �� ��� ��$ � ���� � ���� �
������ � #�� ����$ ����� � #�� ��3���$
����� ��� ��������� ����������
�=� ����������� ������� �� �3�������� �� � ���� �� � ���� (� ��������� �� ����� ��
�'=� ������ ��� �� ���� :���������� ��� ���������� � (���.������ ��������� ��
(������� ��� ��� �������� �� ��������� ���� �� �������� �� ����� ������������� ����
� ������ ������ �� �����
2����� #5 $ �������� �� ��� ��� �� � ��� �� ��������� � ��? ����� #��/�$ ��� C�
������� #�������$ !�� ������� ��� � ��������� �� ����� ����� (��� ���� ����� #,'%*!$
���� �������� ��� ���� ������ (������ � ��� �� ���� ���� ������� !�� ���� �� � ������
�� ��������� ���� ������� �� � ������ �� �� (���� �� �� ���� �3�������� ���0�� "���
/� ���� � ������� �� �� ���(�� �� ����� #�����$ #� G � ��?$ �� ���� ������ ���
�� ���(�� �� ������� #� G C�$ "����� (������ ��������� �� ������ ���� ����� ��� �
������� � ���� ����� �
2����� 5 5- �������� ��� ������� ����� �� ���� ����� ���������
����� ������� ������ ��������� �� ���������� ��������� �� � ������� ������� ����� ��
�����(�� ��� � �� ������0�����
��� ������ ��� �� ������
!�� ������ ����� ������� #,>:$ ��� (��� � ������� ��� ��� ������0����� ���(����
�� �� ������� �������� 0��� '������� � ��� ���� ������ ���������� ������ ���� ��
������� �������� %���/ /� (���I� �� ���� �� ������ ����� ������� ��� /�������
������0����� ���� /� ����������� ,�� >����. #5@@F$� %����� #5@@?$� &�������� ����� H
������ #5@@@$ ��� "����� !�(������� H 2������� #��5$ ��� ������
����� ��� � �������
'����� �� ������� ��� ��� #��� ��$� #��� ��$� � � � #��� ��$� �� � �� � /������� ������0������
�� � ��5� 5� B� �� 0�� �������� �� ���� /��� �� ������� ��� ��� (� �������� ��������
������� � ���� ����� E
BL EWS NB RMS
2����� 5 - ��� ��������� ���� ��������� ������ ��� ����� !���" �� #$ �������!��%���" � ��� �&'() ����
������� � ���� ����� F
(� � ���������� �� �� ��0�� �� ���������� (�
�� - �#�$ G �� J �� G ���
/���� � �� � ��� �����- �� G 5� ��� �#�$ ����� �� ������ ������� ���� � ���� � � ��
���������� ,���� �� ������� ��� ��� �������� ������(��� /� ��� �(�� � 0�� � ����������
���� ��
���#��$ � � ��� #5 E$
������ ���� ��� ��0����� ���� ���� ����������� ����� �� ����������� ���������
#5 E$� �� ������ ����� ������� ���.� ��� �� ��� �� ��3���4�� �� � ��� !�� ������
�� ��0��� �� �� ������ ������� ���� �� ������� ��� � �� ���������� "���� /� ���
/��� �� ������ ����� ������� ���(��� ��-
��3�����������
� #5 F$
��(8�� � ��#�� J �� �$ � �� � G 5� � � � � � #5 C$
1��� �� ������� ��� ��� �� �������� ������(��� /� ����/ ���� ������� ��� � (� ��
�� /���� ���� �� �� ����� �� ������ ��� �������� ����. �����(��� ��� �� � � !�� ������
����� ������� ���(��� ��� (������
��3�����������
� #5 D$
��(8�� � ��#�� J �� �$ � �#5 � ��$� � G 5� � � � � � #5 ?$
�� � ���
�� �� #5 @$
/���� � �� � ��������0�� ������� ���(��� /���� ��� (� �������� �� � ����� � ���
#5 D$ 7 #5 @$ ��� (� ����� ��� � �������� ����������� ���(��� ��� �� ������� ���
������� � ���� ����� C
•
•
•
•
•
• •
••
•
•
•
••
•
••
•
•
•
������
�
�
��� � �� � �
•
•
•
•
•
• •
••
•
•
•
•
•
••
•
••
•
•
••
������
���������
���������
������
��������� ��
�
�
�
��� � �� � �
2����� 5 �- *����� �%���� ����� ������� ������+����
�� ����-
�#�$ G �� J
�����
�������� ��� #5 5�$
/���� ��<� ��� B��������� ���������� ��� �� �������� ����������� ���(���� ���
� G
�����
�������
=���� ���� ������� ��� ��� � ������������� �� )���� �� A������A����!��.�� #AA!$
��������� �� �� �������� ����������� ���(���� ��� ��� ���/ � ��4��(�� ������� �� �� �
������ �� �� ��� 4��� !��� ����� � (� �� ������� �������� (������ ���� �� ��� �����
���� �� ������0����� (������� #��������� ���� �� �� /���� ���� �� �� (�������$ ����
�� ��I����� �� ���������� �� ������� �� �� (�������� ��� ����� ���� ����4��� ��<�
!�� ������������� ��<� ��� ������ ����� ����� #������ ������$ 2����� #5 �$ ���������
(�� �� �������� ������(�� ��� ����������(�� �����
�� /�� ���� ������ ������� /� ��� ��.� �� ������ ����� ������� ���� I�3�(�� (�
��������� �� ������ ����� ����� (���� �3�������� ���� �� ����������� �� ������� +���������
������� � ���� ����� D
������ (��������� �� �� �������� ����� ������� (��� ������� ��� ��������� ��� �������
� ��������� (��������� �� �� �������� ���� ����� ,������ �� ��������� �� �� (����
�������� �� �� �������� ������ ����� ��
� G ���#�$� ��#�$� � � � ��#�$� �
/���� � �� �� ��������� �� �� �������� ������ ����� =�� �� � G � ��� � #�$ �� ��
�� �������� �� �� �� �������� ������ ����� �� ������� � �� �������� ���� ����� !��
������0����� (������� �� �� �������� ������ ����� �� ����� (�
�� - �#�$ G �� J �#�$ � G ���
=�� �� �� �� ������ ������ ����� �������� �� ������� #5 5�$ ������� �� �� (����
�������� ���� ������ ���� ����� ������ "����� /��� ����� �� �������� (���� ���������
�� ��/ ������� /��� ���� �� ����-
�#�$ G �� J
�����
������#��$� �#�$�� #5 55$
!��� ������� �� �� �� �������� (���� �������� ��� (���� �������� �� � ����������� .�����
"��(�� ����� #'A",$ #1��(� #5@@�$$� /��
�#�� ��$ G ��#�$� �#��$��
��� /� �� �� ���� � .��/ �� �������� (���� �������� �#�$ �3�������K ��� /� ���� �
.��/ �� �� .����� ������� �#�� ��$ �� �������� �� ����������� .����� "��(�� �����
!��� .����� ���. ����/� �� �������� ������ ����� � (� ���� ��0��� ������������ � � �
� G �� /���� ������� ��� ������ ����������� (������ ����� �� ������� #5 55$ ��� �
0��� ����������� ���� �� ���� �� �� .����� (���� �#��� �$� ��� �� ���(�� �� ���������
�� ��/��� � J 5 #� ��� ��<� ��� 5 ��� ��$ !���� ������� ������� �� �#�� �$ �� �� ������
������� � ���� ����� ?
����� ������� �������� ���-
�� ������ ���������� - �#�� ��$ G�5 J ��� ����� � #5 5$
'����� (���� - �#�� ��$ G �3���� � ������
�� #5 5�$
=����� ��/��. - �#�� ��$ G ��������� ���J ��
�� #5 5E$
/���� �� �� �� ��� �� ��� ���������0�� ���������
����� �� ������� ������ ��
,����� #5 5$ ���/� �� ������ ����� ������� ���� � �������� ���� �� ���/� � � � �
���������� �� �� �������� ����������� .����� "��(�� ����� �� ��3���4�� �� ������ ��
�� ������� ��� ���� �� �� �� ������ ����� ������� �� ���� ��������� � �
��������4�� ������� 0��� ���(��� 1�� �#�$ G �� J �#�$ �� �������� �� �����4����
���(���-
�������
�����
L5 � ���#��$M J ���� #5 5F$
/���� �� ��(����� NJO �������� � ������� ��� ��� � �� � ����� �������� 9�� ���
���/ �� �� ������� � #5 5F$ �� �� ���� �� �� ������ ����� ������� #5 D$ 7 #5 @$
2���������� �� �#�$ ��� ���������� (���� �������� �� � ����������� .����� "��(�� ������
#5 5F$ ��� (� /���� ��-
�������
�����
L5 � ���#��$M J �� #�$� #5 5C$
/���� �� �� �� ����������� .����� "��(�� ������ ��� � #�$ G ������ �� ������ �� ��
�� ���� �� �#�$ ��0��� �� �� ,������ � ,����� #5 5$� ������� �� ��� (� ��0���
������� � ���� ����� @
������������ �� ������� �� #5 5C$ ��� � 0��� ����������� ����-
�#�$ G �� J��
���
�����#��� �$� #5 5D$
/���� �#�� �$ �� �� ������� ��0��� .����� ������� �� �������� �� ����������� .�����
"��(�� ����� ��
=���� (�� #5 5F$ ��� #5 5C$ ���� �� ���� !�� J �"�# $�� /���� �� � �������� ��������
� ���������� �� ������� �������� !�� ���� ������� #5 � ��$ �� ������ �� ����� ����
B�� #��$ ���/�-
������� L#5 � � �#�$$M G ��%�#��#�$ � 5�$ �� ��%�
����
��#�$
5 � ��#�$
��
/���� ��#�$ G #� G 5�� G �$ �� �� ���������� ���(�(���� �� � ���� (���� �� �����
5 ����� � G � "���� �� ������ ����� ������� ���� � �������� �� ������ %����
������0����� ���� /���� �������� �� ����� ���������� ���(�(���� ��#�$
����� ��� ����� !�""�� #���� ���$��
!�� ������ ����� ������� ������0�� �� ��� ������(�� �� ��� /������� ������0����� �
����� ���� /������� � ���������� ������0������ ���� ����������� ���� �������� �������
����������
� �������� �� ���������� ������ �� ���� ����- ����� � �������� �� ���(��� �� �������
��� � ������ �� � ���������� ���(����� ��� ���� ���������� ���(��� �� ��������� (� �
��6���� �����������0� ������ ����� ������� ������0�� #� � � N����� 5O �� N�� ����� 5O$K
��� � ��/ ������ �.�� �� ����� �� �� ������0�� /�� �� ������ ���� ������ ����
G �����3��������� /���� � �� �� ���� ������ ���� �� �� �� ������ ����� �������
������0��
����� �� ������� � ���(����� 1���� H 1�.��� #5@@@$ ��� >����. #5@@?$ ��������4�
������� � ���� ����� 5�
#5 D$ 7 #5 @$ (� ������� ��� ������ �����4���� ���(���-
��3������
� #5 5?$
��(8�� � #���� � ��$ J �� #��� � �$ � �#5 � ��$� #5 5@$
� G 5� � � � �� � G 5� � � � �� � �G �� #5 �$
�� � ����
� ����
�� � #5 5$
����
��� G 5� #5 $
,������ � ������ 5 5� ��� ���� ���� ��� � ���� �������� �����������
'������� B��� B�� H 1��(� #��$ �������� �� �������� �� ��������� �� %����
������0����� ���� ��� ������� �����3 #� G ��� G �$ �������� (� �� ��������
������ �� ���� �������� �� ���� �� �����
��� �� ��� �� �� ���
� *����� /� ������� � ��/ �������� ��� ������0������ ������ �� ����� ����� �������
# >:$� /���� �� (��� �� .����� ������� ���������� #AB'$ 1� ���/ �� �� ����� �����
������� �� ���� �������� �� /��� �� �� ������ ����� ������� �� /������� ������0������
(� ���� ��� �������� (� ��������4�� � �� ���������� ���� 2���������� �� ����� �����
������� �������� �� ������ �� �� ���������� ���(�(���� ,������ � �� ����� �����
�� �� ������ ����� �������� �� ����� ����� ������� ����� ���� ���� � ������� �� ��
������� ��� � ����3 .����� (���� ��������� �������� � ���� ������� ������� ��� ��
������ ����� ������� !��� ����� �� ����� ����� ������� � ����������� ��������
���� �� ������ ����� �������� ���������� /��� �� ��4� �� �� ������� ��� �� �� �����
!�� ����� ����� ������� �� (���� �� .����� ������� ����������� /���� �������� ��
����� ���� �� �� ������ ����� ������� /�� ������� (������� ������.������� � *�����
�� /� ������� �� ������ ��� ���� �� ������ �� �� �� ���� �� �� �� #5 5F$ �� �� ������
����� �������� /�� �� �� ���� ��� ��� /� 0 �� 5����� ������ ����� ������� !��
������� � ���� ����� 55
�������� ��� ����� ���� � ���������� �� �� �� ������� � �����.��� �� 0�� ��������
P� �/���� 4���� 8�� �� �� �� ������ ����� �� �� ������ ���� ���� � �� ���� �� ��
0�� �������� �3���� ����� � 4��� "���� �� 5����� ������ ����� ������� 0� �
����� �� ���� ������� ������ �������� 1� ���/ �� �� 0�� �������� ��� P� ��
� ������� �� �� ����� �������� � �� ������/��� ������� ��� /� ���� �� ����� ��������
�� ������� �� /���� �������� ��� !��� ��������� ����� ������� �������� �� ��
����� �������� �
� *����� E� /� ��������� �� �=� ���������� ������0����� ����� ��������� ������
���� �� *����� ��� *����� � 9��� � ������� ���� �� ���������� ��������� �� � �������
�� ����� ��������(�� ��� �� ������0������ ����� ��� ����� ��������� %������ �� ����
���� ���� �������� ���� (� �� �� ������ �� ������(�� �� *����� �� /� �������� /� ����
�������� ������ ���� �� �� ��������� ��������� ���.��� #)'$ ��� ��������� ������ �����
������ #'2&$ &�������� ������ ������� �� ��������� ������ ���������� ����� ����
� ����� ��/�� ����� ��� ���� ������ ��� ���� �������� /��� �� (�� ���������������
��� �� ���
� �� �������3 /� ���� ������ ��� ��� �� ������� �������� �� �� �����
�������
����� � ��� ����� �
� ��� ������� /� ������� � ��/ �������� ��� ������0������ �� ����� ����� �������
# >:$� �� �� (��� �� .����� ������� ���������� #AB'$ 1� ���/ �� �� ����� �����
������� �� ���� �������� �� /��� �� �� ������ ����� ������� �� /������� ������0������
(� ���� ��� �������� (� ��������4�� � �� ���������� ���� 2���������� �� ����� �����
������� �������� �� ������ �� �� ���������� ���(�(���� ,������ � �� ����� �����
�� �� ������ ����� �������� �� ����� ����� ������� ����� ���� ���� � ������� �� ��
������� ��� � ����3 .����� (���� ��������� �������� � ���� ������� ������� ��� ��
������ ����� ������� !��� ����� �� ����� ����� ������� � ������� �����������
�������� ���� �� ������ ����� �������� ���������� /��� �� ��4� �� �� ������� ���
�� �� �����
��� ������ ��� � ������
�� ������(�� �� *����� 5� �� ������� ������ ����� ������� �������� � ����������
������0����� (������� �� �� �������� ���� ����� (� ���������� � ������ (������� �� ��
�������� ������� �� �� �������� ���� ����� !�� ��������� �� �� �������� ����� ��� (�
���� ������ ���� ��0���� �� ���� ����� !��� ��������� �����(���� ��������� �� ��������
������ � ������� ��0��� ����������� .����� �#�� �$� /���� ����� �� ����� ������ �� ��
�������� �����
5
������� � ����� ������ ������� 5�
� *����� 5 /� ���� ���� ���� �� ����������� (�/��� �� ������ ����� ������� ���
��������4�� ������� 0��� �� �� ����������� .����� "��(�� ������ #'A",$ �� �������/
��� (� ����� �� &�������� ����� H ������ #5@@@$� 1��(� #5@@@$ ��� "����� !�(������� H
2������� #��5$ 2���� � ������ ����� ������� �� ��������� �-
�������
�����
L5 � ���#��$M J ������ # 5$
/���� �� �� �� ����������� .����� "��(�� ����� �������� (� � .����� �#�� �$ %� ��
���������� ������ #A�������� H 1��(� #5@D5$$� �� ������ �#�$ ��� �� ����-
�#�$ G �� J
�����
���#��� �$� # $
��� ���� �� ������ ����� /��� ���� ����4��� ��<�
=�� �� # 5$ ��� �� ���� !�� J �"�# $� !�� ���� ������� #5 � ��$ �� �����
�� 2����� 5� ����� /�� ������� ��������� ���� �������� �� /� ��� ���� �� �������
������.������� #=BB$ �� �� (������� �����(���� ��� � ����� ������� � �� �� �� ������
����� �������- (�� �������� �������� �� �� ��� ���� ����� #�������$ ��� ��������� �
��� � � ���� �� ���� ���� � /� ������� #5���$ �� # 5$ /�� ��#5J"��� $� �� �������
������.������� �� �� (������� �����(����� �� ���(��� (������ � .����� ������� ����������
���(���-
�������
�����
���
5 J "��������
J ������ # �$
%������ �� �� ��������� (�/��� �� /� ���� ��������� /� �3��� �� �� 0�� �������
�������� ��������� � �� ������ ����� ������� ��� /������� �����0�����
!���� ��� /� �������� ��������� �� ��.��� ���� � ����������- #�$ A����� �������
������� � ����� ������ ������� 5E
yf(x)
Loss
-3 -2 -1 0 1 2 3
0.0
0.5
1.0
1.5
2.0
2.5
3.0
Binomial Log-likelihoodSquared ErrorSupport Vector
2����� 5- ��� ��� %������� � � ���� ���
���������� ������� �� ��������-
�#�$ G ��� #� G 5�� G �$
#� G �5�� G �$# E$
G �� J��
���
���#��� �$� # F$
"����� (������ ������ � ������0����� ����� .����� ������� ���������� ���� �6��� � ������
������ �� �� ���(�(����
��#�$ G"����
5 J "�����
/���� �� ������ ����� ������� ���� ������� #B�� #��$$
��%� L��#�$� 5�M �� ��%�
���
��#�$
5� ��#�$
��
/���� ��#�$ � #� G 5�� G �$ �� �� ���������� ���(�(���� �� � ���� (���� �� ����� 5
������� � ����� ������ ������� 5F
����� � G �K #($ !�� .����� ������� ���������� ��� �������� (� ��������4�� � �� �����
����� ���� ������ .����� ��������� ����������� /������ ��� �� �� �� ���� ��� �� ������
����� ������� "�/����� (������ �� .����� ������� ���������� ����������� �� ����� ����
������� �� �� ������ ����� �������� � �� ������ ��� �� ����� ����� �������K ��
���� /����� ��� �� ��<� �� # F$ ��� ����4���
A����� ������� ���������� �� � /���������� ���(���K ��� 1��(�� +�� 1��� H *�������
#5@@F$� +���� H Q������ #5@?F$� "���� H !�(������� #5@@�$ ��� ���������� ������K ��/�����
��� ��� ��� ����� �� �������� ������ �������� �� �������� ������
1� ��� � ��������� �3����� � �������� �� ������� ����������� �� .����� �������
���������� ��� �� ������ ����� ������� !�� ��� �� ���� ����� ��� �������� ���� �
��3��� �� +������� �����(���� #"����� !�(������� H 2������� #��5$$- 0�� /� �������
5� ����� & ���� � (������� +������� �����(���� '##5� �$ � �$ ��� ��(�� ��� ����� J5
,��������� 5� ���� ��� ���/� ���� '##�� 5$ � �$ ��� ��(���� ����� �5 !��� ��� ���� ������
/� ������� 5�� �(��������� �� �����/�- ��� ���� �(��������� /� ���. �� & � ������ /��
���(�(���� 5�5�� ��� ��� ������� � '#&� ��F$� ��� ������� � � ��3��� �� +�������
������� ��� ���� �����
1� ��� � ������ (���� .����� #5 5�$ !�� ��������4���� �������� � �� ������ � �������
���� ���������0����� ����� !�� ������ ��� ���/� �� 2����� !�� ������ (���� .�����
�������� � (������� ���� ����� � �� %���� ������ (������� ��� ��� ��������� 1� ���
�� �� 0�� ����� �� .����� ������� ���������� �� ���� ������� �� ������0����� �����������
� �� �� �� ������ ����� ������� � ������� � � ������0����� (�������� �����
.����� �������� ���������� ������� �� �������� �� ����� ���(�(������� � ��� ���� �������
���(�(���� ������� #2����� $
����� %&� �� ��� � �������
'����� �� �� *����� 5 /� ������(�� �� ������ ����� ������� ���� /� �����������-
#�$ ������������ �� �� ������ ��3���4��� ��� #($ �� � ��������4�� ������� 0��� ���(���
!�� �������� ��� 0��� � .����� ������� ���������� ����� �� �� ��������� �� ����� (�/���
�� ������� ������.������� �� �� (������� �����(���� ��� �� ����� ���� �� �� ������
������� � ����� ������ ������� 5C
SVM − 130 Support Points
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
oo
oo
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
oo
o
o
o
o
o
o
oo
o
ooo
o
oo
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
oo
o
o
o
o
oo
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
oo
o
o
o
o
o
o
o
o
o
o
o
o
oo
Training Error: 0.235
Test Error: 0.264Bayes Error: 0.255
KLR − Radial Basis
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
oo
oo
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
oo
o
o
o
o
o
o
oo
o
ooo
o
oo
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
oo
o
o
o
o
oo
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
oo
o
o
o
o
o
o
o
o
o
o
o
o
oo
Training Error: 0.225
Test Error: 0.262Bayes Error: 0.255
2����� - )�� ��� ,���- ����� ��� ������+����� ,%� �����. ��� ���� �%���� ����� ��� '���������� ,%� ������ /� ��� �012 ��� ���� ,���- ����� ��� ��� � ��� ��� ������� �� ��� ,���-����� ��� ��� ����� ������� � ��� � ��� ��� ������� /� 3*&2 ��� ���� ,���- ����� ��� �������� � ���� �� ��� ������
����� �������� ��� ��� �������� �� ���� �� ��������4�� ������� 0��� ����������
,���� �� ������ ����� ������� /�� ������� �� � ����� � ��3���4� �� ������ ��
�� ������� ���� ��� � ������ ������� ��- /�� ���� .����� ������� ���������� �� /��
�� ������R ���� �� �� .����� ������� ���������� ��� ���� (� �������� �� � ������
��3���4��
,������ � ������ 5 5� ��
� G ���#�$� ��#�$� � � � ��#�$�
(� �� ��������� �� �� (���� �������� �� �� �������� ������ ������ /���� � �� �� ���
������� �� �� �������� ������ ����� !�� ������0����� (�������� � ���������� �� ���
�������� ������ ������ �� ����� (�-
�� - �#�$ G �� J �#�$ � G ���
������� � ����� ������ ������� 5D
,������ �� �������� ������ ����� �� �� ���� �� �� ������� ��� ��� ������(��� ��� ��
���������3����� ������ ����� ������� ��� (� /���� ��-
��3�����������
� # C$
��(8�� � ����� J �#��$
�� � �� � G 5� � � � � � # D$
/���� � �� �� ������ ������� ���� �� ������� ��� � �� ��������� ���������� ���
��0��� �� �� � ���
=�/ �������� �� ��������� ���� �� .����� ������� ����������-
�������
�����
���
5 J "��������
# ?$
��(8�� � ��� � # @$
�#��$ G �� J �#��$�� � G 5� � � � � �� # 5�$
!��� /� ���� �� �����/��� ������-
%������ �,� ������� �� ����� � � ��� ���� ���� ���� �� ��� ��#�� J �#��$�$ �
�� ��� �� �� ������� �� ��������� !� �� ������ �� P�#�$� ���
P�#�$
�� �� � � ���
"��� �� �� �� ������� �� �� � ���#� $���%��� ����� ���� � ����� ���&�����'�� ��
�� �� ���(���
)� �� �� �� ���(��� �������� � � � �� ������� ���������� ������ �� ��� "��� ��
������ � ���#� $���%��� ��� ��� ������ ����
!�� ����� �� �� ������ �� ������� �� �� �������3 !������ 5 ������� �� .�����
������� ����������� ������� � �� ������ ����� �������� �� ���� � .��� �� ������ ��3���4��
������� � ����� ������ ������� 5?
����� ����� ��"$��� ��$��
� ��� ������� /� ������(� ��/ � ����� .����� ������� ���������� ����� �� =�/���'������
����� B�
( G
�����
���
5 J "��������
J�
����
� # 55$
!���� (� �� ���������� ������ #A�������� H 1��(� #5@D5$$� �� ������� �� ������4��
( ��� �� ����-
�#�$ G �� J
�����
���#��� �$�
B�
�� G5
5 J "�������� � G 5� � � � � # 5$
)� G #��� ��� � � � ��$ # 5�$
)� G #��� � � � ��$ # 5E$
)� G #��� � � � � ��$ # 5F$
�� G�)5� �#��� ���$
�������
# 5C$
�� G
� � �
� �#��� ���$�������
�� # 5D$
* G ���� #��#5 � ��$� � � � ��#5 � ��$$ # 5?$
=���� �� �� � � #� J 5$ ����3� �� �� � #� J 5$ #� J 5$ ����3 ��� * �� � �� ����3
1�� ���� �(��� �� ������� # 55$ ��� (� /���� �� � 0��� ����������� ����-
( G )5 ���
5 J "����������
J�
)� ��)�� # 5@$
������� � ����� ������ ������� 5@
=�/ /� ����
+(
+)�G ��
� #)� � )�$ J ���)� # �$
+�(
+)�+)�G �
� *�� J ��� # 5$
/���� N�O ������ �������/��� ������������
!�� =�/���'������ ����� ��� ������ �� �������� 5-
��������� �,� *�"��#+ ����� ,���� �� -�+
5 ������4� )��
*����� )�� ��� �� ��� *
� )����
)�� G )���� ��
+�(
+)�+)�
���+(
+)�# $
G )���� J��� *�� J ���
��� ��� #)� � )�$� ���)����
�# �$
G��� *�� J ���
����� *), # E$
/����
), G ��)���� J *��#)� � )�$
E '���� ���� #$ ��� #�$ ���� )�� ���������
� # E$� /� ���� ����3������� �� =�/���'������ ��� �� � /������ ������������
��� ), �� �������� .��/� �� �� ��8���� ��������� ��� �� ��� �� �������� � �� �� �����
�"������ �� � �(� �� )�� G � �� ������� � ���� ������ ����� ,���� ( �� �����3�
�� �������� �������� ���� ��������� (� ����������� ��� ����� � �� ���� ���� ��
����������� ������� ��� ��4� ������� /��� ������� �����������
������� � ����� ������ ������� �
����� !�'����� ����� ("����� ��$��
!�� ���/(��. �� �� =�/���'������ ����� �� �� �� ���� �������� �� � � ����3
����� � (� ������� !�� ������������� ����������� ��� ��� (� ���� /��� � �� �����
'������� A������ ����� ,������ H ��� #��$ �������� � ���� �������� ��� .�����
������� ���������� �� ������ �������� ���� ������� �����/� �� ����� �� �� �������
��������� ������� �����4���� #,:9$ �������� #��� #5@@@$$
B� � G 5�� B�
-� G��
����
�������#��� � ��$ J �� ��
���
� � ��
�# F$
�#�$ G5
��
���
�����������#��� ���$
J ���
��
���
��
�J #5 � ��
�$ ��
�5� ��
�
# C$
!���� �� ��������� ������� �����4���� �������� �������� �� �������� -
��������� �,� ��(���� � ,���� � .����% ��� /������ �� -�+
5 ������4� �� ���� ��
� . �� . � �����
���
���� G ��
B�
-�� G ��3�
-� # D$
-��� G ����
-� # ?$
��� G �����3�-� # @$
���� G �������-� # ��$
������� � ����� ������ ������� 5
� -�� G -���� ��� � ��� ��
S����#�$ G ���� � ������ # �5$
S�����#�$ G ����� J ������� # �$
S��#�$ G �� �� �G ���� ���� # ��$
2��� �� �� ������4� � #S�#�$$
� )����
� � S�#��$�
+� � ��� #$
� �� ��� �� �� ��������� /� ���� �� G �-�� G �-��� ���
�#�$ G �� J��
���
�����#��� �$ # �E$
����������� ����������� �3�������� ���/ �� ��� ��������� ������� �����4����
�������� �� ��(�� ��� ��� #A������ ����� ,������ H ��� #��$$ 1� ���� ��������
�4�� ��� �������� � �� ���������� ���� � ������� ���������� �� �� ���������� ����
�������� �� ����� �� �� �������3
��� !���� ��� �� ������
������� �� ��������� ������� �����4���� ����� ����� ������ �� ����������� ���
�� .����� ������� ����������� �� �� 0�� �����
�#�$ G �� J��
���
���#��� �$� # �F$
������� � ����� ������ �������
�� �������� �� ������ 5� ��� �� ��<� ��� ����4��� !��� �� �� �� ���� ��� �� ������
����� �������� ��� ���� ������ ����� ���� ����4��� ��<� ,� �� ������ ����� �������
����/� ��� ��� ����������� ��� ��� �� �������� �� ���� ������ ��� ����.�� ���������
� ��� ������� /� ������� �� ����� ����� ������� ����� �� 0��� � ��(������ �
�����3���� �� ���� ����� # �F$ ����� (� .����� ������� ���������� !�� ��(������ ���
�� ����-
�#�$ G �� J����
���#��� �$ # �C$
/���� � �� � ��(�� �� �� ������� ��� ���� ��� � � � ���� ��� �� ��� �� � ��� ������ ����
����� !�� �������� �� ��� ��(������ �� �� �� ����������� ��� �� �������� ����������
��� ����� ������� ��� ���� /���� �� 8�������4��� �� ����������� �� ������0�����K ���
����� ���� � ��(�� �� �� ������� ��� ��� ���� � ����3 �� 0�� ������ ��� �����������
�� ��������
,������ ���� ����������� ���� ���� ���������� ��������� �� �������� �� ��(�� �
B��� 1��(�� ;����� +��� A���� H A���� #���$ ������ �� ������� ��� ��� ������� �����
���� ��� �������� ����� � ������������ ���� ���� ������ � ��.� �� � ,���� H
,��T��.��� #���$ �������� � ������ �������� � ����������� ����� / ������� �� �� .�����
����3 L�#��� ���$M��� ���� �� �� ���� �� ���� / ������� �����3����� �� ���� ��
L�#��� ���$M�� /��� �� �� 2��(����� ���� 1������� H ,����� #��5$ ������� ��������
�������� / ����� �� �� ������� ���� ��� ����� �� =����� ����� � �����3���� ��
������������������ �� �� .����� ����3 L�#��� ���$M��� ��� �3������� �� ������ (��. ��
� � ���������� =��� �� ���� ������ ���� �� ���� �� �� �������� �� ��(�� � #� � �
�� ��������� �������� ���� ��$ !�� ����� ����� ������� �������� ���� (�� �� ����
�� ��� �� ���� �� � ����� �� ��(�� � �� ���� � /�� �� �� �������� 0 �����3�����
�� ���� ����� /���
������� � ����� ������ ������� �
����� �� ��$�
�� �������� (������ /� /�� � 0�� � ��(�� � �� ���� ��� � � � ���� ���� �� �� ��(�
����� # �C$ �� � ���� �����3������ �� �� ���� ����� # �F$ ,���� � �� �������������
�������(�� � ������ ��� ����� ��(�� �� /� ��� � ������ ���/��� ������ �� ������(�� ��
�������� � 1� ���� �� ����� �� � ���� �����
��������� �,� � ��� )0, /������
5 B� � G �� � G ���� ��� � � � � ���� $ G 5
2�� ���� �� � �� ��
��#�$ G �� J�
�������
���#��� �$
2��� )� � ������4�
(#��$ G
�����
�� #5 J �3�#�����#��$$$ J�
��#�$���
# �D$
G )5 ���
5 J �3�#�)� � #� ��)�$$
J
�
)�� �
�)� # �?$
/���� �� ��������� ����3
� �� G L)5� �#��� ���$M������ �� � ���� � � � ���� ��� � � � ����K
�� ��������4���� ����3
� �� G
� � �
� �#��� ���$
��
��������
� ��� ��� � � � ����K
��� / G ���
� 2���
��� G ����������(#��$�
������� � ����� ������ ������� E
B� � G � � ������ � G � � ������ (� G (#���$� $ � $ J 5
E '���� ���� #$ ��� #�$ ���� (� ���������
�������� � �� ������������� �����(��� (� �� ��� #$ /� ���� � ��� �� =�/���
'������ ����� �� ��������� ������� �����4���� ����� � 0�� )� ��������� 1���
�� ���(�� �� ����� ����� / (������ ������ �� ��������� ��� (� �3������� !� ������
��� ���������� /� ��� � ������ �����3������
����� �� ��������� �������� )� ���� � ���������� /� ��� ������ �� � �������
=�/���'������ �������� ��� ��� � �� �� �����3������ � �� ��������� ��� !� �� �
���� �����3������� /� �.� �������� �� �� 0�� ����� ���� �� ������ N������O ��
� � � �� ��(������ /��� ��� G /� ��� ��� � �� �� ������ ����� !��� ������� ����� ��
������� � �� ����� �� �� ��������4�� ������ ������ #+B:$� (� �� ���� ���� �� ���� �
������ ��� !�� ������� ������� ����/� �� /������ ���������� # E$ � (� �������
�� 0#�/$ ��� "����� /� ���� �� ������� ��� #$ �� �������� � �� �������� --
��������� �,� +������ ��� ���
#�$ 2�� ���� �� � �� ��������������� ������ �� /�� � ������� ��� �� /�� � ������
��� � ��/ )�� �� ������� ������� � 0�� )� �� # E$ *����� # �D$
� ��� #E$ �� �������� �� /� ���� � ������ /��� � ��� �� �������� � ������
������� ���� �� � ���. � �� ��������4�� ������� ������.������� B� (�� (�� � � � (� ��
�������� �� ��������4�� ������� ������.������� �(����� �� ��� #�$ � ���� ��� $� /�
������� (� /�� (����� /���� U$ �� � ���������� ����� ������� ��� �3������ U$ G 5 �
�� �����������
����� ���� ��� ���� ���������� ����� ���(�� 1� ��� �3������ 1 G ����5�
/� ��� ������ ��/ ����� ����� � �
����� !������ �) �
,� ���� /� ���� ������� �� �� ����� �������� � �� 03�� � �������� /� ���� ����
� ������ �� N������O � 1� ��� �������� ���� ��� �� ��� ��� � ������� �� ��� �
����� ��� ��� ��� �� ���������0����� ����� �� �� ����� �� �� � �������� ��� ��������
������� � ����� ������ ������� F
� !� ������ �� ���������� /� �.� �������� �� �� ��� �� �� ��������4�� �������
������.������� ��������� ����� ��� � ������ � !���� ������ �� ������� �� ����� �������
�������� ��� ���� �� /� ������� �������� --� /���� ���(���� (�� ������ ����� �����
� � ��� �������� �� ������ �
��������� �,� ����� ����� �������� �� � �� �
5 ,�� /�� � ����� ����� �������� �
B� � G �� � G ���� � � � � ���� $ G 5
� '�� ���� #�$� #�$ ��� #E$ �� �� ������� �������� E� ���� �� ������� ��������
�� ����0�� � � G ���� � � � � � ��� ����� �� /��� ���� ������ �� ��������0�����
����� �� �� ����� ��
E �������� � � � ������� �����
F '���� ���� #�$ ��� #E$� ������ /�� � G ���� � � � � � ���
1� ������ �� ������ � �� �� ��� �� ����������� � �� ������� ���������0�����
����� �� �� ����� ��
����� !������ ������
� ��� ������� /� ��� � ��������� � �������� �� ����� ����� ������� ����� !��
��� ��� �������� �� �� ���� /�� �� 2����� !�� ��������� ������ ��� ���/� ��
2����� � 7 2����� F
2����� � ���/� ��/ �� ����� �������� � �� ������� !�� ������ � �� ����� �
(� ����� � 5 ��� ����������� � � ���������0����� ��� ��C 2����� E 03�� �� �����
������� � � G 5 ��� 0��� 5@ ����� ����� 2����� F �������� �� ������ �� ��
������ ����� ������� ��� �� ����� ����� �������- �� ������ ����� ������� ���
5�� ������ ������ ��� �� ����� ����� ������� ���� 5@ ����� �����K ��� ���� �������
������0����� (��������� 2����� C �� ��� �� ���� ��������� (� ��6���� ��4�� �� �������
���- � G ��� E��� C��� ?�� 1� ��� �� �� �� ������� ��� ��4� � ���������� �� ���(��
�� ����� ����� ���� �� ��� � ��������
������� � ����� ������ ������� C
0 50 100 150 200
8010
012
014
0
# of Import Points
Regu
larize
d Dev
iance
Choosing Lambda
Optimal Lambda = 1
0 50 100 150 200
0.26
0.27
0.28
0.29
0.30
0.31
0.32
0.33
# of Import Points
Misc
lassif
icatio
n Rate
Choosing Lambda
Optimal Lambda = 1
2����� �- &� ��� -����� �� %�� � � ���2 � � ��2 � � �2 � � �����2 �������� �� ��� ������ )�� �����%� ���������+����� ���� ����� �� %� � ������� � � ��
+�� 1- !�� ������ ����� �� �� ������ ����� ������� ��� ���� /���� ��� ����� �
�� ������0����� (������� �� ���������0�� ��� ������� ���� ����� /����� L�#�$#5 � �#�$$M
!�� ����� ����� �� �� ����� ����� ������� ��� ���� �� �������� �� ��������4��
������� ������.������� �� ���� ��� ��� (� ����� ����� � �� ��� ���� �� ������0�����
(������� !�� ��6������ �� ��������� �� ������� (������ �� ������ ����� ������� ��
���� ��������� /�� �� ������0����� ��%�L�#�$ � 5�M� /���� �� ����� ����� �������
���� ������� �� �� ��.��/� ���(�(���� �#�$ !����� ����� �/�� ���� �� ������0�����
(������� �� �� �����(�� � ���������� �� ������� �� �� ������0����� (�������� ���
��� �����(�� � �������� �� ��.��/� ���(�(���� �#�$ !�� ��� ����������� ���
�� �� ������ ����� ������� �� 0#���$� /���� � �� �� ���(�� �� ������ ������ /����
�� ����������� ��� �� �� ����� ����� ������� ����� �� 0#��/�$� /���� / �� ��
���(�� �� ����� ����� ,���� / ���� �� ��� � �������� �� � ���������� �� ��������� ��
������� � ����� ������ ������� D
0 50 100 150 200
110
112
114
116
118
120
# of Import Points
Regu
larize
d Dev
iance
Lambda = 1
# of Import Points = 19
0 50 100 150 200
0.26
0.27
0.28
0.29
0.30
0.31
0.32
# of Import Points
Misc
lassif
icatio
n Rate
Lambda = 1
Test Error = 0.262
2����� E- &� ��� -����� �� %�� � � ���2 � � ��2 � � �2 � � �����2 � �� )�� ��������������� �� �����+� ���� ��� � � �
2����� C� �� ����������� ��� �� �� ����� ����� ������� ��� (� ������� ��� ��
�� �� ������ ����� �������� ���������� ��� ����� ������� ��� ���
����* ���� ��� ������
� ��� ������� /� ������� �� ����������� �� �� ����� ����� ������� ��� �� ������
����� ������� �� ���� ���� ������ !�� (�������. ������ ��� ���� ��� ��� �������-
%������ %������������ 2����������� +������ "���� ����� '�������� ,������ !�������
!������ !/����� ��� 1������� ������� ���������� �(�� ���� ������ ��� (� �����
�� 'T����� ! 9���� H A ' :T����� #���$ �� ��� ������(�� � �$$� - ����#���2�$�%/��"�3� �2#"$����#$#
������� � ����� ������ ������� ?
SVM − 130 Support Points
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
oo
oo
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
oo
o
o
o
o
o
o
oo
o
ooo
o
oo
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
oo
o
o
o
o
oo
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
oo
o
o
o
o
o
o
o
o
o
o
o
o
oo
Training Error: 0.235
Test Error: 0.264Bayes Error: 0.255
IVM − 19 Import Points
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
oo
oo
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
oo
o
o
o
o
o
o
oo
o
ooo
o
oo
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
oo
o
o
o
o
oo
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
oo
o
o
o
o
o
o
o
o
o
o
o
o
oo
Training Error: 0.225
Test Error: 0.262Bayes Error: 0.255
2����� F- )�� ��� ,���- ����� ��� ������+����� ,%� �����. ��� ���� �%���� ����� ��� '���������� ,%� ������ /� ��� �012 ��� ���� ,���- ����� ��� ��� � ��� ��� �������2 �� ��� ,���-����� ��� ��� �%���� ����� ������� � ��� ������� /� ��� 4012 ��� ���� ,���- ����� ��� �������� � ���� �� ��� �����2 �� ��� ,���- ����� ��� ��� ����� ������
!�(�� 5 ������� � ������� �� ���� ������ '����� .����� #5 5�$
�#�� ��$ G "������
���
�� ���� �������� ���� ������ !�� ��������� � ��� � ��� 03�� � �����0� ������ ��
��� ������ ��� �� ������ ����� �������<� ��������4���� ����������� #'T����� ! 9����
H A ' :T����� #���$$ &��� ����� ��� � �����4����� �� �� ������� ��� �� ��� !��
������ ��� �� !�(�� ��� !�(�� � !�� ���(�� ������ ���� (���.� �� �� ���� ���� �
�����4����� �� �� ������� ��� �� ���� ��� �� ���(�� �� ���� (���.� �� �� �������
�������� 2��� !�(�� � /� ��� ��� �� �� ����� ����� ������� �������� �� /���
�� �� ������ ����� ������� �� ������0����� �� ���� (�������. ������ 2��� !�(��
�� /� ��� ��� �� �� ����� ����� ������� �������� ���� � ���� ������� ������� ��
�� ������� ��� ��� �� ������ ����� ������� � ����3 .����� (���� �������� !���
��� ���� �� ����� ����� ������� � ����������� �������� ���� �� ������ �����
������� � ����� ������ ������� @
0 50 100 150 200
110
112
114
116
118
120
# of Import Points
Reg
ular
ized
Dev
ianc
e
# of Training Data = 200
# of Import Points = 19
0 100 200 300 400
225
230
235
240
245
# of Import Points
Reg
ular
ized
Dev
ianc
e
# of Training Data = 400
# of Import Points = 22
0 100 200 300 400 500 600
320
330
340
350
360
# of Import Points
Reg
ular
ized
Dev
ianc
e
# of Training Data = 600
# of Import Points = 26
0 200 400 600 800
420
430
440
450
460
470
480
# of Import Points
Reg
ular
ized
Dev
ianc
e
# of Training Data = 800
# of Import Points = 22
2����� C- )�� ��� ��� �������� �� ��� ���� ��� �� /��%�� ��� 5 /��%�� ��6� &� ��� -����� ��%�� � ���2 � �2 � � �2 � � ������ )�� ��7�� �������� ��� ��� � ���� ���� ���� ���2 �� ��� ������� ��� �%�,��� ����� ����� ��� � � ��� ��� ���
�������� ���������� /��� �� ��4� �� �� ������� ��� �� �����
��� ��� "��� ���
� ��� ������� /� (���I� ������(� � ��������4���� �� �� ����� ����� ������� � �����
����� ������0����� ,������ ���� ��� � ������� !�� ���������� ���(�(���� �� � ����
(���� �� ����� � ����� � G � �� ������ �� �#�$ G #� G ��� G �$ "���� �� %����
������0����� ���� �� ����� (�-
#�$ G �����3������� �� �#�$
������� � ����� ������ ������� ��
!�(�� 5- ,������ �� �� �� (�������. ������ � �� �� ��4� �� �� ������� ���� � ���� ��������� �� �� �������� ����� �� �� �� �������� �� �� ������ .������ � �� �� �������������� ��� ' �� �� ��4� �� �� �� ���
����� � � �� � '
%����� E�� 5 ��5C 5��� E@��%����������� �� @ F� C�F? 5��� DD2���������� CCC @ �� � @D? E��+����� D�� � FF � �5C ���"��� 5D� 5� 5� � �5C 5�� ���� 5��� 5? � � �� 5�5�'������� E�� � 5� 5�� D���!������ 5E� F � � 5 DF!����� 5F� � 5��� �F5!/����� E�� � E� � �5C D���1������� E�� 5 � 5 EC��
!�(�� - *��������� �� ������0����� ����������� �� ,>: ��� >: �� �� (�������.������
����� ,>: &���� #V$ >: &���� #V$
%����� 5��D?#���C?$ 5���E#���EC$%����������� F�F?#�E�F�$ F�@#�E�D@$2���������� ��CF#�5�E$ ���CC#�5�CE$+����� �??#��?$ ��F�#��E?$"��� 5F�@F#���5E$ 5F�?�#���E@$ ���� ���E#��D�$ ���5#���?�$'������� ���#���5@$ 5�@D#���@$!������ E�?�#��@?$ F���#����$!����� �5C#���C�$ ��@#�5���$!/����� �@�#���F$ �EF#���5F$1������� @�@?#���E�$ 5��5�#���ED$
������� � ����� ������ ������� �5
!�(�� �- *��������� �� ���(�� �� .����� (���� ���� (� ,>: ��� >: �� �� (�������.������
����� W �� ,> W �� >
%����� @�#�5�$ 5#�D$%����������� 55F#�F$ 5E#��$2���������� F@D#�?$ @#�5$+����� E�D#�5�$ 5D#�$"��� @�#�E$ 5#�$ ���� 5#�55$ D#�5?$'������� ?@#�F$ D#���$!������ 5#�$ #��$!����� C@#�@$ ?#�$!/����� D�#�F$ E#�E$1������� 5F5#�@$ C#��$
!�� ����� ��� �� ����-
��#�$ G"��������� "�����
� # �@$
��#�$ G"��������� "�����
� # E�$
# E5$
��#�$ G"��������� "�����
� # E$
/���� �#�$ � �� K �� �� �� ����������� .����� "��(�� ����� �������� (� � �������
��0��� .����� �#�� �$ =���� �� ��#�$� � � � � ��#�$ ��� �� �����0�(�� �� ��� ������ ���
�� /� ��� � ������ ��� � ���� �#�$� ��#�$� � � � � ��#�$ /��� �� ������ !� ��.� �#�$
�����0�(��� /� �������� �� �������� ��������
����
�#�$ G �� # E�$
!��� �� ���������� .����� ������� ���������� 0� � ����� � ������4� �� ��������4��
������� � ����� ������ ������� �
������� ������.�������
( G ���
���
�� ���#��$ J�
����
# EE$
G
�����
���
� �#��$ J ���
"������ J � � � J "�������
J�
����
# EF$
/���� �� �� � (����� ������� /�� ������ ��� 4��� �3��� � 5 �� ������� � �� �� ����� �� ��
���
�#��$ G #��#��$� � � � � ��#��$$ � # EC$
����G
����
����� # ED$
)���� �� ���������� ������ #A�������� H 1��(� #5@D5$$� ��� ��� ���/ �� �#�$� /����
������4�� (� ��� �� ����
�#�$ G �� J
�����
���#��� �$� # E?$
"����� # EE$ (������
( G
�����
���
� #��#�� $4$ J ���
5 "�����������
J�
����
� ��� # E@$
/���� 4 G #�� � � � ��$� �� ��� �� ��� ��0��� �� �� ���� /�� �� �� �� /������� ����K ���
��#�� $ �� �� �� ��/ �� �� =���� �� �� ��� ������ �� �������� # E�$ �� �� ���������
�������� ��� � �� ������� �� # EE$���
�� �#�$ G � �� ����������� ����0��
������� � ����� ������ ������� ��
����� ��� ����� %&� ��� ��� ����� !#�
,������ � !������ 5� � ��������� (�/��� �� ���������� .����� ������� ���������� ���
�� ���������� ������ ����� ������� ���� �3��� B�
� G ���#�$� � � � � ��#�$�
(� �� ��������� �� �� (���� �������� �� �� �������� ������ ����� *�������
���������
�����
���
� �#��$ J ���
"������ J � � � J "�������
# F�$
��(8�� � �#��$ G �� J �#��$ �� � G 5� � � � � � # F5$
����
��� �� # F$
%������ �,� ������� �� ����� � � � �"��� ��� ���� ���� ���� �� ��� #���� ���$ J �#��$
#��� � �$ � �� ��� �� �G ��� �� �� ������� �� ���2!�����2�� �� ������ ��
P�#�$� ���
P�#�$
�� �� � � ���
"��� �� �� �� ������� �� �� ����#�� �� ����� ���� � ����� � � ���� ����� �� �� ��
���(���
)� �� �� �� ���(��� ��������� � � � �� ������� ���������� ������ �� ��� � ��
�������� �� � � ���� �����
!�� ����� �� �� ������ �� ���� ������� � �� �� !������ 5� /� ��� � ����
����� ��� ����� +#�
!�� ���������� ����� ����� ������� ��������� �� ������� � �� /������� ����� ��� ��
����������� ��� �� 0#���/�$ 2����� D �� � ��������� �� �� ���������� �����
����� ������� !�� ��� �� ���� ����� ��� �������� ���� � ��3��� �� +�������� #"�����
������� � ����� ������ ������� �E
!�(������� H 2������� #��5$$
Multi-class IVM - with 32 import points
.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................... ..................................................................................................... .................................................................................................. ................................................................................................ ................................................................................................ ............................................................................................ ..................................................................................... ................................................................................ ............................................................................. ......................................................................... ...................................................................... ................................................................. ........................................................... ................................................... ........................................................................................... ...............
........................................................................................................................................................................................................................................................................................ ......................................................... ........................................................................... ............................................................................ ............................................................................ ........................................................................... ........................................................................... ........................................................................... .......................................................................... ....................................................................... .............................................................. ...................................................... .................................................. ................................................ ........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................ ................................................................................................. ..........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
o oo
oo
o
oo
o
o
o
o
o
o
o
o
oo
o
oo
o
o o
o
oo
o
o
o
oo
o
o oo
oo
o
o
o
o
o
o
o
o
o
ooo
o
o
o
o o
oo
o
o
o
o
o
oo
o
o
oo
o
oo
oo
oo
o
o
o
o
o
o
o
oo
oo
o
o
o
o o
o
oo
oo
o
o
o
o
oo
o
ooo
o
oo
o
o
o
o
o
ooo
o
o
o o o
o
o
o
o
oo
o
oo
o
oo
oo
o
oo
o
o o
o
oo
o
o
oo
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
oo
o
o
oo
oo
o
o
o o
oo
oo
oo
o
oo o
o
o
o
oo o
o
o
o
o
o oo
o
o
o
o o
o
o
oo o
o
o
ooo
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
oo
o
oo
o
o
o
o
o
o
o oo
o
o oo
o
o
o
o
o
o
o
o
o
o
o
o o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
oo
oo
o o
o
oo
o ••
••
•• •
••
•
•
••
•
•
•
•
•
•
•
•
•••
•
•
• •
•
•
•
•
Training Error: 0.237Test Error: 0.259Bayes Error: 0.251
2����� D- &� ��� -����� �� %�� � � � �2 � � ���2 � �����2 ��� � ���
��# ������$
1� ���� ��������� �� ����� ����� ������� ����� �� /������� ��� ���������� �������
0����� 1� ���/�� �� � �� ���� �������� �� /��� �� �� ������ ����� �������� (�
���� �������� �� ������ �� �� ���(�(���� �#�$ !�� ����������� ��� �� �� �����
����� ������� �� 0#��/�$ ��� �� /������� ���� ��� 0#���/�$ ��� �� ���������� �����
/���� / �� �� ���(�� �� ����� �����
�������
���� ������ � ��� ����� �
� *����� � /� ������� �� ����� ���� ������� �� �� ������ ����� ������� /�� ��
(������� ������.������� ��� 0 .����� ������� ���������� ��� ����� ����� ������� ������
� ��� ������� /� ������� �� ������� ������ �� �� ������ ����� ������� /�� ��
�������� ��� �������� �� 5����� ������ ����� ������� 1� ����� �� �� 5�����
������ ����� ������� ��� ���� ���� �������� ���� �� ������� ����� ������ �����
�������� ���������� /��� ���� ��� �������� ����� ������� 1� ���� ������� �� �����
�������� �� ������� �� /���� ������� ��� �� �� 5����� ������ ����� ��������
����� ��������� ������� �������� �� �� ����� �������� ��� �� 5����� ������ �����
�������
��� !� ��%�� ��
� ������� /������� ������0����� ���(����� /� ��� ����� � �� �� ������� ��� #��� ��$�
� � � #��� ��$� /���� �� ���� �� � ��� ��� �� ���� �� � �5��5� �� (����� 1� /��� �
0�� � �����0����� ���� ���� �� ������� ���� �� �� /��� ����� � ��/ ���� �� /� ���
������ � ����� � ���� �5��5� � �
�F
������� � 5����� ������� ������ ������� �C
!� ������ ��� ���(���� /� �������� �� 5����� ������ ����� �������-
�������
�����
��5� ��
� �� J
�� ��
� � #��$
����
#� 5$
� �� G ����J � � � J ���� �� #� $
/����
� G ���#�$� � � � ��#�$�
�� � ��������� �� (���� ��������� ��� � �� � ����� �������� !�� ������� �� ������ ��
P��#�$ ��� P�#�$K �� 0�� ����� ��
P�#�$ G P�� J
�� ��
P� � #�$� #� �$
!�� ������0����� ���� �� ����� (� ��%�L P�#�$M !�� 5����� ������ ����� ������� ��� (���
������������ ���� �� %������ H :���������� #5@@?$ ��� ,���� %�������� %�� ,�.�����
%����� *����� H !���� #��$ 1� ����� �� ��� ������ �� �� 5����� ������
����� ������� ��� ���� ���� �������� ���� �� ������� ����� ������ ����� ��������
���������� /��� ���� ��� �������� ����� �������
!� �� � ���� 0�� ����� P�#�$ �� �������� /��� �� ����� ���� /� ���� ���� � �����
�� ���������� ����� �������� � � �������� ������ ������� ����������� � 0��� �� ��
������ ��� � �� ������ � /��� ������ ��� ����� ��� � ������� ��������� ��� �� �� ���
��������������� � ����� � ����� ��� � �� ����� �� (�� ����������� ����� �� ����� ��
� ��� ������ /� �������� �� �� ������� ��� P�#�$ �� ������/��� ������ �� � �������
�� � #�� �� �� �����$K /� ���� ������� �� ����� �������� � ������ �� �3�� /����
������� ���
�P�#�$� � � ���
������� � 5����� ������� ������ ������� �D
����� ���� �� ��������� ��/ �� ������� ������� /�� � ��� �������� �� ������� ������
��� �� �� ����� �������� � )���� ���� ���� ����������� /� ���/ �� �� �������
����� ��� � ������ �� /���� ������� ��� P�#�$ �� 0#�� ���#�� �$�$ �� �� /��� ����
��� 0#��$ �� �� (�� ����
%����� ������� ��� �� �������� ������� /� �������� �� ������ �� ������/��� ��������
�� �� ������� ��� P�#�$ /�� � ������ �3����� 1� ������� 5� ������� ��� �� ���� �� /�
������� !�� 0�� ����� ��� /� ������� ������ ���������� ����� ��� �� !�� ������ �����
���� ��� /� ������� ������ ���������� ������ (� ���������� �� E�F ��� J ��� ?
!�� ��������� �� (���� �������� ��
� G ��
����
����
����� ���� �
����
!�� ������� ��� P�#�$ �� � ������� �� � �� ���/� �� 2����� � 5 ��� ������ (�/���
/� ��8���� ������� ����� �� ������ "���� �� ���� ��������� �� P�#�$ /�� ������ � �
�� ������/��� ������ #�� ��$ !�� /� ����� ���� ��� ��� ��� ��� ���� /���� ��� �� /�
������� �������
� ������ � � /� ������ /�� /� ��� �������� �� �� 5����� ������ ����� �������
� ������ � �� /� ������(� �� �������� �� ������� �� /���� ������� ��� P�#�$ �
������ --� /� ���/ ���� ��������� ������ �� (�� ��������� ��� ��� ���� /���� ���
��� ������&�% ����� '�� �� ������
!�� ������� ����� ������ ����� ������� �� ��������� � 0 � ����� ��
�������
�����
��5� ��
� �� J
�� ��
� � #��$
����
J ����� #� E$
/���� � �� � ����� �������� � �������� ������ ������� ������ � #�$<� � (� �� (����
�������� �� � ����������� .����� "��(�� ����� !��� � .����� ���. ����/� �� ���������
�� �� ���������� ������ ����� � (� ���� ������ ���� ��0��� �� ���� ����� #� � � G �$�
������� � 5����� ������� ������ ������� �?
0.0 0.5 1.0 1.5
0.0
0.2
0.4
0.6
0.8
P �
�
2����� � 5- ��� �������� ���� ����� �� � �������� �� ��
/���� ������� �3�� ����������� (������ ��� &�������� ����� H ������ #5@@@$ ���
1��(� #5@@@$ � ��� ������� ��/����� /� /��� ��������� �� �� (���� ������������
#� �$ ����� ��� � .����� ������������
=���� �� #� E$ ��� �� ���� !��J�"�# $�� ��� � �� �� ����� �������� �� �������
�� �����6 (�/��� ���� ��� ������ !�� ���� #5 � ��$ �� ������ �� ����� ����� ��� ��
������ �� ������ �� ���� ������ !�� ���� �� ������4��� (� �� �������������� �� ��
��������� �� ���� ���� �� ������ ��/��.�� /���� � �� .��/� �� "���� ��� � !�� �����
������ �����.� �� 0�� �������� P� �/���� 4��� �� /��� .��/� �� ��� �����.���
��� �� �6�� �� ���������� �� ��������� �� P�� ����� �����(�� �������� �� 0�� �����<�
��������� ��������� ���������� /��� ���� ��� ���� ������ ��������� �������� ��� "�����
!�(������� H 2������� #��5$ ,� ���� � �������� ������� �������� ���� �� ���/�
�� ����� ������ ����� �����(�� �3����� �� ������� �� �� ������ ����� ������� #"�����
!�(������� H 2������� #��5$ ��� 1��(� #5@@@$$ 9� �� ���� ����� �����������
�������� ����� ��� ��������� �� ���� ����������� �� �� ������ ����� ������� � ��
������� � 5����� ������� ������ ������� �@
������ ��3���4��� ������� #>����. #5@@F$$� � ������� �� �� ����� ���� '����� ��� H
"���� #���$ ��.�� ���� �6�� � (���� � ��������� (�/��� ���� /� ��6���� ���/�
� ��� ������� /� ������� �� ����� ������ �� #� E$ /�� �� ������� �� �� � � �� � ���
������ #!�(������� #5@@C$$� ��� �������� �� 5����� ������ ����� ������� ���(���-
�������
�����
��5 � ��
� �� J
�� ��
� � #��$
����
J ���� #� F$
/���� �� �� ��������� B������� ������� �� �� �����4���� ���(��� #� 5$�#� $
!�� ����� ������ /�� 0�� �������� �� !�(������� #5@@C$ ��� ���������� ���(����� /����
�� �������� � �� ��������� ����� ��� ���������� ��� ���� (��� ���� �� %������ H
:���������� #5@@?$ ��� ,���� %�������� %�� ,�.����� %����� *����� H !���� #��$
��� ������0����� ���(���� ����� �� �����/��. �� ������ ����� �������� ,������ � ��
����� ������� �� ����� ������ ���� �����.� �� 0�� �������� P�<� �/���� 4���� �����
#� F$ ���� (���0� ���� �� �������� �� 0�� ��������< ��������� ������ ������� ��
�� ����� ������ �� �� (������ �� �� �� ����� �� �� ������� ��.��� � �������� ������
�� ����������� � �������� ������ /��� ����� ���� �� �� �������� P� <� � (� �$ ��� %��
2�� �3������ /��� � G 5 �� 2����� � 5� ���� ���� 0�� �������� ��� ����4��� !��� ��
����� ������ ���� � .��� �� ��������� ������ ��������� /���� ��� �� �� �� ���� ��� ��
����� ������ � #� E$� ���� �� �� P� <� /��� (� ����� � 4���
�� ��������� � ��� �� �� ����� ������ ����������� � � +������� ����� ���
�� � <�� /���� �� ����� ������ ����������� � � ���(����3�������� ����� !�� ���(���
�3�������� ������ ��� ������� ���� ��� �� +������� ������ !��� ��I��� �� ������
������� �� �� ����� � ������� ���� ����� 0�� �������� ��� ����� ����� � �� ����������
�� ���� ����������� ���(���� '������� 2�������� "����� '����� !�(������� H ��� #��E$
�������� � ������� /���� /� ���� � ����� ���(�� �� ������� ���� � � � G 5��� ��� �
����� ���(�� �� (���� ��������� � � � G 5�� ��� 2�������� "����� '����� !�(������� H
��� #��E$ ����� �� �� �� �� �� ��������� � � ���� � ����� ���(�� �� ��� ��������
������� � 5����� ������� ������ ������� E�
� <� ��� ����4���� �� ����� ������ /��.� (��� ��� �� ����� ������K /���� �� �� ����
������ ��������� � � �� ��� �������� � <� ���� � +������� �����(����� ������ ��
����� ������ ��� �� ����� ������ /��� 0 �� �������� /���� ����� ���� �� �� ����
��� ���� /���� � ������ ���� ����4��� �������� !��� �� �� ���� �� ��������� ���
�.��� �� ��� %���� �� ���� �(���������� 2�������� "����� '����� !�(������� H ���
#��E$ ������ ������� �� �� �� �� ��� ��������� ��� ���������������� ���(����� /����
���������� ����� ����� ������
��� (���� ��
,����� � ����� �� �������� /�� /� ��� �������� �� �� 5����� ������ ����� �������
!� ����� �� 5����� ������ ����� ������� ��� � �$�� ����� �� �� /� ��� �������� #� 5$�
#� $ ��� � ������ ����������� ���(��� ��� ��� ������� ���/��� ���.����K (� � �� �
���� 0�� ����� P�#�$ �� �������� /��� �� ����� ���� /� ���� � ����� �� ����������
����� ��� �� ����� ������� � � ��� ������� /� ������� �� ����� �������� ��
������� �� /���� ������� ��� P�#�$� ����� ��������� ������� �������� �� �
����� ,��� ��� ������
� /� �����/ �� ������� ��� P�#�$ �� #� 5$�#� $ �� � ���������� /� /��� ����� �� �����
(���
�#5��� P��$ ��� �� ��� ������/��� ������� �� A������A����!��.�� ��������� /���
�� ������ /��� � ��������� ������ � ����� � #5� �� P��$ ������� ���� ����4��� � 4���� �� �
0�� ������� P� #�$ ������� ���� ����4��� � 4���� /���� ���������� � �� ���������
����� ���
�#5 � �� P��$ ��� �� !��� ������� �� �� ��������� �� P�#�$ /�� ������ �
� �� ������/��� ������� (������ /��� �� A������A����!��.�� ��������� �� �� �������
�� ��������� �� P�#�$ /��� �� ������ ����� "���� � �������� �� �� /���� �������
��� P�#�$ �� ������/��� ������ ,�� �������3 ��� ������
!��� � ������ �� /���� ������� ��� P�#�$� ��� /� ���� � �� �� � 0�� �� 3�����
� � �� ������. ����� �� 2����� � 5� �� ��� ������/��� ������ ���� ��� ��� ������ �����
� ��������� ���� �� ������������ � ��� � P�#�$ G �� 0�� �� ���� ��������� �� P�#�$�
������� � 5����� ������� ������ ������� E5
�� � �������� ��� ���� ������ �� ��������� /��� P�#�$ ��� � � 8���
����� +��� ������ -��� � � �.
!�� �����/��� ������ �� ���� B�
G �� - P� #�$ �G ��� #� C$
! G �� - 5� �� P�� G ��� #� D$
" G �� - 5� �� P�� � ��� #� ?$
��� 3 ��� �� ���� ��������� �� P��#�$- 3� G 5 ��� P��#�$ ������ �� ��������� ��
P�#�$ /�� ������� �� 1���� ���� �� ���������� /� ������ W��� G 5� � W��� G �5�K��� P��#�$ G 5� P� #�$ G � !� ������ �� ��� �� P�#�$ �����/�� /� ���� � ������ ��
��������� �� P�#�$ � � 1� �������� � ����0�� ���(���-
�������
�����
#5 � ����$ J�
�����
#5 � ����$ #� @$
� �� U�� �� G �� J
�� ��
� � #��$� #� 5�$
=���� �� �� �� G 5� �� ���� �� ���� #5�����$K (� �� �� G �5� �� ���� (������ #5�����$ �
��� ����� �� ��������� �� P�#U�$ /�� ������ � U� �� �� ���� �� ���� /�� ����� U�
��� ��� ��� ��� ���/ �� � ��������� /�� �� ���� ��������� �� P�#�$ /��� � �� ��������
����� "���� ��� ���� ����� �� 0�� �� ������ ��������� 3 �� P�#�$ ,������ #� @$�#� 5�$�
/���� ��� (� ���������� ��� � ������ ������ ����������� ���(���� /� �� ������ � !��� " � � ������ (� ����� � �!� 1� ���� ����-
� P��#U�$
P��#U�$
�� G
� 5
�
��J U� �
� 3�
3
�� � #� 55$
U� ���� � � ��� ���������
������� � 5����� ������� ������ ������� E
����� ��� �� ��$�
!�� ���� �������� �� ������� �� /���� ������� ��� P�#�$ �������� �� �����/���-
5 ������� U� ���� ��� �� �� �����/��� /� ����� �������-
# � ������� ���� ��� ! � � � 5 � ���� �G � (������ 5� ���� G � ��� ���� �
# � (���� ������� �� ������ � � � P� �G � (������ P� G � ��� ���� �
B� �� ������ P��� P� ��� � (� ������ (� P����� � P���� ��� ����
2�� ���� �� �� � /� �����-
��� 3� J
�� 3 � #��$ J 3 �� �#��$ G � ��� � � !�
� ��%�# P���� $3 J �3 � � G 5
#� 5$
/���� 3�� 3 ��� 3 � ��� �� ��.��/�� 1� ��� ������-
U !�� �
U�G��
��
�3� J
��
3 � #��$ J 3 �� �#��$
�� #� 5�$
� 2�� ���� �� � ! � /� �����-
��� 3� J
�� 3 � #��$ G � ��� � � !������
� ��%�# P���� $3 G 5
#� 5E$
/���� 3� ��� 3 ��� �� ��.��/�� 1� ��� ������-
U !����
U�G��
��
�3� J
��
3 � #��$
�� #� 5F$
E *������ �� ������� ������ �� ������� ���� ��� ��� ��� � !���� ��� ��� �J�!� G
� J 5 ���� ������ *����� �� ������� ������� ������� "�����
# � �� ������� ������� �� ������������ �� �������� ��������K ����
������� � 5����� ������� ������ ������� E�
# � �� ������� ������� ������� ����������� � � �� �� ��� � /� �����
� � ����� #� 5C$
3 �� 3
3 �
�� � #� 5D$
# � �� ������� ������� ������� ����������� � � �� �� ��� �� /� ����� 3 ���
! � !������ #� 5?$
" � " � ���� �� ��������� #� 5@$
� ����� �� �� ��� /� ������ P�#�$ ������� ��-
� P��#�
��� J U�$
P��#���� J U�$
�� G
� P����
�
P�����
��J U� �
� 3�
3
�� � #� �$
��� /� �� (��. � ��� 5
� �� ���� /� �� � ��� P�#�$� /���� �� ������/��� ������
����* �����/�
1� ������� �� ����� �� ��� �������� ���� ������ ���� �� �3�� /���� ������� ���
P�#�$ �� #� 5$�#� $ � �� �������3 "��� ������� /� �3����� � ���� /�� ���� ��� �� ��
�������� ���� � ��
,�� 5 �� �� �������� �������� �� P�#�$ ��� � � 8��� �� �� ������� ��� ���
�� ���� ��������� �� P�#�$ ����� � (� ������� �� ����� � �������� #5� �� P��$ ������� ����
����4��� � 4���� �� �� ������� �� � (���� ������� P� #�$ ������� ���� ����4��� � 4����
/��� � ��������� !��� ���� ��� /� �����(�� ���� �� ������ �� �� �������� ��� �.�-
#5$ ��� � (���� ������� ��� � �� #$ ������ � ���� ���� !
,�� ������� �� �����(�� ���� ��������� �� P�#�$ �� ������ ���� (���� ������� � �#�$
��� ,�� � ������� �� �����(�� ���� ��������� �� P�#�$ �� �������� ���� ���� �� ����
������� � 5����� ������� ������ ������� EE
! !�� �����(�� ���� ��������� �� P�#�$ #��������� (� ����� #� 5$ �� #� 5E$$ �� ���� ��
�� ������� ����� �� ! ��� .�� �� ! /��� � ���������� ���� �� ��3 8��� #��� 5$ ������
U !���U� �������� ��/ ��� �� !�� /��� �������� �� P�#�$ ������� ��������� � 3 ,�� E
�.�� �� ����� ������������� � �� ������� ������� U !���U� 1��� �� !�� ��� ��
(� ���������� �� �������� ��������
����0 ���"������ ���
1� ���� �������� �� �������� �� ������� �� /���� ������� ��� P�#�$ � ������
������� �� ��� /�� �� �� ����������� ��� �� ��� ��������R ,������ �!� G / � �
8��� �� �� ������/��� ������ ������� ���� ��� � �.�� 0#�/�$ � ������ ��� ��� ���
� �� �� �������� ������ ,�������:������� ������� ������� � /� ������ �� �������
��� ��� ������(�� (� �� ��������� �� ��� ��� �� ������� ��� ��� ��������� ����� �
���� ���� #5 � �� P��$ ����� � 4��� "���� � �� �������(�� � ������ �� ���(�� �� 8����
�� �� ������/��� ������ ������� ��� �� 0#�$ ,���� �� ��3���� ����� �� / �� ���#�� �$
��� �� ������� ����� �� / �� 5� /� �� �� /��� ����������� ��� �� 0#�� ���#�� �$�$
��� �� (�� ����������� ��� �� 0#��$ =���� �� ��� �� � ����� ���������� �� ��
����������� ��� ����� ���� ���� ���������� ,�������� ������ #������ --$ �������
������� �� �� ���(�� �� 8���� ���� � (� 0#���#�� �$$
��# )������� ����
� ��� ������� /� ��� (�� ��������� ��� ���� ��� ������ � �������� �� 5����� ������
����� �������
��*�� !������ ������
!�� ��� ��������� ��������� �� �� ���� �� �� ��� ������(�� �� ������ � 5� �3���
�� /� ������� F� ������� ��� �� ���� �� /� �������� ��� � ��.� ������ ���(����� /�
����������� ������ �� ����� /�� ��������� /�� ����� ��3 ��� ���� ������� ������
����� ����� "���� �� ������ ����� ����� ��������� ��������� �� 0��� ��.� �� �.��
������� � 5����� ������� ������ ������� EF
!�(�� � 5- ,�������� ������ �� 5����� ��� ����� ������ ����� �������
%��� .���� /�.0
���������� 5����� ����� 1� (����� ��� 2 3�����
5 =� ����� ���� � �D� #� �5�$ � �? #� �$ � �? #� �5$ F @E #5�$ ����� ����� � �DE #� �5E$ � 5� #� �$ � 5 #� ��$ 5E 5E@ #�$� E ����� ����� � �DE #� ��@$ � 5� #� ��$ � � #� �F$ D F #��$E C ����� ����� � �? #� ��@$ � 5F #� ��$ � #� �C$ EE �DE #F$F ? ����� ����� � �?E #� �55$ � 5? #� ��$ � #� �C$ CF E@@ #CD$
����������� �� ������� �� � /������������� ��(����� !�� %���� ����� ��� ��� ���
���(��� �� ���E�F� ����������� �� ��������� � �� �������� ���� ������ � ����������
����� ������� �� �������K /� ��� �� �������� ������ ����� ������������� � �� ��
������ ���������� .������ ����� �� ��������� �� (���� �������� ��
� G ��
� ��
� � � � �� � �� �
� G 5� � � � ���
1� ������� 5��� �� ��� � ������� �� 5����� ������ ����� ������� ��� �� ����
���� ����� ������ ����� ������� !�� ������� �� ������ ���� F� ����������� /��
��6���� ���(��� �� ����� ������ ��� ���/� �� !�(�� � 5 2�� (�� �� 5����� ������
����� ������� ��� �� ����� ������ ����� �������� /� ������ �� ����� ���������
� ������4� �� �� ������ � (� �� ���� �� �����(�� � ���� ����� 2�� ����������� /�
���� ������� �� ������ ��� �� ����������4�� ������ ����� �������
2��� !�(�� � 5 /� ��� ��� �� �� ����������4�� ������ ����� ������� ��������
�����0����� /���� ��� �� ������4�� ����K �� 5����� ������ ����� ������� ��� ��
����� ������ ����� ������� ������� ��������� /��� ���� �� �� ����� ���� #���� 5$�
(� �� ����� ������ ����� ������� �� ��������� �6���� (� ����� ����� #���� � ����
F$ ,���� �� 5����� ������ ����� ������� ��� �� �(���� � ����� ������� ������� ���
������ �������� �������� � ���� �� ��6�� ���� �� ����� ����� �� ���� �� �� �����
������ ����� ������� !�(�� � 5 ���� ���/� �� ���(�� �� (���� �������� � ��� ��
���(�� �� 8���� �� �� ������/��� ������ ������� ��� =���� �� � . � ��� ���� �� �
������� � 5����� ������� ������ ������� EC
���.��� ������ ����������� (�/��� ��� ��� W5!��$� #2����� � $ 2����� � ���� ���/�
�� 5����� ������ ����� ������� ����� ��� ��� ���������
0 2 4 6
−0.5
0.00.5
1.0
0 2 4 6
0.05
0.10
0.15
0.20
Test
Erro
r
10 20 30 40 50 60
100
200
300
400
500
Number of Bases
Numb
er of
Joint
s
P �
��
2����� � - ��� ��! "�!!�� ������# �$��%" �����%� &����% "������ '��� ���%� �%� � ����� ���������� ���� ����� �� ��� �����$'��� �����% �������� ���� ������ ��� �'� ����% ����� ��%%�����! �� ��
�
��! ���( '���� �%� ��� %���&��� �����%��� ��� "�!!�� ����� �� ��� ���� �%%�% ����) ��� �������� �����
��� !��� ����� ��%%�����! �� ��� "���"�" �� ��� ���� �%%�%� ��� %�)�� ����� ������%���� ��� �����%%����������� *��'��� ��� ��"*�% �� *���� ��������� ��! ��� ��"*�% �� +����� �� ��� �������� ����'��� � � �
��*�� ���� ��� ������
� ��� ������� /� ����� �� 5����� ������ ����� ������� � ������0����� �� ���� ���
��������� ������� ���������� �� ������0����� �� ���� ����������� ��� �� *����� E *����
��0����� �� ����� ������� �� �� ������� ����� �� ������ ��������� ��� ������ !��
����� ������ ����� ������� ��� (��� ������������ ������� � ���������� ������ �������
��� ���(���� #+����� 1����� %������� H >����. #��$ ��� :�.���8��� !������ ,������
>����� +���(� :������ H ������ #5@@@$$ "�/����� ��� /��.���� �� �� ����� ������
����� ������� �� �� � ���� ������� � ������ ����� ��(�� (� ���� �� ����������� �����
������� ����� ��� �� ������0����� 9��� � ������� ���� �� ���������� ������ ��������� ��
� ������� �� ����� ��������(�� ��� �� ������0������ ����� ��� ����� ��������� +���(�
,������ !������ "����� +�����(��.� :������� *������ B��� ��/���� H *�������� #���$ ���
+����� 1����� %������� H >����. #��$ ���� �������� ���� �������� ������� /���� /�
���� ��������� ���.��� #)'$ ��� ��������� ������ ���������� #'2&$ #��� L5EM$� �� ��� (�
������� � 5����� ������� ������ ������� ED
!�(�� � - '����� �� :��������� *�����0�����
������ !� .���� %��� .���� 2 �$ 4����
����� ,>: )' X�? �X�E ����� ,>: '2& X�? 5X�E �55����� ,>: X�? X�E 5D
���(���� /�� �� ����� ������ ����� ������� "�/����� ���� ���������� ��� /�����
���������� �� ������ �� �3����� ���� �������� ������ 9� �� ���� ����� �� 5�����
������ ����� ������� ��� �� ������� ���� #������$ �������� ������� ��� � �� �����
������ "���� �� 5����� ������ ����� ������� �������� �� ����� �� ������0����� ��
������ ��� �������� �� ����� �������������
1� ����� �� 5����� ������ ����� ������� � ���.���� ��� +���(� ,������ !������
"����� +�����(��.� :������� *������ B��� ��/���� H *�������� #���$ !��� ��� ��
������� �� �? ������� ��� ��� �E �� ��� �� /� ���� �� ���� ���.����� ��� �������
���1��� #�:B$ ��� ��� �������� ��� ���1��� #�BB$ &��� ���� �� � ����� �� � G
D� 5@ ����� 1� ��� �� �������� ���� � � � � �� �� ����<� �3�������� ������ �� �� (����
�������� � � � G � !�� ����� �������� �� ������ ��������� � 5������ ����������������
��� �� 0��� ����� �� 0�� �� ��� �� ������� ��� ��� �������� �� �� �� ��� !��
���(�� �� 8���� �� �� ������� ��� �� 5�E� /���� ������� � (� 0#�$ $ 0#�$ !�� ������
��� �������4�� �� !�(�� � 1� ��� ��� �� �� 5����� ������ ����� ������� ��������
��������� � �� ���� ������ �� ������0����� ��� � ��� �� �������� �� �����������
�������� ������� ����� 1� ������ ����� �� �� ��3���� ���(�� �� ����� �� ��
5����� ������ ����� ������� ��� ����� �� ����� (������ (� �� /���� �� ������� ����
���� ��� � �� ���������� ���(����
��* ������$
1� ���� ���������� �� 5����� ������ ����� ������� �� ��� ������ 1� �������� ��
�� 5����� ������ ����� ������� ��� ���� ���� �������� ���� �� ����� ������
������� � 5����� ������� ������ ������� E?
����� �������� ���������� /��� ���� ��� �������� ������� !�� ������� ��� P�#�$ ��
�� 5����� ������ ����� ������� �� � ������/��� ������ ������� �� �� ����� ��������
� 1� ���� �������� �� ����� �������� � ������ �� /���� ������� ��� P�#�$ �� ��
5����� ������ ����� �������� ��� �������� ������� �������� �� �� ����� �������� �
������� �
��������� ������ ����
*�����0����� �� ����� ������� �� �� ������� ����� �� ������ ��������� ��� ������
!�� ������ ����� ������� ��� (��� ������������ ������� � ���������� ������ ���������
���(���� "�/����� ��� /��.���� �� �� ������ ����� ������� �� �� ����� � ����
������� � ���� ������� � ������ ����� ��(�� (� ���� �� ������� ��� ������ �� �� ������
����� ���(�(���� 1� ������� ������4�� ������� ���������� #�B'$ �� �� ��������� � ��
������ ����� ������� ��� �� ���������� ������ ��������� ���(��� 1� ���/ �� /���
����� �� ���� �� �� ������ ������4�� ������� ���������� ��� �� ������ ����� �������
������� ��������� �� ������ ������0������ (� ������4�� ������� ���������� ��� �� ��������
�� ����������� ��������� �� ������ �� �� ���������� ���(�(���� 9��� � ������� ���� ��
���������� ������ ��������� �� � ������� �� ����� ��������(�� ��� �� ������0������ �����
��� ����� ��������� 1� �������� /� ���� �������� ������ �� ��� ������� ��������
�� ���.��� #)'$ ��� ��������� ������ ���������� #'2&$� �� ��� (� ���(���� /�� ��
������ ����� ������� ��� ������4�� ������� ���������� &�������� ������ ������� ��
������4�� ������� ���������� ���(���� /�� ��������� ������ ���������� ���� � ����� ����
����� ��� ���� ������ ��� ���� �������� /��� �� (�� ��������������� ��� �� �������
E@
������� � ��������� ����������� F�
#�� !� ��%�� ��
*�����0����� �� ����� ������� �� �� ������� ����� �� ������ ��������� ��� ������
*���������� ��������� �� ������ ��� (��� (���� �� �3�������� �� �� ������������� ���
�������� �� ������ ����� ��������� ����� ���� ���������� "�/����� ��� ����� ��
��(8����� ��� ������� �� ������ ������ ���������� :���������� �6�� ���� �� ������
������0����� ��� (� �(8����� ��� ������ �������� ��������� ���������� /�� �� ����������
� ������ �� ��� ���������� ����� �� ������ ,�� +���(� ,������ !������ "�����
+�����(��.� :������� *������ B��� ��/���� H *�������� #���$� A���� 1��� '������� ,����
B������� 1��������� %������� ,��/�(� �������� H ������� #��5$� B�� H B�� #���$�
'����/���� !������ '��.��� :�.���8��� Q����� ������� B���� '����� B�������� :�������
������� +������ B���� B����� H +���( #��$� !�(�������� "����� =��������� H *��
#��$ ��� ���������� ������ ��� ����� /��.
!�� ������ ����� ������� #,>:$ �� ��� �� �� ������ �� ��� (��� ������������
������� � �� ������ ��������� ���(��� �� �������� ������ #B�� H B�� #���$� :�.���8���
!������ ,������ >����� +���(� :������ H ������ #5@@@$� '����/���� !������ '��.���
:�.���8��� Q����� ������� B���� '����� B�������� :������� ������� +������ B���� B�����
H +���( #��$$ � /������� ������0������ �� ������ ������ ����� ������� 0� � �����
�#�$ G �� J��
�� � � �� ������4��
�����
L5� ���#��$M J�
#��� J � � � ���$� #E 5$
!�� ������0����� �������� �� ��� ���� ��������� � ��%�L�#�$M "�/����� ��� /��.���� ��
�� ������ ����� ������� �� �� � ���� ������� ��%�L�#�$� 5�M� /���� �� ���(�(����
�#�$ �� ���� �� ������ ������ /���� �#�$ G #� G 5�� G �$ �� �� ���������� ���(�(���� ��
� ���� (���� �� ����� 5 ����� � G � � ����� ���� /������� � ���������� ������0������ ��
���������� ������ �� ���� ����- ����� � �������� �� ���(��� �� ������� ��� � ������ �� �
���������� ���(����� ��� ���� ���������� ���(��� �� ��������� (� � ��6���� �����������0�
������ ����� ������� ������0�� #� � � N����� 5O �� N�� ����� 5O$K ��� � ��/ ������ �.��
������� � ��������� ����������� F5
�� ����� �� �� ������0�� /�� �� ������ ���� ������ ���� G �����3��������� /���� �
�� �� ���� ������ ���� �� �� �� ������ ����� ������� ������0�� '������� B�� H B��
#���$ �3���� �� /������� ������ ����� ������� � ���������� ���� �� � ���� �����
/�� ��� ������� #2%/#� #� G ��� G �$ �������� (� � ���� ���.� �� ������� ��
#� G ��� G �$ ���������
� ��� ������� /� ��� ������4�� ������� ���������� #�B'$ ������0�� � ������� �� ������
��������� ���(��� !�� �������� ��� �� ��� �� ������4�� ������� ���������� �� ������ ��
�� *����� ������4�� ������� ���������� �� ���� �������� �� /��� �� �� ������ �����
������� �� /������� ������0������ (� ��� ���� �������� (� ��������4�� � �� ����������
���� 2���������� ������4�� ������� ���������� �������� �� ������ �� �� ���������� �����
���(�(������ �#�$
:�3���� ��.������� ��� �� =�/���'������ �������� �� �� ��������� /�� � �����
������4�� ������� ���������� ����������� "�/����� �� ��������� �� �����(���� /���
�� ���(�� �� �����(��� �� ����� 1� ��� � ������������ ���. � ��.� �� ���������
�����(��� (� �� ����������� ��� ��� ���� (� ���� !� ������ ������ �� ����������
/� ��� � ��������� ������� �����4���� #,:9$ �������� #��� #5@@@$$ � ����� ������4��
������� ���������� �� ��� ����� !��� ����� /�� 0�� �������� �� A������ ����� ,������
H ��� #��$ ��� /������� ������0�����K /� ��������4� � � �� ���������� ����
%������ ��������� �� ������ ������ ����� ��� � ����� ���� ������� ������ ���������
�� ���������� ������ ��������� �� � ������� �� ������� ����� /���� �����(�� ��� � ��
������0����� 1� �������� /� ������ #����$ �������� ������ �� ��� ������ ���������
���.��� #)'$ #������ 2�������� H ,���� #��$� +���(� ,������ !������ "����� +������
(��.� :������� *������ B��� ��/���� H *�������� #���$$� ��� ��������� ������ ����������
#'2&$ #+����� 1����� %������� H >����. #��$$� ��� ������� ���� ����������� /���
���� /�� (�� ������4�� ������� ���������� ��� �� ������ ����� ������� �� ���� ������
��������� ��� ���
9�� �������� �� ���� ��� ��� �������� �� ������4�� ������� ���������� ��� �� ����
��� ����� ������� ������� ��������� /��� ���(���� /�� ����� ��������� ���.��� ��
��������� ������ ����������K �� ��������� ������ ���������� ����� ����� � �������
������� � ��������� ����������� F
(��� ��� �� ��������� ���.��� �����K ������4�� ������� ���������� ���� � ����� ����
����� ��� �� ������ ����� ������� 9������� ������4�� ������� ���������� /�� ������
���� ������ ���������� ����� � ������� �� (�� �� (�� ��������� �� ������ ����� ���
�������� �� �������� �����
!�� ���������� �� ������4�� ������� ���������� �� ����� �� ������ E � ������ E �� /�
������(� �� /� ���� �������� ������� ��������� ���.��� ��� ��������� ������ ��������
��� � ������ E E� /� ����� ������4�� ������� ���������� ��� �� ������ ����� �������
� ���� ���������� ������ ��� ���
#�� �����&�% ��� � ������
� ������� ������� ������0����� ���(����� /� ��� ����� � �� �� ������� ��� #��� �$�
#��� �$� � � � #��� �$� /���� �� ���� � �� � ������� �� G #���� ���� � � � ���$ � �� ���� � ��
��������� ��� ������� ������ �� � 0��� �� �5� � � � � �� 1� /��� � 0�� � �����0�����
���� ���� �� ������� ���� �� �� /��� ����� � ��/ ���� �� /� ��� ������ � ����� ��(�� �
���� �5� � � � � �� � � )������ � �� ������� �� �� ������� ��� ��� �� ������������
��� ���������� �����(��� ������ ���� �� ��.��/� ���(�(���� �����(���� #�� �$ !��
���������� ���(�(���� �� � ���� (���� �� ����� � ����� � G � �� ������ �� �#�$ G #� G
��� G �$ !�� %���� ������0����� ���� �� ����� (�-
�����3���������� �#�$
*���� ,������� �� �� �� ������ ���������
!�� ������� ���������� ����� ������ ���� �� ������ � ����� �� ���������� ���(�(������
�� �� � ������� ��� ������ �������� �� �� /���� � �� ���� ��� �������� �� ��� ���
������� � ��������� ����������� F�
� ��� ��� ������ �� L�� 5M !�� ����� ��� �� ����
��#�$ G"��������� "�����
�
��#�$ G"��������� "�����
�
��#�$ G"��������� "�����
�
/����
�#�$ G �� J
�� ��
� � G �� J � �� � G 5� � � � � �� #E $
=���� �� ��#�$� ��#�$� � � � ��#�$ ��� �������0�(�� �� ��� ������ ��� �� /� ��� � ����
��� �� J��
�� � � � ���� �#�$� ��#�$� ��#�$� � � � ��#�$ /��� �� ������ !� ��.� �#�$
�����0�(��� /� �������� �� �������� ����������
�� �#�$ G �� �� ���� �3�������
����
�� G � #E �$
����
� G �� #E E$
B������ ���������� ������ ��� ������� 0 (� ��3���� ��.������� ,���� �#�$ ���������
�����0�� �� ���������� ���(�(������� �� ���������� �����(���� �� ���������� +����
�� ������� �� #��� �$� #��� �$� � � � #��� �$� �� ������� ���������� ������.������� ��
���
���
��� ���#��$
G
����
����
���#��$ J ��
�"������ J � � � J "������
��
1�� �3�������� ������� � �� ������ �� � % � #� � � G �F� � G D���$ !�� ���������
������� � ��������� ����������� FE
����������� �� �� ������� ���������� ����� ���-
# !�� ������� ��� ������� �������� ������(��
# !�� ������.������� �������� � ��3���� �� �
# !�� ��������� � <� ��� �� �������� ��0���� ��� ������ ���� /��� (� ��0���
!� ����� ��� ���(���� /� �������� �� ���������������������4�� ������� ������.�������-
( G��
���
���
� �#��$ J ���
"������ J � � � J "�������
J�
����
��� #E F$
/���� �� �� � (����� ������� �� �������� �� �������� �� /�� ������ ��� 4��� �3��� � 5
�� ������� � �� �� ����� �� �� ���
�#��$ G #��#��$� ��#��$� � � � � ��#��$$ �
��� (� ���/� �� �� ��� ���������������������4�� ������ �� �������� #E E$ �� ��
��������� �������� ��� � �� ������� �� #E F$���
�� � G � �� ����������� ����0��
� �� ���������� ������ ��������� ���(���� �� ������ �� �3�������� ��� ���� � G
5� � � � � � ��� ������ � G 5� � � � � � ,���� � �� ���� ���� ����� #�� �� ��������$� ������4���
#E F$ ������� �� ������������� �����(���� !� ������ �� ���������� /� ����� ��
�� ����� ������� �� #E F$ �� ����� (�-
+(
+�G �� ��
�� #� � �$ #E C$
G �� � G 5� � � � � #E D$
/���� ��� �� � ����3 /�� �� �� �� #�� �$� ������� � �� � � 5 ����� ���������
��� � G 5� � � � �� ��� � �� ���� � � 5 ����� ��������� �#��$� � G 5� �!$�� !�� �����
������� #E C$�#E D$ �������� �� � �� �� �� ��/ ����� �� ���� �� ����������� � ��� (�
������� � ��������� ����������� FF
/���� ��
� G��
���
����� � G 5� � � � �� #E ?$
B� �� &�������� ����� ������
��� ��� G
�� ��
� �� �
!��� �#�$ /���� ������4�� ( ���� ��� �� ����
�#�$ G 6� J
�����
����� ���� #� � � #E @$
���
�� G�����
��������� ����� #E 5�$
!��� #E F$ (������
( G
�����
���
� �#��$ J ���
"������ J � � � J "�������
J�
����
�����
��������� ����� #E 55$
!�� ������4�� ������� ���������� ����� �� 0 (� 0����� �� ��<� �� ������4� #E 55$�
��� �<� ��� (� �(����� ����� #E ?$ !�� ���(�� �� ��������� �� ������� ���� ��
#� J 5$� �� #E F$ #�� � <� ��� � ��<�$ � �� #� J 5$� �� #E 55$ #�� ��<� ��� � ��<�$�
��.��� �� ���������� �����(�� ��� �������(�� ����� �
*���� ���"������ +�����
,���� #E 55$ �� �����3� � �� ������ � ��� �� =�/���'������ ����� � ������4� ( �
����� � �������� ������������ ����(�� (������� ���� ��� (� ���(���� /�� �� =�/���
'������ �������� !�� ���/(��. �� �� =�/���'������ ����� �� �� �� ���� ��������
������� � ��������� ����������� FC
�� �� �� ����3 ����� � (� ������� ������� ��� ��� (� �����3����� (� � ����
��� +�����,����� �� ����(��� �������� #�������� �� ��������� � �������� � � �
�������$� �� ����������� ��� �� ���� ���� /��� � �� � �� �����
'������ A������ ����� ,������ H ��� #��$ �������� � ���� �������� ��� /�������
������4�� ������� ���������� /���� ������ �������� ���� ������� �����/� �� ����� ��
�� ������� ��������� ������� �����4���� #,:9$ �������� #��� #5@@@$$ �����������
����������� �3�������� ���/ �� �� �������� �� ��(�� ��� ��� A������ ����� ,���
���� H ��� #��$ ������(�� �� �������� ��� /������� ������0�����K /� ���� ��������4��
� � �� ���������� ���� � ������� ���������� �� �� ���������� ���� �������� �� �����
�� �� �������3
#�� +�� ��� ����� ��
%������ ��������� �� ������ ������ ����� ��� � ����� ���� ������� ������ ��������� ��
���������� ������ ��������� �� � ������� �� ������� ����� /���� �����(�� ��� � ��
������0����� � ��� ������� /� ������(� /� ������ #����$ �������� ������
*���� 1�2���� ���/�
,������ ��������� ���� (��� ���� ��� ���.��� ����� �� ���� �� ���� ������0����� �������
����� +���(� ,������ !������ "����� +�����(��.� :������� *������ B��� ��/���� H
*�������� #���$ 0�� ��������� � ���.��� �������� ��� ���� ���� �� /������� ������0�����
!�� �������� �� ��0��� ��-
7 G
����� Y���� � Y�
���
���� J �
���
����� �
/���� Y��� ��� �
�� ������� �� ������� ��� ������� �������� �� �� ���� �3�������� ������
�� ���� � ��� ��� ������� �� ����� � B��� �� ������ 2�������� H ,���� #��$ ���� ��
������� � ��������� ����������� FD
���� �� (�/���� � /������������������� �� ���� ���� ��� �� ���������� ����-
7 G
�������
�� �#Y��� � Y� $
�
#���$��
����� � #E 5$
/���� Y� �� �� ������� ���� �3�������� ������ �� ���� �� � �� �� ���(�� �� ������� �������
(�������� � ����� �� ��� � �� �� ������ /���������� ������� �������� ��� ���� �-
�� G5
���
����
#� � 5$���� �
!�� ���� �� � ���. �� ����� ��������� � �� ����� �� 7 � ��� ��� ��� �� ������ / ��
������� �� ������4�� ������� ���������� ����� �� �� ������ ����� ������� / /���� ���
(� �������� �� � �������� �������� �� ��� � (� ���������
'������� !�(�������� "����� =��������� H *�� #��$ �������� �� �����.�� ����
����� ����� ��� ������0����� !���� ��� ����������� �������� ���� �����.��� ��� ����
��������� �������� ��� � ����� %���� ������0�� ���� �6������� ���� ��������� ����
��������� (���� �� $�������� ��� ���� ���� �� ���� �����
!���� ������� ��� ��������� ������ ����������� ����� �� ������� #�����$� (������
���� 7 �� ������� /�� ���������� �(�� � ������ ���� ��� ���� �� �.� ��� ������
����� ���������� (�/��� �����
*���� ������2� ������ 3������
+����� 1����� %������� H >����. #��$ ������(�� ������ ���� �������� ����� (����
�� ��������� ������ ���������� #'2&$ � ���� ��� �� �� ������� ���������� � ������0�� ��
0�� /�� ��� �� ������ �������� � ���.��� �������� �� ������� ��� ���� ������� ��� ��
������ /�� �� ������� ���.��� �������� �� ������� � �������� ���� ���.��� ��������
�� ��0��� ��-
U G5
+�
+��
�� � #E 5�$
������� � ��������� ����������� F?
/���� �� � ���� ������� ��������� �� �� ������� ���� ��� � �� �� ������� ������
�������� � ������ � U ������� �����3����� �� ��������� �� � ������ � 2��
�� ������������������ ������0�� # G � � ����$ ��� ������ ������ ����� ���������
U G �� � �� /���� �� ������� � � $�������� /���� � �� �� ������� �� ������ ������
��� ���� � �������� �� �� ������ �� ���� ������ ���� ������� ������� U G �� �� ����
���� ���� 2�� ����������� �������� � ��� (� ���� ����� � ������ � ����� ���(��
�� ������� � � ���� � �� �3����� �� �����(�� ��������� �� ������0����� �����������
#�# ���
� ��� ������� /� 0 (�� ������4�� ������� ���������� ��� �� ������ ����� �������
������ � ���� ������ ��������� ���������� ��� ��� 1� ��� �� /� ������ ��������
������ �� ������ E � � ������ �� ���(�� �� ����� 2�� �� ��������� ���.��� �����
#)'$� � ���� ���� /� ��� #E 5$ ��� ������ �� 5�V �� �� ����� /�� �� �������
��������� ���.��� �������� 2�� �� ��������� ������ ���������� #'2&$ /�� ������4��
������� ����������� � ���� ���� /� 0 �� ����� �� �� #E $ ��� #E @$-
�#�$ G �� J
�����
����� ���
G �� J
�� ��
� �
��� �������� �� ����� /�� �� ������� ������� 5�V �� ������ ,� � ���� ��� /� ���
�������� ��6���� ���(�� �� ����� ��� ��6���� � 2�� �� ������ ����� ������� '2&�
����� /� ��� �� ���������� ������ �� ������(�� �� ������ E 5� �� �� <� ��� �� �������(��
��� ��6���� �� ����� � ���� ���� /� ������ �� ����� /�� �� ������� 5�V �� ������
��� ���� ����� � !�� ���(�� �� ����� �� �� 0��� ����� �� ������� (� ��������������� ���
�� ����������� �� �� 0��� ����� �� �������� �� �� �������
%����� �������� ������4�� ������� ����������� /� ��������4� ���� ������ �� �� �������
���� �� ���������� ������� � � ������ 2�������� H ,���� #��$ ��� +����� 1�����
������� � ��������� ����������� F@
%������� H >����. #��$� �� �� ���� ��� ������� �������� �� �� �3�������� ������ ��
���� ������ ��� � ��� 5 �����������
*�*�� �$���� �
!�� ��������4���� ������� � �� #E F$ ��� #E 55$ �� ������ (� ��������������� /����
���� �������� !�� �������������� �������� �� ���� �� �� �������� 2�� �3������ 2�����
E 5 ���/� �� ����� ��� �� ,'%*! ��� !�� ,'%*! ��� �� ������(�� �� ���� �����
�� ������ E E � !�� ������� �������������� �������� ����������� � � G 5�5�E� �����
� G 5�5�E �� ������ �� �� ��������4���� �������� !�� ���� ����� �� 2����� E 5 ���� ��
������ �� ���.��� �������� ��� ���� ���� �� ���� ����� (���� �� #E 5�$ ��� ������4�� �������
���������� ����� !�� ������ � G 5�5�E �� ���� ��� ��� �� ����� ��� �� �� ����� 1�
��� ��� �� �����(���� �� �� ���.��� �������� ������ �� ������ �.�/��- ��� �� �� �����
��� �������� �� �� (��� #/�� ����� ���.��� �������� ������$� ���� � ��/ ��� �������
�� �� �� #/�� ����� ���.��� �������� ������$ !��� �������� �� ��� �� �� ����� ���
�������� ����� ��� �� ������0����� !�� ����� /�� ��� ������� ���������� � �� �����
������� (� �B' '2&� /���� �� ����� � (� ������(�� �� ������ E E �
−logb(lambda, base=2)
Dev
ianc
e
0 5 10 15 20
0.03
0.04
0.05
0.06
0.07
CV Deviance vs. Lambda
•
•
•• •
• • • • • •
(With 2308 Genes)
Classes
Ran
king
coe
f.
Ranking genes (lambda = 1/1024)(With 2308 Genes/Class)
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••
•
••••••••••••••••••••
•
•••••••••••••
•
••••••••••••••••••••
•
••••
•
•
•
••••••••
••••••••••••••••••••
••••
••••••••••••••••••••••••••••••••••••••••
•••••••••••
•
•
•
••••
•••••••••••••••••••
•
••••••••••••••••••••••••••••••
•
••••••••••
•
•••••
•
••••••••••••••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••
••••••
•
••••••••••••••••••••••
•••••••
•
••••••••
••
•
••••••••••••••••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••
•
•••••••••••••••
•
•••••••••
•
•••••••••••••••
•
•••••••••••••••••••
•
•••
•
•••••••••
••••••••••••••••••••••••••••••••
•
•••••••••
•
•••
•
••••••••••••••
•
••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••
•
••••••••••••••••
•
•••••••••••••••
•
•••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••
•
••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••
••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••
•
•••••••••••••••••••••••••••••••••••
••••••••••••••••••••
•
•••••••••••••••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••
•
•••••••
••
•
•
•••
•
•••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••
•
••••
•
•
•
••••••••••••••
•
••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••
•
••••••••••••••
•
•••••••••••••••••••••••••••••••••••••
•
•••••••••••
•
•••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••
•
•
•
•••
•
••••••••••••••••••••
••
•••••
••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
•••••••••••••••
•
•••
•
•
•
••
••••••••••••••••••••••••
•
••••••••••••••••••
•
••••••••••
•
••••
•
••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••
•
••••• •••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••••••••••
•
••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• ••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
•
•••••••••••••••••••••••••••••••••••••••••
•
•
•••••••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••
•
•••
•
•••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••••••
•
•••••••••••••
•
•••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
•••••••
•
•••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••••••
•
••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••
•
•
•
••••••••••••••
•
•••
•
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••
•
••••••
•
••••••••
•
•••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••••••••
•
••••••••••
•
••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
•••••
•
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••••••••
•
•••••••••••
•
•••••••••••••••••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••
•
••••••••
•
•••••••••••••••••••••••••••••
•••••••••••••••••••••••
•
•••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••
•
•••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
•
•
••••
•
•••••
•
•
•
•
••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••
•
•
•
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• •
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••
•
•••
•
•••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••••••••••••••••••••••
•
•••••••••
•
•••••••••••••••••••••••••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
BL EWS NB RMS
2����� E 5- (����� � �&'() ���� *�� ���� ����8���� ��� ������� ����%� � ��� ��� �������� %�� � &���� ���� ���-��� �������� ���%�� � ���� ���� ���� ������ )�� ��� ���� �� �������������� � ��� ����� ������� ,� 9*& &/��
������� � ��������� ����������� C�
!�(�� E 5- *��������� �� ���.���� ������0����� ������
:���� 5������ *> ����� !�� ����� =� �� �����
,>: )' X�? �X�E �B' )' X�? �X�E 5C,>: '2& X�? 5X�E �5�B' '2& X�? 5X�E C
*�*�� &��/��� ���
!��� ��� �� ������� �� �? ������� ������� ��� �E �� ������� �� /� ���� �� ����
���.������ ���� ������� ���.���� #�:B$ ��� ���� ������(����� ���.���� #�BB$ #+���(�
,������ !������ "����� +�����(��.� :������� *������ B��� ��/���� H *�������� #���$$
&��� ������ �� � ����� �� D�5@ ����� � G 5�5C �� ����
!�� ������ ��� ����� �� 2����� E ��� �������4�� �� !�(�� E 5 =���� �� ��� ����
������ ���.���� �� ���.���� �� ����� ���� ������ �� �� ���� �3�������� ������ ��� �� ��
������ �� �� 0�� ������ �� ������4�� ������� ���������� ��� �� ������ ����� �������
��� �� ���� �� �� ����� � ���� ��� "�/���� �� �� ��������� ������ ����������� �� ��
������ ������ �� �� 0�� ������ �� �� � ���� ���� ������4�� ������� ���������� ���
�� ������ ����� ������� ������ ��6���� ����� � �� ����� ��� �� �� 2����� E � /�
��� ��� �� /��� ����� �� ���� �� �� ����� #� � ����� �� ��������� ���.���$� ������4��
������� ���������� ��� �� ������ ����� ������� ���� ������� ������0����� ������� /����
������ /�� �� 0������ �� -
!�� ������� ��������������� ����� ��� ������4�� ������� ���������� ������ � 5�F �����
��� C� ����� �� �� ��������� ���.��� ��� �� ��������� ������ ���������� ����������� !�
�(��� � ���� �������(�� �� �� ������ /� �����0�� ��� ���� ��������������� ����� #/����
���� ��������� �� ��������������� ����� ���� 5 � �� (�� �� ��������� ���.��� ��� ��
��������� ������ ����������$ ��� ������ 5C ����� ��� C ����� !�� ������� ���(�(������
���� �� ������4�� ������� ���������� ����� �� �� �� ������� ��� ����� �� �� ��/�� ���
�� 2����� E !�� ���� /�� ��� ������� ��� �� ���������0�� �� ������� ���� ���� ��
���������0�� ���� ��� ���� ������� ���� ���� ��������� (�/��� �� /� ������� #� �
������� � ��������� ����������� C5
Number of Genes
Err
or
5 10 50 500 5000
−0.2
0.0
0.2
0.4
0.6
0.8
Use UR
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••• ••••••••••••••••••••••
•••••••••••••••••••••••••••••••••••••
•••••••••••••••• ••••••••••••••••••••••••••••••••••••••••••
••••••••••••••••••••••
•••••••••••
••••••••••••••••••••••••••••••••••••••••••
••••••••••••••••••••••••
•••
••••••
CV PLRCV SVMTE PLRTE SVM
Number of Genes
Err
or
5 10 50 500 5000
−0.2
0.0
0.2
0.4
0.6
0.8
Use RFE
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••
•••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••• •••••••••••••••••••••••••••••••••••••••••••••••••••
••••••••
••••••••••••••
•
•
CV PLRCV SVMTE PLRTE SVM
Test Samples
Pro
babi
lity
0 10 20 30
0.0
0.2
0.4
0.6
0.8
1.0
PLR with UR(With 16 Genes)
Test Samples
Pro
babi
lity
0 10 20 30
0.0
0.2
0.4
0.6
0.8
1.0
PLR with RFE(With 26 Genes)
2����� E - *�%-���� ������+������ ����� ����� ����8���� ���� �� ���� ����� ��� �01 �� ��� 9*& %���� ��� �& �� ��� &/�� *��� ����� �������� ��,�,������� � ��� ���� ���� )�� ������� �� ������� ��� ���������+� ���� )�� ���7���� ���� �� ��� ��� ������+����� ������ ,%� ����
�� ������� ���(�(���� �� ����� � ����� 5 �� �$
*�*�� !�4�5 ���
!��� ��� �� ������� �� ���������� �3�������� �� ����� ����� (��� ���� ����� #,'%*!$
�� ��������� ������ #A���� 1��� '������� ,���� B������� 1��������� %������� ,��/�(�
�������� H ������� #��5$$ !�� ����� ��� ������0�� �� %��.� �������� #%B$� &/���
������� #&1,$� �����(������ #=%$� �� ���(������������ #':,$ � ��� �� C� �������
������� ��� F �� ������� ��� �������� 2��� �� �� �� ������� ��� ������� ����,'%*!
������� � ��������� ����������� C
!�(�� E - *��������� �� ,'%*! ������0����� ������
:���� 5������ *> ����� !�� ����� =� �� �����
,>: )' �XC� �X� 5�B' )' �XC� �X� 5F,>: '2& �XC� �X� ��B' '2& �XC� �X� ?
&��� ������ ������� �� �3�������� ����������� �� ���? ����� � G 5�5�E �� ����
!�� ������ ��� ����� �� 2����� E � ��� �������4�� �� !�(�� E �� /�� �� ���.����
���� /� �(����� �� /��� ����� �� ���� �� �� ����� #� � ����� �� ��������� ���.���$�
������4�� ������� ���������� ��� �� ������ ����� ������� ���� ������� ������0����� ���
����� /���� ����� �� ��������� ������ ����������� ������4�� ������� ���������� ���� �
������ ���� ����� ��� �� ������ ����� ������� !�� ������4�� ������� ����������
����� ������ 5E ����� ��� ����� �� ��������� ���.��� ��� ? ����� ��� ����� �� ���������
������ ���������� !�� ������� ���(�(����� ���� �� ������4�� ������� ���������� �����
�� �� �� ������� ��� ����� �� �� ��/�� ��� �� 2����� E � !�� �� ����� �� 4��� !��
���� /�� ����� ������� ��� �� ��3���� ������� ���(�(����� �� �� 0�� ����,'%*! ��
������� ���� ���� ���� 0�� �������� ��� ���� ������� ���� ���� ���������
*�*�* ��������� ���
!��� ��� �� /�� ������(�� �� ����� (� '����/���� !������ '��.��� :�.���8��� Q�����
������� B���� '����� B�������� :������� ������� +������ B���� B����� H +���( #��$
������� �� 5EE ������� ���� ������� ��� FE �� ���� �������� �������� 5E ������
���� ������� �� ������ ��� ?�V �� ��/ ������ ��������� �� �� ) , ����� ���� FE
�� �������� ? ��� ������� ������� !���� ��� 5C��C� ����� ��� ���� ������ � G 5�E ��
����
!�� ������ ��� ����� �� 2����� E E ��� 2����� E F ��� �������4�� �� !�(�� E � !��
��������� ������ ��� ��� ��� �� ��� �� �� ���� �� ��� �� ���� /� ��� ��� !���
��� (� ��� � �� ��������� ����� ���(�� �� ������ ������� #� G 5E$� ��.��� � ������ �
������� � ��������� ����������� C�
!�(�� E �- *��������� �� '����/��� ��� ������0����� ������
:���� ?����� *> ����� !�� ����� =� �� �����
,>: )' 5@X5EE 5XFE C5D�B' )' �X5EE 5XFE C5D,>: '2& 5DX5EE @XFE �5F�B' '2& 5DX5EE @XFE @E
���������� (�/��� �������
�� /��� ����� �� ��� ���� ������ ������ � ����� ���(�� �� ����� /��� ��������
� �� ���� /� ��� ���� (� �� ��������� ������ ���������� ����� ������� ����
���� ����� ��� �� ��������� ���.��� ����� !�� ������� ���(�(������ �� �� ��
������� ��� ����� �� 2����� E F !�� ���� /�� (���. ������� ��� �� ���������0�� ��
������� ��� �� ���� /�� ����� ������� ��� �� ���������0�� ������� �� ������� !��
��3���� ���(�(����� �� ���� �� ���� ���������0�� ������� ��� �� ��� �/�� ���� ����
������ ������ ���(�(������ 1� ��� ���� ��� �� �� (����� ����� ��� �������� ����
������� ��� �� ��� ����� ������� ��� ������0�����
*�*�0 ��������
������4�� ������� ���������� /�� ��������� ������ ���������� ����� C ����� �� ����
��������� ���� ���������� ���.���� #�:B$ ���� ���� ���������� ���.���� #�BB$
/�� � ��/�� ����� ��� ��� �� ������ �������� �� +���(� ,������ !������ "�����
+�����(��.� :������� *������ B��� ��/���� H *�������� #���$ ��� !�(�������� "�����
=��������� H *�� #��$ !�� ������ �� +���(� ,������ !������ "����� +�����(��.�
:������� *������ B��� ��/���� H *�������� #���$ ��� !�(�������� "����� =��������� H
*�� #��$ ��� �������4�� �� !�(�� E E 9�� ��� �� C ����� �������� ���������3����� ���
(����� ������ ������� ���3����������� ���������� !���� /� ����� /��� �� �����0��
�� +���(� ,������ !������ "����� +�����(��.� :������� *������ B��� ��/���� H *��������
#���$ (� ��� .��/� � (� �3������ ���.��� ��� �:B ��� �BB� ����������� #!�(��������
"����� =��������� H *�� #��$$
������� � ��������� ����������� CE
!�(�� E E- *��������� �� ���.���� ������0����� ������
:���� 5������ *> ����� !�� ����� =� �� �����
+���( � �� #5@@@$ �X�? EX�E F�!�(������� � �� #��$ X�? X�E 5�B' '2& X�? 5X�E C
!�(�� E F- *��������� �� ,'%*! ������0����� ������
:���� 5������ *> ����� !�� ����� =� �� �����
A��� � �� #��5$ �XC� �X� @C!�(������� � �� #��$ �XC� �X� E��B' '2& �XC� �X� ?
� �� ,'%*! ��� ��� ������4�� ������� ���������� ����� ��������� ������ ����������
����� ����� ��� ���� ������ ����� � ��� �� ? ����� /��� �����0�� !��� ����� �����
��� �������� � �� �� �� ������ ��/��. ����� �� A���� 1��� '������� ,���� B�������
1��������� %������� ,��/�(� �������� H ������� #��5$� /���� �������� @C �����
� �(��� 4��� �� ����� #!�(�� E F$ 9� ��� ? ������ D /��� ���� ����� (� �� ������
��/��. ������ �3��� ��� N���� ����. ������ ������ �O *�������� ��� ? ����� � ��
E� ����� ����� �� !�(�������� "����� =��������� H *�� #��$� �� ? ���� ��� ��� �� ��
��� �� !�(�������� "����� =��������� H *�� #��$ !��� ��� ����� �� �� ������ ������
����� ���� (� ������4�� ������� ���������� ������� �� ���������� ����� ����� (���
��� �� �����.�� �������� �����
!�� '����/��� ��� �� ��� 5E ������� ������4�� ������� ���������� ����� ���������
������ ���������� �����0�� @E ����� +���� �� ��������� ����� ���(�� �� ������� #� G
5E$ ��� �� ����� ���(�� �� �������� ����� #� G 5C� �C�$� ��� �� � ��4�(�� �������� !��
(��������� �������� �� �� ����� �� /��� �����0�� ���� ������ ����������� =�� -
����4�� ��� 5C� �C� ����� �� ���� ���� � ������� �� ����� ��� #5�FE$
!�� ������� �� ������4�� ������� ���������� ������ ���� ����� ��� �� ������ �����
������� ��� �� ������ ��� ��� ��� (� ��������� ������������ 2�� �� ����������
������� � ��������� ����������� CF
������ ��������� ���(���� ����� ����� �� ������� ��� ��� ������� �������� ������(�� ��/�
� 8�� � ��/ ����� !�������� �� ������� �� �� ������ ����� ������� �� ����� ����������
� �� ����� �� �� ��������4���� �������� � �� #E 5$ ������� /��� � �� ����� ������
#� G 5�5? �� ������� �������$� �� ������� �� �� ������ ����� ������� /��� (� ��
���� ��� ��6���� � ������� /���� �������� �� �� ��������4���� ���� �� ���� ���� ��
�� �6�� !��� �� �� �� ���� ��� ������4�� ������� ���������� '�������4���� ��/��� �����.�
�� �������� � � �� ���� /�� �� ����� �� � ��� ��� ��.�� �� ��������� ����� ����
��.��� � (� ������� !��� ��� (� ���� ��������� ���� � ���������� ��6������ (�/���
�� ������ ����� ������� ��� ������4�� ������� ���������� �� ������ �� �� ������ E 5�
�� ������ ����� ������� ������� ��%�L�#�$�5�M ������������� ����� �#�$ �� ����� �
�5 �� 5� ��� ������4�� ������� ���������� ������� �� ���� �� ���(�(������� ����� �#�$ ��
�� �� ����� �� �� ��� � !��������� �� �����.��� �� ������4�� ������� ���������� �����
� (� ���� �6�����
#�* ������$
1� ���� �������� ������4�� ������� ���������� #�B'$ ��� �� ���������� ������ ���������
���(��� !�� ��������� ������ �� ���� ��� ��� ���/ �� /��� ����� �� ���� ��
�� ������ ������4�� ������� ���������� ��� �� ������ ����� ������� ������� ���������
�� ������0������ (� �� ������� ������4�� ������� ���������� �������� �� ������ �� ��
���������� ���(�(���� 1��� ����� �� ��������� ������ #����$ ���������� ����� �
����� ������� ����� ��� ������ ������0������ ������4�� ������� ���������� ���� � ������
���� ����� ��� �� ������ ����� �������
������� � ��������� ����������� CC
Number of Genes
Err
or
1 5 10 50 500
0.0
0.2
0.4
0.6
0.8
Use UR
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••
•
•
•
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••
•
•
•
•
•••••
•••••••
•••
•
•••••••••••••••••••••••••••••••••••••
•••
•••••
••
••
•
•
•••••••••••••••••••••••••••••••••••••••••••••••••••••••
•
••••
•
•
•
•
•
•
•
CV PLRCV SVMTE PLRTE SVM
Number of Genes
Err
or
5 10 50 5000.
00.
20.
40.
60.
8
Use RFE
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• ••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••••••••••••••
••••••
••••••••••
••••••
•
CV PLRCV SVMTE PLRTE SVM
Test Samples
Pro
babi
lity
5 10 15 20 25
0.0
0.2
0.4
0.6
0.8
1.0
PLR with UR(With 15 Genes)
•
•
•
•
•
•••
•
•••
•
•
•
•
•
•••
•
••• •
•
•• •
•
•• •
•
•• •
•
•• •
•
•
•
•
•
•• ••
•
• ••
•
• ••
•
• ••
•
• ••
•
•••
•
• •••
•
•••
•
•••
•
•••
•
•••
•
•••
•
•••
•BL EWS NB RMS
Test Samples
Pro
babi
lity
5 10 15 20 25
0.0
0.2
0.4
0.6
0.8
1.0
PLR with RFE(With 8 Genes)
•
•••
•
•••
•
•••
•
••• •
•
••
•
•
•
•
•
•
••
•
••
• •
•
•• •
•
•• •
•
•
•
•
•
•• ••
•
• ••
•
• ••
•
• ••
•
• ••
•
• ••
•
• •••
•
•
•
•
•
•••
•
•
•
•
•
•••
•
•••
•
•••
•BL EWS NB RMS
2����� E �- �&'() ������+������ ����� ����� ����8���� ���� �� ���� ����� ��� �01 �� ��� 9*& %���� ��� �& �� ��� &/�� *��� ����� �������� ��,�,������� � ��� ���� ���� )��������� ��� ��������� ,� ��� ��� ���� ������ ��� �� ��� ���� ������� ��� �������� ������+� � )��� ��8�&'() ���� ������� ��� ���-� ���� � ������ ���� ��� �����%� �������� ��,�,������ )������ ,��� ��� �����%� ��,�,������ ��� ���� ���� ������� �� ���� ������
������� � ��������� ����������� CD
Number of Genes
Err
or
5 10 50 500 5000
0.0
0.2
0.4
0.6
0.8
1.0
Use UR
•••••••••••••••••••••••••••••••••••••••••••••
••••••••••
••••••••
•••••••••••
••••••
•••••••••••••••••••••••••••••••••••••••••••••••••
••••••••
•••••
•••
••
•••
•••
•••••••
•••••••••••••••••••••••••••••••••
••••
••••••
•••••••
••••••
••••••
••••••••••••••
•••
•
•••••••••••••
••••••••••••••••••
•••••
••••
••••••
•••••
••••••••••
••
•
•
•••••
••••
•
•••
••CV PLRCV SVMTE PLRTE SVM
Number of Genes
Err
or
100 500 5000
0.0
0.2
0.4
0.6
0.8
1.0
Use RFE
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
••••••• ••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••• ••••••••••••••••••••••••••
•••••
•••••••••••••••
••••
•••••••••••••••••
•••
••••• ••••••••••••••
••••••••
•••••••
•••••••••••••
•••••••
••••••••••••
••
•••••••
••••
••
CV PLRCV SVMTE PLRTE SVM
2����� E E- &�������� ������+������ ����8���� ���� �� ���� ����� ��� �01 �� ��� 9*&%���� ��� �& �� ��� &/��
������� � ��������� ����������� C?
Test Samples
Pro
babi
lity
0 10 20 30 40 50
0.0
0.2
0.4
0.6
0.8
1.0
PLR with UR(With 617 Genes)
••
•
••
•
••••
•
••• •••••
•
•••••
•
••
•
••••
•
•••••
•
••
•
••••••
•
•••••• •••••••
•
••••••
•
••••••••••••• •
•
•••••••••
•
••
•
•
•••••••••
••
•
•
•
•••••••••••• •
•
••••••••••••
••
•
••••••••••• •
•
•••••••••••• ••
••
•••
•
•••••• ••
•
••••••••••• •••
•
•••••••••• •••
•
•••••••••• •••
•
•••••••••• •••
•
•••••••••• ••••
•
••••••••• ••••
•
••••••••• ••••
•
••••••••• ••••
•
••••••••• ••••
•
••••••••• ••
•
•
•
••••••••• ••
•
••
•
•••••••• •••••
•
•••••••• •••••
•
•••
•
•••• ••••••
•
••••••• ••••••
•
••••••• •••••••
•
•••
•
•• •••••••
•
•••••• ••••••••
•
••••• ••••••••
•
••••• ••••••••
•
••••• ••••••••
•
••••• ••••••••
•
••••• ••••••••
•
••••• •••••••
•
•
•
•••• ••
•••
•
•••
•
•••• •••••
•
•
•
•
•
•••• •••
•
••••••
•
••• •••••
•
•••••••• •••
•
•••••••••• •••••
•
•••••
•
•• •••••••••••
•
•• •••••••••••
•
•• •
•••••
•
••••
•
••••••••••••••
•
• ••••••••••••
•
• ••••••••••••
•
• •••••••••••••
•
•••••••••••••
•
•••••••••••••
•
•••••••••••••
•BR PR LU CO LY BL ML UT LE RE PA OV ME CNS
Test Samples
Pro
babi
lity
0 10 20 30 40 50
0.0
0.2
0.4
0.6
0.8
1.0
PLR with RFE(With 294 Genes)
•••••
•
••••
•
••• •••••
•
••••
•
••• ••
•
••
•
••••••
••
•
••••••
•
•
•
••
•
• •
•
•••••
•
••••••
•
••••
•
••••
••
•• •
•
•••••••••••• •
•
••••••
•
••••• •
•
••••••
•••••• •
•
••••••
•
••••• ••
•
•••••••••••
••
•
••••••
•••••
••
•
•
•••••••••• ••
•
••••••••••• •••
•
•••••••••• •••
•
•••••••••• •••
•
•••••••••• •••
•
•••••••••• ••••
•
••••••••• ••••
•
••••••••• ••••
•
••••••••• ••••
•
••••••••• ••••
•
••••••••• ••
•
•
•
••••••••• •••••
•
•
•
•••••• •
•
•••
•
•••••••• •••••
•
•••
•
•••• ••••••
•
••••••• ••••••
•
••••••• •••••••
•
•
••••• •••••••
•
•••••• ••••••••
•
••••• ••••••••
•
••••• ••••••••
•
••••• ••••••••
•
••••• ••••••••
•
••••• ••••••••
•
••••• •••••••••
•
•
••• •••••
•
•
•
•
•
•••• •••••••
•
•
•
•••• •••
•
••••••
•
••••••••
•
••••
•
••• •••
•
•••••••••• •••••
•
•••••
•
•• •••••••••••
•
•••••••••••
•
•
•
•• •
•
•••
•
•
•••••••
••••••••••••
•
• ••••••••••••
•
• ••••••••••••
•
• •••••••••••••
•
•••••••••••••
•
•••••••••
•
•••
•
•••••••••••••
•BR PR LU CO LY BL ML UT LE RE PA OV ME CNS
2����� E F- &�������� ������+������ �������� ��,�,������� � ��� ���� ���� )�� ������� ������������ ,� ��� ��%� ������ )�� ���������+� ���� ������� ��� ���-� ���� ,���- ������� ��������� �����%� �������� ��,�,������� �� ��� � ���������+� ���������� ���� ������� ��� ���-� ���� ����� �������� )�� �� ������� ������� �� '�����2 9������2 *%��2 (�������2 *������2'�� ��2 1������2 �����%�2 *�%-����2 &����2 9�������2 :����2 1��������� �� (�� �%����
������� �
������� � �� ���
� *����� 5� /� �������� �� ����� ����� ������� ����� ��� (�� /������� ��� �����
����� ������0����� ���(���� 1� ���/�� �� �� ����� ����� ������� �� ���� ��������
�� /��� �� �� ������ ����� �������� (� ���� �������� �� ������ �� �� ���(�(���� �#�$
!�� ����������� ��� �� �� ����� ����� ������� �� 0#��/�$ ��� �� /������� ���� ���
0#���/�$ ��� �� ���������� ����� /���� / �� �� ���(�� �� ����� �����
� *����� �� /� ���������� �� 5����� ������ ����� ������� 1� �������� �� ��
5����� ������ ����� ������� ��� ���� ���� �������� ���� �� ����� ������ �����
�������� ���������� /��� ���� ��� �������� ������� !�� ������� ��� P�#�$ �� �� 5�
���� ������ ����� ������� �� � ������/��� ������ ������� �� �� ����� �������� � 1�
���� �������� �� ����� �������� � ������ �� /���� ������� ��� P�#�$ �� �� 5�����
������ ����� �������� ��� �������� ������� �������� �� �� ����� �������� �
� *����� E� /� ��������� �� �� ���������� ������0����� ���(��� � ���������� /�
������� �� ������ �� ������4�� ������� ���������� ��� �� ������ ����� ������� !��
��������� ������ �� ���� ��� ��� ���/ �� /��� ����� �� ���� �� �� ������ ������4��
������� ���������� ��� �� ������ ����� ������� ������� ��������� �� ������0������ (�
�� ������� ������4�� ������� ���������� �������� �� ������ �� �� ���������� ���(�(���
�� 1��� ����� �� ��������� ������ #����$ ���������� ����� � ����� ������� �����
��� ������ ������0������ ������4�� ������� ���������� ���� � ������ ���� ����� ��� ��
C@
������� � ������� �� ����� D�
������ ����� �������
�������
�� � �� �� !���
,���) �) 5$����� ���
2�� �� ������� �� ������ ������� /� ��� �� ������ �� �� �� ����� 1� ��0��
�#�$ ���
���
���
5 J "��������� �
�
5���� �,� 4������ �� �����% �� ������ ��������� !�� �� �� ������� �� ������ ��
P�#�$� )� �� ����� � � ��� ���� ���� ��� ��� ���#��$� � �� ��� ��� ���#��$
P�#�$ �
�� �� �� P�#�$� G � �� �� � � ��� "��� �� �� �$�� ������� ������ 5�������� ����
�
��� G 5�
(���$
,������ ���� ��$� ����#���$� �� ���
�#�$ � ���
5 J "��������� �� �
#� 5$
� �� � #� $
D5
����� � � �������� �� ������ D
9� �� ���� ����� (� �� ������(���� ���������� /� .��/ ���� �3��� ��� ��� G 5�
��$� ���#��$�� � �� �� !��� ��� � � �� G � ��#��� � 5$� ����
����#��$
���� /� ����
�#���$ G
�����
���
5 J "��������� ���
#� �$
.��
���
��
�G �� � #� E$
,���� �# P�#�$$ �#���$� /� ����� ��� � � ��� ���#��$ P�#�$ � �� ��
2�� � � ��� �� P�#�$� . �� /� �������� � ����� �� P�#�$ (� �����
P��#�$ GP�#�$
P�#�$���
!��� P��#�$� G �� ���
��
P��#�$
G
�����
���
5 J "��������� �����
#� F$
.��
���
���
5 J "��������� ����
#� C$
G ��
P�#�$
� #� D$
/���� �� � ����������� "���� P�#�$� G �
=�/ /� �������� /� ��������� ��������� �� ��� ��� ���� �� ��� G ��� G 5
������ �� �� �������� (���� � � -
/� -G ����
���#��$�� � /� -G ���
����#��$
�� � ��
5���� �,� 6��� �$��� ���� �� G 8#/�� /�$ ���� � �� � ��� ��� ����� �� ��� ����
� � ���� �� ��� "���7
�#���$ . �#���$�
����� � � �������� �� ������ D�
(���$
B�
�� G 8#/�� /�$ G�� � J ��
/� �/��
��� �� � ��� /� ����
�����
���
5 J "��������� ���
� ��
�5 J "�����
�#� ?$
� �3�#�� � /�$ #� @$
.5
�3�#�� � /�$ #� 5�$
���5 J "�����
�#� 55$
��
���
���
5 J "��������� ���
� #� 5$
!�� 0�� ��� �� ��� ����������� �����
�#���$ . �#���$�
+���� ���� /� ������� /� ��� ��/ ����� �� ��� ����������� ���� ������� ��� (�
� ������ ��3���4��� �������� ������ �� �� � ����������� ���� ������� ����� /� -G
���� ���#��$ �� ,���� �� ������� ��� ��� ������(��� ������� /� � � #����� ����/���
�#���$ ���� �� ���� �������� � � �� � ��$
=�/� ������ ���� S� /�� S�� G 5 ��� (����� ������� ������ S/ � /� %� ��������
�� �� ������� ������ �� �� ���� �3��� ���� ���� �����(������ �� ��-
'�� G �� - � � ��� . ��
����� � � �������� �� ������ DE
��� �� 1 � �� ���� ��-
����
���#��$ � . S/� 1� �� � '�� �
=�/ (� B���� � /� �� �� ���� �3��� ���� �� G 8# S/� S/� 1$ ���� �� �S� ������
������� ���� ��� �� ��� ��� � � ��� � � '�� !�������� �� ����� (� � ����������� ����
�������
1� �������� �� ��� ����������� ���� �� �� ������������� ��� (� � ������ ��3��
��4��� �������� � �� ������ ��3���4��� �������� �� ������ ��� � �� �� ���� �����(��
����������� ����� ��� ��������-
������
P�#�$
�G ��� ��3
���������
����#��$
��
� �� ���� �� �� ������ ��3���4��� ��������� ����������� �� �� ������� ��� ����
������� ��� ������ (� ��������4�� � ���������4� � ������ ������� (� ��0���� ���(���.���-
�� �� ������� ������ �� �� ����� ��� �� ������ ������� ������ ��������� /���� �����
�������� (���� ��� �� �� 9��� �� �� ���� �� �� /���� ����� ������� �� �� �������
�� ������ � ���� �������� ��� ���� ������ (� ���� ��� ��� ����������� ���� ��������
�� !�( �� ��$� )�� ���2� ��� ����� ,&�
!�� ����� �� �� ���������� ,:9 �������� �����/� �� �� �� /������� ,:9 ��������
#A������ ����� ,������ H ��� #��$$� (� �� ������ ��� ��6����
!� ������4� #E F$ ����� #E �$7#E E$� /� ��� ���/��� � ��-
��� G ���
���
%#��$ J5
����
��� #� 5�$
��(8�� � - �� G �� J � ��� ��� �� #� 5E$
����
�� G �� #� 5F$
����� � � �������� �� ������ DF
/���� � G 5�� �� �� ��������4���� ��������� ���
%#��$ G �#������ J � � � J ������$ J ���
" �� J � � � J " ��
�
!�� B��������� ��� ��� ���(��� ��-
� G �
�����
%#��$ J5
����
�� J
����
�����
��L�� � �� � � ��M J ��
����
��� #� 5C$
/���� ��<� ��� �� ��� �� B��������� ���������� !�������� �� AA! �������� ���������
��� ����� (�-
+�
+��G �� �
�����
�� G �� ��� #� 5D$
&��� G � ���
���
���� G �� ��� #� 5?$
+�
+��G �
���� J
" ������� " ���
�J �� G �� ��� �� #� 5@$
/���� ����/ �� � �3����� � ��� �� �� �������� �� ��<�-
� G
�����
��)��� ��� #� �$
�� G ���
�� � ��
�
� 5
�
�����
������ � ���
�
� ��� �� #� 5$
"��� /� ���������
�� �� G �� �� =�� #� 5@$ ���� ��������-
����
�� G �� ��� #� $
"���� /� ���� �� G � �����
��� �� G �� ��
=�/ /� ����� 1���� ������ ����� � #� 5�$ !�� 1���� ���� ����������� � ��
��3���4���� �� � ��(8�� � #� 5D$� #� 5?$ ��� #� 5@$ )���� #� �$ ��� #� 5$ /� ���
����� � � �������� �� ������ DC
�������� �� 1���� ���� ��-
��� 9 G �
�����
:#��
�$ J
5
����
��� #� �$
��(8�� � -
����
�� G �� ��� #� E$
�����
�� G �� ��� #� F$
/���� �� G #���� � � � � ���$ � � �� ����� (� #� �$� ���
:#��
�$ G
����
#�� � ��
�$ ��#�� � ��
�$�
9��� �� ���� ���(��� �� ������ ��� ��<�� �� ������ �����(��� �<� ��� ��<� ��� (� �(�����
����� #� �$ ��� #� 5$
!� ����� #� �$� /� 0�� ������� ��� /�� ������� ��� ����� #� �$ (������
��� 9 G ���
���
:#��
�$ J
5
������
�� J5
���� #� C$
��(8�� � -��
���
�� G �� � G 5� � � � � � 5� #� D$
/���� �� G ������
������� ��
�� ���
:#��
�$ G
������
#�� � ��
�$ ��#�� � ��
�$ #� ?$
J
�5 �
������
#�� � ��
�$
�� ��
�5 �
������
#�� � ��
�$
�� #� @$
=�/ /� ��� /��� ��/� �� �������� ��������� ��� #� C$ !�� B��������� ��� #� C$
����� � � �������� �� ������ DD
�� ���
S� G ���
���
:#��
�$ J
5
������
�� J5
��� �
����
L6
�����
��M�
��0��
-� � � � �� � �
� � �� J �+:
+��
G #� � ��$ � �� ��
��#�� � ��
�$ � ��
�5�
������
#�� � ��
�$
���
!��� �� AA! ��������� ��� #� C$ ���-
+ S�
+��G -� � 6 G � � G 5� � � � �K � G 5� � � � � � 5� #� ��$
��0��
� 3�#�$ G �����3�-�� � G 5� � � � � � 5�
� !;#�$ G �������-�� � G 5� � � � � � 5�
!��� �� �������� ��������� /��� ���� � ����� ��<� �� ��� ���� ��
-� ����� G -� ������ � G 5� � � � � � 5� #� �5$
=�� � ��.� �� -�<� ������������ ��0���� �� ��<� ��� ������-
��� � . �� . � �� �� G 5
�� . �� . � �� �� G ��#� �$
���
� .
������
#�� � ��
�$ . 5 #� ��$
����� � � �������� �� ������ D?
� ���� �3��� �� ����3 ���� #�� ��$ ���� ��
-� �G -�� #� �E$
��� ���� �� ��� /� ��� �������� 9 #� C$ #/���� ���������� �� ������� ������������� �� G � #� F5$$ (� ��8����� �� ��� ��� ���� !� ��� ���� /� ��0��
S��#$$ G �� J $�
S���#$$ G ��� � $�
S�����#$$ G ����� ��� ��� �����
!��� ��� ��� ������ ��
�9
�$G -� � -���
/���� -� ��� -�� ��� �������� � $ ,���� (� #� �E$� -� � -�� �G � � $ G �� � ��������
�� 9 �� �����(�� (� �������� $ ����(�� �/�� ���� �
!�� ,:9 �������� ��� ��/ (� ������(�� �� �����/�-
#�5$ *����� �� ��������� ��������� #� F5$ ��� #� F$ ,� 2 G 5
#�$ � �! ����0�� #� �5$� ��� � ��� ��
�� ����� G �!� ����� J $� #� �F$
�� ���� G �!� ���� � $� #� �C$
��� G �!�� ��� ���� �� �� #� �D$
2��� $� /���� ������4�� �� ���� 9 #� C$
#��$ )���� �!� ��������� � #� �F$� #� �C$ ��� #� �D$ +� (��. � ��� #�$
=���� �� �� ��� #�$ �� � ��������� �����4���� ���(���� ��� ������� ��������
��� (� ���� � �������� -�<� ��� 9
����� � � �������� �� ������ D@
,���) �) 5$����� ���
%������ �,� )� �� ������� � � �� �8� ���8��� �� ���(��� ��� �� ������ ��������
�� ������ 8�8�� � 8�8�8 ������ ����� �� �$ � "���� ������� � � P�#�$�
(���$
'����� �� ������ /� ���� �� ������ � �-
! G �� - 5 � ���� G ��� ��� ����� � �� ����" �� �� ���� �������K #� �?$
" G �� - 5 � ���� � ��� ��� ����� � �� ��� �� �� ��(�/K #� �@$
� G �� - 5 � ���� . ��� ��� ����� � �� ��� �� �� ��(�/K #� E�$
G �� - P� �G ��� ��� (���� �������� /�� ����4��� �������� #� E5$
*������� �� ��������� ���� �� #� 5$7#� $-
�������
�����
1� #� E$
� 5 � ���� 1�� 1� � � #� E�$
�� G �� J
�� ��
� � #��$ #� EE$
�� ��
�� � �� #� EF$
!�� B������� ���� �� #� E$7#� EF$ ��-
� G
�����
1� J �
�� ��
�� �J��
���
��#5 � ���� � 1�$���
���
<�1��
����� � � �������� �� ������ ?�
/���� �� �� ��� <� ��� ����������� B������� ���������� !�� ������������� A������A����
!��.�� ��������� ���-
��%�#� $� ���
����� #��$ G � ��� � � #� EC$
��
���� G � #� ED$
5� �� � <� G � #� E?$
��#5 � ���� � 1�$ G � #� E@$
<�1� G � #� F�$
,���� /� ��� �������� �� �� /���� ������� ��� P�#�$� /� ���� /�� ������� /��� ��
����� �������� � ������� �� � ���������� P� ��� � /��� ������ 1� ��0�� �� ���� �
(� ����� � ���� ��� �� ��(�/� � � � �������� 5 � ���� ������� ���� ����4��� � 4���� ��
� ������� P� ������� ���� ����4��� � 4���� /��� � ��������� !�� A������A����!��.��
��������� ����� ��-
# 5 � ���� � � ' 1� � � ' <� G � ' �� G 5�
# 5 � ���� . � ' 1� G � ' #5 � ���� � 1�$ � � ' �� G ��
# 5 � ���� G � ' 1� G � ' <� ���� ' � �� 5�
"���� /� ��� ���-
# 1��� � �� 03��� ��� �� ������� � (� ������� /� ���� � � G �!�� ��� �� �� ��
�������� �� ��<� ������ ��-
��%�# P� $� ���
��� #��$�� G��
��� #��$� ��� � � #� F5$
��
���� G ���
��� #� F$
1��� � ���������� ��� �������� �������� � " ��� � /��� �� ������� ������ �� ����
������� "���� ��� �� ������� � �3�� ��� (� ������� �� �� �� �������� ��
����� � � �������� �� ������ ?5
��<� ������ /��� �� ������� ��� ��������������� ��<� /��� �� ������� ������ �� ����
�������
# 1��� ��<� �� �� ������� �� ����� � �� ��(�/� � � ����� �� ! � /��� ��� � ��
��(�/ !��������� P� <� ������-
5 � ��# P�� J��
P� � #��$$ G � ��� � � ! � #� F�$
,���� � � G �!�� ���� �� ��� ���� ��.��/� �����(�� �� ��� �� �� �������� "���� /�
��������-
# %�/��� /� ������ P�#�$ ������� �������� /��� � ��������� !� ������ �� /����
������� ��� P�#�$� ��� /� ���� � �� �� � 0�� �� 3����� � � �� ������. ����� ��
2����� � 5� �� ��� ������/��� ������ ���� ��� ��� ������ ����� � ��������� ����
�� ������������ � ��� � P�#�$ G �� 0�� �� ���� ��������� �� P�#�$� �� � ��������
��� ���� ������ �� ��������� /��� P�#�$ ��� � � 8���
=�/ /� ���/ �� �� �������� ������(�� �� ������ � � 7 ������ � � � ����� /�� ��
���������� �� �� A������A����!��.�� ���������
������� �������� /�,�, �6*0
1���� ���� �� ���������� /� ������ W��� G 5� � W��� G �5�K ��� P��#�$ G 5� P� #�$ G ��
� � ��� �� ������� ����� ��� �� " ��� ��� �� ������� ����� ��� �� ! 1��� � ���������
�/�� ���� �� ���� ������� ����� /��� ����� �� ��(�/ ��� ����� /��� ��� � �� ��(�/K ���
�������� ������� �� ������� ����� /��� ���� (� �� " �� � �� ����� ������ !�� ����� ��
��<� /��� �� ������ ���� ���� ������� ���� ��� �� ��(�/ /��� � ���������� ��� (�����
��� ������� ���� ��� �� ��(�/� P�#�$ ������� �������� �� � /�� ���� �� �� ����� �� !��� � �� ��(�/ !� �� �� ���� ��������� �� P�#�$ � �� /� ��� ����� #� E$ 7 #� EF$ ���
� ����� ������ � ��� ������ P�#�$ � P�#�$��� (� /� �� �� .��/ �� ������� ��/ ����� �
������ (� !� �� ������ ��� ������� /� �������� �� ����0�� ���(��� #� @$ 7 #� 5�$
=���� �� �� �� G 5� �� ���� �� ���� #5� ����$K (� �� �� G �5� �� ���� (������ #5� ����$
����� � � �������� �� ������ ?
"���� ���� /��� � ������� ���� ��� �� ��(�/� � � 5 � ���� G �� ����� � �� �� � ����
����� ���� �� #5�����$ �������� �� ��<� /��� �� ������ !��������� �� ���� ���������
�� P�#U�$ /�� ������ � U� �� �� ���� �� ���� /�� ����� U� ��� ��� � ��������� /��
�� ���� ��������� �� P�#�$ /��� � �� �������� �����
���� ���������
1��� � ���������� �� ����������� U� ��������� �� #� 55$� �� A������A����!��.�� ������
���� #� EC$7#� F�$ /��� ������� � ���� ��� �� ����� �� ! /��� ��� � �� ��(�/� ����
�� ���� ������� %� �� ��0����� �� ����� /��� �� ���� �������� ���� /��� (� � �J 5
����� � �� ��(�/ ��� � � (���� �������� /�� ����4��� �������� "���� � .��� ��
A������A����!��.�� ��������� ����� /� ���� � ����� ��� � (���� ������� �� �� ���
� �� ������ � ���� �� ! ���� !
,�� ��� ��� � �� ������ � � � �3���� ���� �����(������ !�� 0�� �������� ��
#� 5$ ��� #� 5E$ ��.� ���� P�#�$ ������� �� � /�� ���� �� �� ����� � �� ��(�/ /���
��� � �� ��(�/ !�� ������ �������� �� #� 5$ ��� #� 5E$ �������� �� �P�#�$� ���������
/��� U� ��������� ,�� E ��.�� �� ������ �� ��������� �� ���� /�� �� ����� ���
����� ��� �����(������
=�/ /� ���/ �� �������� G � 2��� #� EC$� /� ����
��%�#� $� G��
����� #��$ #� FE$
G��
��� #��$ J��
����� #��$� ��� � � � #� FF$
����� � � �������� �� ������ ?�
:������ ���� ������� /�� 3 #3 �� ���� #� �$$ ��� ��� ��� ������� /� ����
���
��%�#� $3 G��
��
��3 � #��$ J��
��
����3 � #��$ #� FC$
G��
����
3 � #��$ J��
��3� J��
������
3 � #��$
J��
����3� ���
��3� ���
����3� #� FD$
G��
��#3� J��
3 � #��$$ J��
����#3� J��
3 � #��$$ #� F?$
G��
��#3� J��
3 � #��$$ #� F@$
G �U !��
U�� #� C�$
� #� F?$� /� ���� #� ED$ ��� �� ��� �� �� G 5� ��� � � " ��� �� G �� ��� � � � �
#� F@$� /� ���� �� ��� �� �� ����� �� ! ��� � �� ��(�/� ����� 3� J�
� 3 � #��$ G
�� ��� � � ! ,�����
� ��%�#� $3 G 5� �� ��� ���� ���� �� #� FC$ �� ����� � � !��������
/� ��������
� G �U !��
U��
,���� /� .��/ �� � ���������� � /��� ��������� ��� ����� 8���0�� �� �� ������ ���� ��
��� E �� ������ � � � ������ /�� �� A������A����!��.�� ��������� ���� ������� ��
����.� �� � ������� ��������������
!� (� ���� ��������� � ������� ��� �� �������� � ����. �� �� ��<� ������� ����
#� F5$7#� F$ ������- � �� 5 !� ������ �� ���������� /� ��� ��� ��� �� ������
� � � 9�� �3�������� ������� �� � ���� �� ��.� � ��6������
!���� /� ���� ���/� �� ������ � � 7 ������� � � ������� � ��� P�#�$ �� ����0��
�� A������A����!��.�� ��������� � ��� ���� �� �� ��� %� �� A������A����!��.��
������� �� �� ������� ��� � #� E$7#� EF$ �� ������� ��� P�#�$ �� �� ������� ���
"����������
%������� � H :����������� 9 #5@@?$� 2����� �������� ��� ������� ������4���� ���
������ ����� ��������� �� � ,�����.� �� � Z *:B<@?<� :����� A�������
%������ * #5@@?$� Z� ������ �� ������ ����� �������� ��� ����� ����������<� 9
,����� �� -��"����� 9������� �/�0� 5575CD
������ , � 2��������� � H ,����� ! #��$� Z*��������� �� ������������� ������ ��� ��
������0����� �� ����� ����� ���� �3�������� ���<� :��� � �� �� /���� � � ���� �
/����� ��� #)� DD7?D
&�������� ! � ������ : H ������� ! #5@@@$� '�������4���� ��/��.� ��� ������ �����
��������� �� � ,����� � %����� % ,��T��.��� H * ,���������� ���� Z�������� ��
B���� :����� *�����0���<� : ! �����
2�������� � � "����� ! � '����� , � !�(�������� ' H ���� � #��E$� Z���������� �� N�������
���� �� (������O (� / 8����� � ������� � ������ ��� 4����<� /�� �� �� � �����
� !� ������
+���(� ! � ,������ � � !������ � � "����� * � +�����(��.� : � :������� � � *������ " �
B��� : � ��/����� � H *��������� : #���$� Z:�������� ������0����� �� ������- �����
��������� ��� ����� ��������� (� ���� �3�������� ���������<� ������� �'&� F�57F�C
+����� � H Q������� % #5@?F$� ,������������� ��������4�� ������ ������� �� Z�����������
�� ���������� +B : *���������<� >�� � �� ����� ���� �� � ������ ,��������
>������ =�/ Q��.� �� EE7FF
?E
���������� ?F
+����� � 1����� � � %�������� , H >����.� > #��$� Z+��� �������� ��� ������ ������0�
����� ����� ������ ����� ��������<� , ����� �� ���� �&� �?@7E
"����� ! H !�(�������� ' #5@@�$� ;��� ��%�� /������ ,������ ,����� �� ������� :����
������ *������ ��� "���
"����� ! � !�(�������� ' H 2�������� � #��5$� 6�� <������ �� � ���� � �� �����
,��������>������ =�/ Q��.
A������ , � ����� A � ,������� , H ���� � #��$� Z� ��� ���� �������� ��� .�����
������� ����������<� )��� ��� � 4�������� �� , ����� �� ���� �#
A���� � � 1��� � � '������� : � ,���� B � B������� : � 1��������� 2 � %������� 2 �
,��/�(� : � ��������� * H �������� * #��5$� Z*�����0����� ��� ��������� ����
������ �� ������� ����� ���� �3�������� ���0���� ��� ���0���� ������ ��/��.�<� * ��
,������� )� CD�7CD@
A��������� + H 1��(�� + #5@D5$� Z,��� ������ �� ���(������ ������ ��������<� :�
, �� /� �� /������ ��� ?7@F
B��� Q H B��� * #���$� Z*�����0����� �� ������� ������ ���� (� ����������� ������
����� �������� ����� ���� �3�������� ���<� �������� ��� �#� 55�755�@
B��� Q � B��� Q H 1��(�� + #��$� Z:���������� ������ ����� ��������� ������ ���
���������� � �� ������0����� �� ���������� ��� ��� ������� �������� ���<� :��� �
�� �� /���� � � ���� � /����� ���
B��� ; � 1��(�� + � ;����� � � +��� 2 � A����� ' H A����� % #���$� Z,������� ������
����� ������ ��� ����� ��� ��� /�� (�������� �(��������� ��� �� �������4�� ����<�
/�� �� �� � ����� �'� 5FD�75C��
B��� Q #��$� Z,����� ����� ������� ��� �� (���� ���� �� ������0�����<� 9 ,�����
�� -��"����� 9������� &� F@7DF
���������� ?C
:�.���8��� , � !������ � � ,������ � � >����� � � +���(� ! � :������� � H ������� !
#5@@@$� ,����� ����� ������� ������0����� �� ���������� ���� !�������� ������ �
:��� 5CDD� : !
���� � #5@@@$� 2�� ������� �� ������ ����� �������� ����� ��������� ������� ����
��4����� �� % ,��T��.���� * %����� H � ,����� ���� Z�������� �� A����� :����� �
,����� >���� B�������<� : ! �����
'����/���� , � !������ � � '��.��� ' � :�.���8��� , � Q����� * � ������� : � B���� * �
'����� : � B�������� & � :������� � � ������� ! � +������ 1 � B���� : � B������ & H
+���(� ! #��$� Z:�������� ������ ��������� ����� ���� ���� �3�������� ��������<�
=*/� #'� 5F5E@75F5FE
'T����� + � ! 9���� H A ' :T����� #���$� Z,�� ������� ��� ���(���<� , ����� �� ����
�� 57�F
'����� , � ���� � H "����� ! #���$� %������ �� � ��������4�� ��� � � ��3����
������ ������0��� !�������� ������ �������� �� ,������� ,������ )��������
,����� � H ,��T��.���� % #���$� ,����� ������ ����3 �����3������ ��� ������� ���������
�� Z����������� �� �� ,�������� ���������� *��������� �� :������ B�������<�
:����� A�������
,���� : � %�������� * � %�� � � ,�.����� = � %����� A � *������ , H !����� = #��$�
Z��������� �� ������ ������� ���� �� �������3������ ������������� ������ �����
������ ����� ����������<� :��� � �� 4����� � )���� ��� �� 4����� ��������
� ,����(��
!�(�������� ' #5@@C$� Z'��������� �����.��� ��� �������� ��� �� �����<� :��� � �� ��
+�� � � ���� � ������ ����� � �'� CD7??
!�(�������� ' � "����� ! � =���������� % H *��� + #��$� Z��������� �� ������� ������
���� (� �����.�� �������� �� ���� �3��������<� =*/� ##� CFCD7CFD
���������� ?D
>����.� > #5@@F$� 6�� * �� �� � ���� � �� ���� 6����� ,��������>������ =�/ Q��.
>����.� > #5@@?$� � ���� � �� ���� 6����� 1����� =�/ Q��.
1��(�� + #5@@�$� ������ ,����� �� .���� ��� � 9 � >�� F@ �� ����� �� /������
, ��� ���� , �:� ������������
1��(�� + #5@@@$� ,����� ����� ��������� ����������� .����� ���(�� ����� ��� �� ����
����4�� ����� �� % ,��T��.���� * %����� H � ,����� ���� Z�������� �� A����� :���
��� � ,����� >���� B�������<� : ! ������ �� C@7??
1��(�� + � +�� * � 1���� Q H *�������� ' #5@@F$� ,�� ������0������ � . � ���. ���
������� ��� ������4�� ��� ��.������� ��� �������� ������ �������� �� ��������� ��
� 1������ �� � Z!�� :�������� �� +�������4����<� ,��� 2� ����� ,����� ��
�� ,������� �� *�����3�� ��������1����� ��(������
1����� � H 1�.���� * #5@@@$� :��������� ������ ����� ��������� �� : >���������
�� � Z����������� �� &,�==@@<� � 2��� ������ %�������
1�������� * H ,������ : #��5$� )���� �� ������ ����� � ����� �� .����� ���������
�� ! B���� ! ������� H > !����� ���� Z�������� �� =����� ��������� ����������
,�����<� >�� 5�� : ! �����