an immune system approach to document classification · document classification jamie twycross...

146
An Immune System Approach to Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23 rd , 2002* E-mail: [email protected] artificial immune system, concept learning, classifier, machine learning, information retrieval, cooperative coevolution, feature extraction The human immune system as a biological complex adaptive system has recently provided inspiration for a range of innovative problem solving techniques in areas such as computer security, knowledge management and information retrieval. In this dissertation the construction and performance of a novel immune- based learning algorithm is explored whose distributed, dynamic and adaptive nature offers many potential advantages over more traditional models. Through a process of cooperative coevolution a classifier is generated which consists of a set of detectors whose local dynamics enable the system as a whole to group positive and negative examples of a concept. The immune-based learn ing algorithm is tested in a rigorous and systematic manner, first on a standard classification problem and then, combined with an HTML feature extractor, on a web- based document classification task in the context of a system which allows users to perform document- based searches and automatically refine search results. The immune- based classifier is found to outperform traditional classification paradigms on both tasks. Further applications in community knowledge management systems, content filtering, recommendation systems and user profile generation are also directly relevant to the work presented. * Internal Accession Date Only Approved for External Publication Copyright Hewlett-Packard Company 2002

Upload: others

Post on 10-Oct-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

An Immune System Approach to Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd , 2002* E-mail: [email protected] artificial immune system, concept learning, classifier, machine learning, information retrieval, cooperative coevolution, feature extraction

The human immune system as a biological complex adaptive system has recently provided inspiration for a range of innovative problem solving techniques in areas such as computer security, knowledge management and information retrieval. In this dissertation the construction and performance of a novel immune-based learning algorithm is explored whose distributed, dynamic and adaptive nature offers many potential advantages over more traditional models. Through a process of cooperative coevolution a classifier is generated which consists of a set of detectors whose local dynamics enable the system as a whole to group positive and negative examples of a concept. The immune-based learning algorithm is tested in a rigorous and systematic manner, first on a standard classification problem and then, combined with an HTML feature extractor, on a web-based document classification task in the context of a system which allows users to perform document-based searches and automatically refine search results. The immune-based classifier is found to outperform traditional classification paradigms on both tasks. Further applications in community knowledge management systems, content filtering, recommendation systems and user profile generation are also directly relevant to the work presented.

* Internal Accession Date Only Approved for External Publication Copyright Hewlett-Packard Company 2002

Page 2: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� ������ ����� ��� ��

� ������� �� ����� ���

� ����� ������

����� �������

� ��� ��������� � ������� ����

�������������� �����! "�#�� $����� ����

%�&��� '(� )(()

����������������

Page 3: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� ������������

$� �� �������� ��� ������� ���� ��� ����� ��� � �� ���� ���� ������ ������ �� ���� ��� ���� ���� �� ��� ���� �� ������ � � �� ������� %&'( ��� �) !��� *���� � ������� � (��� %�+��� ����� �������� ,��� % ��� ������ � �� � ��� )��� ��� )�� -���� �� �� ������������� ���� �� ��� ��� � ���� ���� �������� ����� �� ��� ��� �������� � �������� ���� � ���� ��� �� � � �� !��������

��

Page 4: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��������

� ����������� �

��� ������ �

.�/ ���������� ������� � � � � � � � � � � � � � � � � � � � � � � � 0.�/�/ "����� �������� � � � � � � � � � � � � � � � � � � � � 1.�/�. %����� ������� � � � � � � � � � � � � � � � � � � � � � 2.�/�3 $�� ������� � � � � � � � � � � � � � � � � � � � � � � � � 4

.�. ��� ����� ������ ���� � � � � � � � � � � � � � � � � � � � //

.�3 $������ ������ ����� � � � � � � � � � � � � � � � � � � � � /5.�3�/ '����� ������� �� � � � � � � � � � � � � � � � � � � � � � /5.�3�. $�� ������� � � � � � � � � � � � � � � � � � � � � � � � � /0

.�3�.�/ ������ ������� � � � � � � � � � � � � � � � � /0

.�3�.�. $���� ������� � � � � � � � � � � � � � � � /2

.�3�.�3 &��������� � � � � � � � � � � � � � � � � � � /4.�6 7�� ������ � ������� � � � � � � � � � � � � � � � � � � � � � .8

.�6�/ %��������� ����� ���� � � � � � � � � � � � � � � � � � .8

.�6�. 7�� ���� ������ ������� � � � � � � � � � � � � � � � � ./

.�6�3 ������������ ��� ������ � ������� � � � � � � � � � ..

� �������� ��� ������� �

3�/ ��� � �������� � � � � � � � � � � � � � � � � � � � � � � � � � � � .33�/�/ ��� ������� ������ ���� � ������� � � � � � � � � � .33�/�. ��� ����� *������ � ������� � � � � � � � � � � � � � � � .6

3�. ��� ��� ������ � ������ � � � � � � � � � � � � � � � � � � � .63�.�/ ��� �������� ������ � � � � � � � � � � � � � � � � � � � .53�.�. ��� ����� ��� ����� ������ � � � � � � � � � � � � � � .2

3�3 ��� ��� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � .23�3�/ ��� ����� ���� �� � � � � � � � � � � � � � � � � � � � � .23�3�. ��� �� ! ������� � ���������� ���� �� � � � � � � .2

3�6 ��� ������ ������� � � � � � � � � � � � � � � � � � � � � � � � 383�5 (����� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � 3.

���

Page 5: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� ���������� ��� ������� � � �������� ����������� ��� ��

6�/ % ������� ����������� � � � � � � � � � � � � � � � � � � � � � � 336�. 7�� ������ � ������ ������� � � � � � � � � � � � � � � � � 31

6�.�/ $� ����� �� � � � � � � � � � � � � � � � � � � � � � � � � 316�.�. (������� ��� ��� � � � � � � � � � � � � � � � � � � � � 32

6�3 % ������� ������� � � � � � � � � � � � � � � � � � � � � � � � � 6/

� ���������� ��� ������� � � �! �������� ����������� ��

5�/ % ������� ����������� � � � � � � � � � � � � � � � � � � � � � � 655�. 7�� ������ � ������ ������� � � � � � � � � � � � � � � � � 625�3 "����� ������� ������� � � � � � � � � � � � � � � � � � � � 62

� "������� ��

# $����� %�� ��

& '��������� ��

�(�������� �&

) )������� ������� �&

� ������������� ������ ��� ������ ���� #�

*�/ ��� �������� ���� � � � � � � � � � � � � � � � � � � � � � � � 13*�. (����� ���� � � � � � � � � � � � � � � � � � � � � � � � � � � � � 15

*�.�/ ������� ������������� � � � � � � � � � � � � � � � � � 15*�.�. ��� �����++������� � � � � � � � � � � � � � � � � � � � � 14*�.�3 % ��������� � � � � � � � � � � � � � � � � � � � � � � � � � 23*�.�6 % ����������� � � � � � � � � � � � � � � � � � � � � � � � 26*�.�5 %�����!�������� � � � � � � � � � � � � � � � � � � � � � 20*�.�0 %�����!���������� � � � � � � � � � � � � � � � � � � � 24*�.�1 ,��(��� � � � � � � � � � � � � � � � � � � � � � � � � � /85*�.�2 ,��(����� � � � � � � � � � � � � � � � � � � � � � � � � /81*�.�4 7�� ������$ �������� � � � � � � � � � � � � � � � � � //5*�.�/8 7�� ������$ ���������� � � � � � � � � � � � � � � � //1*�.�// "�����7�������� � � � � � � � � � � � � � � � � � � � � /.3*�.�/. "�����7���������� � � � � � � � � � � � � � � � � � � � /.5*�.�/3 9����*������% ��������� � � � � � � � � � � � � � � � � � /31*�.�/6 9����*������% ����������� � � � � � � � � � � � � � � � /32

��

Page 6: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������

����� �����

:����� �� ��� ��� ���� ���� ������ ��� �������� ������ ������� ��� �� �� �� �������� ���� �� ��������;

$����

���� ���������� ��� ���� �� ���� ��� ������ �� � ��� ����� ��������� ������� � ������ ����� �� �� ����� ������ ���� � �� ���� �� ��������� � ����������� �� ����� ��� �� � ������� � ���� � ������� ������� �� �� ������������ ������� � ������ ��� �� � � ������� ���� ����� ������ ���� �� � ������� � �������� �� ����� � ���� �������� � ��� ���� ����� � ����� � ������� �� ����������� �� � ���� � ���� ���� ������ �� � ������� ��� �������� ������� ��� �������� ������ ���<�� �� ����� ���� �� ������ ���� ��� ��������� ����� ������� ������ �� ��������� ���������� ������� ���� ��� �� ���� �� ���������������� � ���� � ����� �������� �� �� ������� ��� ����� ����� � ������ �������� ����� ���� �� ���������� �� ����� �� ���� ���� �� ���� �� ����� ������� �����'������ ������� ��� �� ������ �� �� ���� �� �� ��������� �� ����

����� �� � ������� ������ ����� � ��� �� �� ������ ��� ������� ����������� ��� �� �� ������ =03>� "�� ����� �� �������� �� ������ �������� ? � ��� ������� � ��� ����������@� ����� ����� �� ���� ������ �������� �� ���� � ������� � ��������� &�� ��� �� ������� ��� ������� �������� ����� �� ��� � �� �� ������ ���� �� �� ��� ������� ��� ���� �� �������� ��� ��������� � 9�� ������� � � ��� ���� ������� ��������� ��$���� �*�� ��� ���� � �� ������ ?������� ��������@� ?��������� ���������@ ��� ?������� ��������@� � ���� ������ ?�����@� ��� �� ����� ���� ��� �� ?������� @ ��� ?��������� @� ����� � �� ����� � ������ � �� ������ ���� �� �� ��� ������� ��� �� ?������� ��������@ � �� ���� ���� �������� ���� �� ������� ��� ��� �� ?��������� ��������@ � ��

/

Page 7: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

LEARNING ALGORITHM

RELEVANTDOCUMENTS

IRRELEVANTDOCUMENTS

UNKNOWNDOCUMENTS

CLASSIFIER

RELEVANT

IRRELEVANT

"����� /�/A $� ���� ���� ������ ������

$��� ������ � ���� ������ ��� ���� ���������� � �� �� �� �� ��������� � ����� ���� �� ������� ������ ��� � ���� ��� � ��� ���������� ��� �� ��� �� ��� -� ��� ��� � � ���� �� �� ������ ����� � �������� �� �� �� ������ �� �� ���� � �� ����������� ��� ��� ������� ��� ��� �� � � ��� �� ?������� ��������@� $� �� ���� ���� �������� �� ������� ����� �� ?������� @ �� ?��������� @ ��� ����� ��� � ����� �� �� ����� �� ������ �� ���� �� �� � �� �������������� ����� �������� �� ���� � � ��� ���� � ��� ���������� � ���� ��

����� ����� �� ��� ����������� ��� � ��� ���� ���� � ������� ������������������ ��� �� ���� �� � ������� �������� � �� ���� �� ����� �� �������� ��������� ����� <�� � �� � ��� �� ������� ����� �� ��� ������ �������� ����� �� ��� �� � � ��� � ������ ����� �� ��� ������ �� ��� ��� �� ������ ������ �� ��� ��� ������� � ������ �� ��� ������� ��� �� ����� �� ������ �� �� ������� �� �� ����� ������ ����B��(C� ��� �� ����� ������� �� �� �� � �� ������� �� �� ��� ��� ������� ���� �� �� � ���������� �� ������� �� �� ��� ��� �� � �����A���� � �� ������ � �� ���# ��� ������� � �� �� ������ � �� ��� ��������� ������ � � �������� ��� � ���������� �� ��� � ����� � ���������� �� �� � �� �� ���� � ����� � �� ����������� ������� ��� ��������� �� ��� ?�������� ��������@ �� ������� �� �� �����+� ��������� ������� $���� �*� ����� ���� � �� �� ������� �� �� ���� ���� � ����� ���� ��������� �� �� � �� ������ � �� ���� ��� ����� ���� � ��� ������ ������ ����� ?��������� @ ��� ���� �� ��� ��������� ������� ���������� ��� �������� ���� �� �� �� ���������� (���� ��������� ��� ��� ���� ������ �� �� ������� �� �� ��( ��� ����� ������������ ������� B$�(�C� ��� � �� ��� ���� ��� ����� ��������� ������ ����� �� ����� �� �� ������� � ������ ��� � ������� ��� ���� �� ���

.

Page 8: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

immatureT−cells

SELF PROTEINS UNKNOWN PROTEINS

NONSELF

SELF

matureT−cells

match

match

no match no match

NEGATIVE SELECTION CLASSIFIER

"����� /�.A %����� ������� �� �� ����� ������ ����

�������������� ���� ��������� �� �� �� �� ���� �� �������� �� ������� ��

$�( ���� �� �� �� ������ � ��� ���� ���� �� ������� ��� �� ��� <������������ ��� ����� �� $�( ��� ������ ���� �������� ������ � ���������+� ���+��������� ��������� ����� �� �������� ���� � )��� ���,� D��� =12>� '��+������ �� �� ����������� �������� �� �� �� ���� ���������� ������ � ������� ��� ��� ��� ����� ������� �� =23>� ��� �� ����������� ����� � ��� ����� ��������� �� ����� ��������� ������� � ����� ���� ���� �� ��� ��� �� ������ �� � �� �� ?���� ����@� $� � �������� ��������� �� ��� ��� ��� ���� ��� ����� �� $���� �*�� ��� ���� �� ����������� �� � ������� �� ��� �� � ��� ����� ��� ������������ -� ��� �� ������ �������� ���� ��������� � ������ �� ����������� ������� ������� ���� ������� ������� � ���� ��� ������ ��� ���������� �� �� ��������� ������ �� �� ��� � ��� �� �� �� �� ��������� ����� � �� �������� ���� ������� ��� �� � �� ������@� ��������� ������������ ����� ��������� �� ��� ���� �� ������ ��� ��� ������������ ��������� ����� ��� ������ ��� ���� ���� � ������� ���� ��������� � �� �� �� $�( ������ ������ �� ���� ����� �� � �������

������� ������� ��� �� =25>� ��������� � � � ���� �� ���� ��������� �)��� ��� ,� D��� =12>� ��� ����������� �� �� $�( �� ��� ������ ���������� � ��������� ���������� ������� ���� ������ �� �������� ������������� � !������� =52>� �� ����� �� �,������� �����+�� ������ �� ����� ���� �� ������ ����� ������ �� ��������� ��� �� ���� �� �� �������� ��� ������� � ����� ������� �� �� �������� ��� ������������� ���

3

Page 9: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

bestdetector

bestdetector

bestdetector

CLASSIFIER

SPECIES 1 SPECIES 2 SPECIES 3

"����� /�3A % ������� ��������� � ���������� ����� ����

���������� �� �������� ������� � ��� ������� )�++��� � � � =1.> ����������� ���� ����� ��������� �� � ������� ����� �� ����� � ���� � ������@� �������� ����� ��� �� ������ ��� � � �������� ���� � �� ������� ��������� ��� ������ ��� ���� ��� ���� � � ������ ���� ��� ������� �� �� �� ���� � �� ����� ��� ���� ������� ����� ��������� ������������� ��� � �� �� ����� �� �� �� ����� ����� ���� �� ����� ���� �� ���� � �� ����@� ������ �������� ���� ��� (����� �� ���� ������� ������ � �� ���� ��� ���� �� �� ���� �� ���� ����� ��� �� ���� ����� �������� � ���� �� ������� �� �� ���� ��� ���� ���� �� �� ������� ���� ��������� ��� ������ $��� ������� ���� �������� �� ���� ������� � � ����� �� ���� �� �� ����� ���� ����� �� ���� ��� �� ������������ ������ �� ���� �� ���� ������� �� ������� �� ������� )�++���� � � ������� ������ ������� ������� ������� � ������� ��� ��� �� ������ *������ � ������� ������ �������� ���� -� ����� ���� ��� �����*������ � ������� ��� �� ��� ������� ��� ������ �� ����������� ����� �� �� $�( ������ ������ ��� ������ ������� ��� ��� ������� � ������� � �� � ���������� �� �� ��� �� !

��������� �� �������� ������ ��� ����������� �� �������� ������������� ������ � ����� �� � ����� ���� �� ��� ����������� ����� � �������� ��� �� ���������� !������� � ������� ���� ������� ��� � �� ��������� �� �� ���� �� ,������ +������ ����� ��� �������� �� � ������ ���������� ���� ��� �� ��������� �� ��� "�� ����� �� � ��� �� ������������ ������ ���������� �� � ������ �� ���� � ���� ���� � ������ ��� ����������� ��� ���� ������ ��������� � ������ �� �� �� ���� �� ������ ��������� �� ��� ����� �� �� �������� �� �������� �� �� ��� �� ����� ���������� � ������ ������ ��� ����� � �� ������ ��� � ������ �� ������� 9�

6

Page 10: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

���� ������ ������ ��� �������� ������� ��� � �� ����� �� ������������ �� � ,������ ��������� �������� ����� � ��� �� ��� ��� � ���������� �� ����� � �������� ��� ��� ������ ������ ������ �� ��������� �� � �� ������ ������� &�� ���� ������ �������� � ������ ����� ������ �� ��� �����������$� � ���� ��������� �� �� � �� ��� ������ ��� ���� � ���� � �����

�������� �� �� ������� ��� ����� ����� � ��� ����������� ��� � ��� �� ���� ��� ��������� '������ ��������� �� ���� ���� �� ���������� �� ��� ���� �� ����� �� ���� � ��� ������ ��� ��� ���� ��� ����� �� �� '������ � ��� ��� � '������� � ��� � �������� �� ������������������� ��� �� ���� � ������� �� �� ������� ��� ������� � ����������� ���� ��� ��������� � ��������� ��� ��������� �� ������������� �� $�( � ������� ��� �� �� ���� ������� ������ '������ � ����������� ��� ��������� �� ��� ������� �� �� ���� � �������� �� �� ���������� �������� ��� ������ � ��������� ��� ����� ����������� ���������� ��'������ #� '������ & ����� �� ���������� � � � ���� )������ )�� ���� � ������ � ������ �� �������� ���� � ������ ��� � ���� �������� � �� � �� ��� �� ���� ��� �� �� ����� ��� �������� ���� ���� �� ������ ���� ��� �� �������� ���� � ����� �� ���� � �� '�������� ��� � ��� ����� �� )������ ��&� � ��� ���� � ���� �� ������ �� ��������A ��� � ����� �� ����������

���� �� ����� ������ ����� �� ������ ������ �������� ���� ������� ���� �� � ��� � ���� ������ �� ���� ��� ����� ���� ��� ����� ����� �� ����������� E����� ��� �� ����� �� � ���� �� ����������� �� �������� ��������� ������ ���������� ���� ����� �� ��������� ����� ������������� �� ������������ �� ��� �� ��� ����� ������ ������ � �� ���� �� �� ��� ����� ��� ��� �� �� �� ��������� �� � ������������������� � �� ��� ����� �����������

5

Page 11: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������ �

������ ��

:� �� ��� ��� ��� �� ������ �� � ���� �� ��� �� � ����������;

-������ -� ��� B/250�/4.6C�

�� ��� ������ ��������� ������� ��� ���� �� ��� � ��� ������������� �������� ��� ��������� ��������� ��� � ��� � ���������� ������� ���� � ������ ��������� ��� ��� ���� �������� � �� �� �� ������������ �����A ������ �������� ��� ������ �������� )������ ��� �������� ����� ��� �� � ��� �� ���� � ��� ���������� ��� ��� ��������� $������ �� �� ����� ������ ���� �� ��� ��������� �� ���� � � ����������� �� ������� ������ ����� ��� ���� ��� �������� "��� � ������������� �� ��� ������ � ������� ��� �������� ��� ��� � �� ��� ������ ������� �A ��� � � ��������� �� ���� � �������� � ���� ��� �� ������������ ������ �� ��� ���� �� ����� ��� � ������� �������� ������ ��������������� (����� � � ����� �� � � ����� ���� ����� �������� ������������ �� ���� ���������� �� ��� �������� ���� � �� �� ���������������� �� ��� �����������

��� ����������� ���������

���� ���������� ������� �� �� ������ ��� ��� ������ �� �� ���������������� ��� ������� � ����������� � ��� ����� ��� � �� ���� �� � ���������� � �� �� � �� �,������� �����+��� -�� � �� ���� �������� ����� �� � �� ���� ������ ���� � �������� ���������� �� �� ����� �� � ����� ��������� �� ��� ����� � !������� �� ���� �� ���������� ������� ����� =52>A �� ���������� �������� ���� ���� �� ������ ����� �������� ��������� ��� �� ���� �� �� ������ �� ��� ������� � ����� �������

0

Page 12: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� �� �������� ��� ������������� ��� ���������� �� �������� ������� ���� ������� -��� �� ��� �� � ��� ����� ����� ����� �� /468@� ��� ������� �� ��������� ��� ��� ���� ������ � �� ���� ��� ����� ����� ����� � � ����� ��� ������� ������ �� ���������� ���� ������ �� �������� �������� ��� ����� �� ��������� -�� �� ���� �� �� ��������� -�� � -��� -�� ��� ���� ��� ������ ���� �������� ��� ����� �� ������ ��� �� ������� ������� �� ������ ���� ���� ��� =41>� ��� �� �� ���� ����� �� �� � �� ���������� ������� �� ���� � ����

���� �����A ������� �������� �,������� ���������� ��� �+��������%���� ��� ��� �� ��������� ��� ����������� �������� ��� � ���� ������ � ��� ����������# ���������� ������� ��� ��������� �� �������������� ������ �� ���������� ������� ����� ������ �� ��� ������ ���� ��������� ������ ��������# ��� ��� ����� ��� �� ��������� �� ������������� �� ���������� ������� ������ �� ���� �� �� ������ ��������������� �� �� �������� ������� ���� ����� ��� �� ������ � ����������� � ���� ��� �� �������� ��� �� ������� ������ ��� ��� � ��������� �� � ����� ��������� � -��� �� ���� � ��� ���������� ������������ ��� �� �� ���� ����� �� �������� ��� ��������� �� �� �� ����� �� ��������� ��� � �� ��� ����� �� ���� ����������� �� ��� ��� �� '�������� ��� ��

����� ������� �������

�� ���� �� ������� � ���������� ����� ������ �������� �� ������� ���� �������A � ��� ������� � ������� ������� ��� ������ �� ����� ����������� ��� ������ ����� ������ ��� � ������� �������� ��� �� ������ �� ��� ���� ��� ��� �� ������� ������ ������ �� �� � �� ����� ������� ����������� ����� ��� �� � ��� ��� ��������� ��� ������� ��������� �� ������ ��� ����� � ��� ��� �� ���������� ���� � ������� ����������� ���� �� � �� �� �������� ���� �� ��� ����������� ��� �� ����������� �� ���� �� '������ �� �� ����� ���� �������� ������� ����� ���� �� �� -�� � -��� -�� ��� ������� ������ ���� ���������� �������� ��� ����� ��� � �� ���� ���������� �� �� ����� �� �� �� ����������� ��� ������� -�� � ���� ����� ���������� ��� ������ ���� ������� ��� �� ������� ��� ��� ������ ����� ���� ��� ������ ������� �� ������ �� ���� ����� "��� � ���� ���� �� ��� ��������� ���� �� ������� ��� ���� ���� ���� ���� ��� ���� �� ������ ������� �� ������� ������� �������� �� �� ���� ����� �� ��� ����������� �� ��� ���� ����� �������� ��� � ���� ������� ���� �� ���� �� �� ����������@������ ����� ����� ����� ���������� � �� ������� ������ ������������������ ��� � ���� ���� ���� ���� � ������� ��� ��� ������� ������

1

Page 13: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

���� ���� � !�� � �� ���� ��� ����� �� ������� ��� ������ �������� '������ � ���� � ������� ������ �������� ��� �� �� ����� � �������� ���� ������� �� ���������� �� ���� ���� �� ���� ������ ������� ����� �����%���� =/3>� ���<������� �� �������� ��� ��� ������� ����� ����

�� ��� ����� ������� ���� �������� ��� ��� ���� ��������� ������������ �� � �� ������ �������� ���� �� ! �������� �� � ������� ������ ���������� � ������ �������� � ������ ����� �� � ������������ ��������

��������� ��������� =/.>� ��� ���� �� ��� ���� ��������� � ���������������� �� ������ ������� � �������� F��� � � � =/88> �������� �� ���� ���� �� ! � ���������� ���� � � ��� ������� ���������� � �������� ������ ������ ���� ������� ���� �� ���� �� ������ �� ������ ���������� ���� ���� � ����� �� ������� ��� ����� ��� �� ��� ���� �� �� ������ ������ �� � � �������� ��� ��� �� �� ����������� ��� ��� �������� ���� ���� ������ � ������ �������� � ������� �� ������ ��� ����� � ������� ����������� �� � �� �� � ������ �� ����� �� ����� ������ ���� ! ������� �������������� %�������� =/8> ��� ���� �� ������������� �� ������� ���������� �������� � ������ ��� ��������� �� ������� �� � � �������� ���� � ��� ���� �� �������� ���� �� ����� ���� ��� ������ �� ���������� �������� � ������� � ��� ������� ���� ���� ��� � ���� ����� �� ������ �� ������������������� ���� ���� � ����� �������� ����� ��� ���� ��� �� � � ������� ��������� ����� ������ �� � ���������� ������� ��� �������� �� ������� ��� �� ������ ������� ��� ����� �� ������� ���������� ��� ���� ��� ����� ���� �����<�� �� ���������� �� �� ��� �������

����� �� ��� ���� � �

%����� ������� ���� �� � ������ ������ �� ���������� �� � ���������� �������� ��� �� ����� �� ��� �� � ����� ���� � ������� �� � � ������� ������� �� � � ������ ������ � � ��� � ���� ����� ��� "���� � �� ��� ������ � ������� �� � G �B��� ��C� � � � � B��� ��C�� ����� ���� ������� ����� �B��� ��C �� �������� �� � ����� �� G =���� � � � � ���>� ���� �� �� � ������������ ��� � ���� �������� �� ������� �� ��� ��� ��� ������� ���# ��� �� ��� �� G �B��C� ����� ���� � ������� �� �� � ����� � G �/� � � � � ��� $������ ������ �� � ������� ���� �� � ������ ����� ���� � ������� ���� ����� ��� ����� � � ������� �� �������� �B�C ����� ��������� �� ������������� � �� ������� ���� ������� �� ������ � � ����� ����� ����

��� ��������� �� � ��� ����� � �� ������� ���� �������� ��������� � �� ��� � ������������� �� ������������ � � ��� ������ �� ������� � � ������� � � � �����

2

Page 14: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������ ������ �� �� � ������� ������� ���� ��������� � ����� � G �B�C��� ��� ����������� �� ��������� �������� �� � ���� ��� �� �� ������� � ���������� ���� �� �� ����� �� ������ ������ ��� *�� ���� �� ����� � �"$!(7��EH7�� ��� ����� � ����� ������������� ��� � �8� /�� �������� ���� ������ ����� ��� �� ��� � ��� �� �� � ������ ���� � G �8� /������� ��� ���� �� ��������� �� ��I��� �� ��I���� �������I������� �� ����� ����I�� ����� �� ��� ����� �� ���� �� �� ������ ������� ��� �� ����������� �� ��� �� ��������� � !������������� ������� ���� � �� �� ����������� ����%���� � ������ ������� �� �� �������� ������� ��������� -�� �

�� ��� �� � ������ ������ �� ���� � �������� �� �������� � ������� ������� � �� ���� ������ � ���� �� ����� �� �� ������ � ������������ � � � �� �� �� ������ ������ �� �� ���������� ���� �� � ���� ��� �� �� �� ���� �� ������ ������ �� �� ������� ��� ����� ���� � ������� � � $� �� ���������� �� ���� �� � ���� �� ��������� ������ ��������� � � �� ���� �� ���������� ������ �� �� �������� ������� ����������� �� � ������ � ����� � �������� �� ���� ����� � ���� ���� �������� ����� ������� �� ���� ���� � ������� � ���� ���� �� ������������� �� � � ��� ���� �� �� ���������� �� �������� � �� ���� �������� � ������ ���� �� �� ����� �� ������ ������ �� � �� ����� �� �� ��������� ������ ������� �� ������ � �������� � ��� �� ��� �� �� ������ �� ���� �� �������� ����� ��� � ��� �� �� ������� ����� ��� "��� �������������� ������ ������� ��� �� ������ �� ������ � ������� ����� ����� � � ������� ������ �������� ������ �� ������ ������� ����� ����� ��� ��� ���� ���� ���� �� ���

������ ������� � ������ ����� ������� � �������� � ����������� �������� ����� ��� ����� � ������� ��� ���� ����� �� � ���� �� ������������� ������� ���� �� �������� �� �� �� =0/>� �������� ���� =28> �� ������������ ���� =16>� �� ��� ���� �� �� ���� ����� ��� ����� �,3 =14>�%6�5 =2/>� %9. =//>� $J =0/> ��� �%! =5>� &��� ���������� ���� �� �� �� ��� ����� ������� ������ ��� ��������������� =26> ��� ������ ������������ =.4� 4/> ���� � �� ���� ����� ��� ����������� �� ��� �� ����� ������� �� �������� �� � ������ �� ����� ������ =08� 4.>� ��� ������� ����� ��� ������� �� ��������� ���������� ������� ���� ����� ����� �������

����� ��������� �

�� � ������ �� ������� )�++��� � � � =1/� 1.> ��� ��� � ������� ��� ���������� �������� ���� ���� �� ����� ��� ��� ���� � �������� �� ! ��������� �� ��� � �� ��������� � � ����� ��� ������� ������ �������

4

Page 15: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� �������� ��� ����� � ����� *������ � ������� =03>� ������ ��������� =.5>��������� ���� =28> ��� �� �� ��� ����� ������� ������ ��� ��������������� =26>� ��� ��� �� �� ����� *������ � ������� ������ ������������� ��� � �� ��������� �� �� � �� ������ �� ����� �� �� ���������������� �� �� � ��������� ��� ��� �� ���������� ������ �������� � �������� ��������� ������� � ���������� ������ ��� �� �� � ��� ������ ����� *������ � ������� �� � ����� "����� ��� #����� ����� ��������� � ��� ������ ���� � ��� ������ $ ���� �� ����� $���%��� =3>�� �� ���� ���� � )�++��� ��� *� ���� �������� � ����� *������ � ���������� � ������ ��������� � ���������� � ������ ��� �� ���� � ������������� ���� ��� ��� ���� ���� �� ��� ���� �� ��� ����� ��� ������������� ������� ������� �� � ���� ��� �� ���� �� ����@� �������� ������������� ���� ����� ���� ���� ��� �� ��� �� �� ������������� �� ������� �� ���� �� ��� �� �������� �� ��� ���������� �� ����� ���� �� ����� �� )�++��� � � � =1.> ��� ������� �� ����������� � ��� ������������������ ������� �� ���� � �� ����� ��� �������� �� '������ � �� ���(����� ���� ����� ����� ��� ����� �� �� ��������� �� ���������

���������� ���� � �� ���� ���� ����� )�� ��� ���+�� =04> �������� ������ �� �� &" ����� ����� ������� �� �� ��� ������ �� ������ ����� �� ������� ������� �� ���� � �� ������ ���� �� �� �������� ����� ���� ������ ������� � ������� � ���� ������ �� ����� ����� ���������� ������ �� ������ ��� ���������� �������� � ����� ��� �������������� ��� ��� ��������� �� �� �� ������ � �� ����@� ���� �� �� ����������� �� ��������� $ �������� ���� �� ����� #�#� =.0>� ������ ��� �� ���������� �� ��� ����� ��� ���������� ������� ��� ��������� ����� �� ����� �� �� ����� ������� ����� ��� ������ � ������������������ �������� #�#� �� � �� �� � � ����� �� ��� ����� �� ������������������ �������� ��� ��� ������ �� ������������ ������� � ����������� � ����� �� � �� ��� ���� � K���� ��� (�� =/8/>� ��� ������� ����� ����� �� ����� ������ � ��� ��� ���� �������� ��� �� ��� ������� ���������� �� ���� ���������� ��� ��� �� ���� ���� �������� ����� �� ���� �� ���������� ��� � ��� �������� ����� ��� ������ ������ ��� � ����� ����������� $������� ����� �� �� ���� � ��� ���� ����������� �� '������ #�$ ���� ����� ������ �� �� �������� �� ��� ������� ��� �������

��������� ����� ������� � ��� ��� ���� ����� �� � �� �� ��������� �������� �� ���������� �� ���� ��������� ��� �� ��� �� ��������� � ������ ������� ��� ������� �������� ���� ��� ���������� (����� � � � =20>������� ��� �� � ������������� ���� ����� ����� �� ���� ���������������� ��� ����������� �� ���� ��� ����� ����� �� ���������� �������� ��� �� ���� ����� �� �� �������� ������� ������ �� ����� � ���

/8

Page 16: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� ������� �� � �� ���������� �� ����������� �� ���� ����� ��� ���� ����������� �� ���� ���� ��� �������� � ��� �� �� ����� ����� ���� ���� ��� ������� ��� ������� ��������� !������� ���� ������� ������ �� �� ��� � �� ���� ��� ���� �� ������� ������ ����� � ��� ���%���� =64> ��� �� ��� ����� �� �� ��������� ���� �

��� ��� ����� ������ �����

-� ��� ���� �� � ���� � ����� �������� �� �� ��<�� ���������� ���������� ��������� �� �� ����� ������ ���� B��(C� �� ����� �������� �� ������� ��� �� ����� �� ������ �� ������� ���� �� =.� 34> �������� � ���� ������� ������ ���� �������� ����������� =6.>� ��� ��(� �� � �� �� � �� ���������� �� ��� � ���������� �� ��� ���� �������� ��� � �������� ���������� ���������� �� �� ����� ��������� �������� �������� ��������� ��������������� ��������� �������� ���� �� �������� ��� ������� ����� ���� �� ��� ������ ������� ����� ��� ����� ����������� ��� �������� ������ ��� ������� ����� ������� �� � ����������� ������ �� ����� ������ ���� � �� � �� � �� �� � �� ��� ������������ ��������� ���������� ��� �� ��������� ���������� �� ����� �������������� ������ ������ ��������� �� '������ � �� ��� � ���� �������� ������� ���� ���� �� ��� ���� �� �������� � ��� ����� �� <����� ��� �� ��� �� �� ����� � �� ������� ��� ����� ��������� �������� ����� �� ������������ �� �� ��� ����� ���������� ���� ����� ������������ ������� �� ������� ���� ������ ���� �� � ��� � ������� �� � �� � ����� ����������

��������� ������ ������� ���� �� ������� ������ ��������� ������ � � ������� �������� ��� ������ ���� ��� � ������ � ��� �� ���������� �������� ��� ��� ���� �� ����� ���� ������ ��� ��L�� ������ ���� ���������� ��� ����+���� ��� ����������� ���� ��� ���� L���� ������� ��� ���� ���� �� �� ���� ���� ��� ����� ����� ������� �������� �� ���� ��� ��� ������ ��+��� �� ����� ���� ��������� ������ � ������� ���� �� �������� ����� �� �������� �� � ����� �� ������� �� ������ ������� �� �� ��� ��������� � ������ ��������� ������ ���������� ����������� �� �� �� ����� ��� � ������ �������� �� ��� ��������� ������ ����� ������ ������� �� �� ������� ���������� ����� �� ���� �������� �� ����� ������ ����� �� ��������� ��� ������������� �� ����� ������ �� ��� �� ����� �� �������� ����� ��� ����� ��� ��������� � �������� ���� �� ����� ������ ���� ��� ���� � ������� �� ������ �� �� ���� ��� �� ��� ��� ���� �� �������� �� �� ������ �� ���� � ������� ������� ��� � �� �� ���� $������ ������� ��

//

Page 17: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������� ���� ���� ������ ��� � ������ ������� ��� �� � ����� �� ������� �� � ����� � ������ � ������� ��������� ��������� � ������ ����������� �� � ������ ��� �� �� �� �� � ����� �� �� ����� ��� �������� ������ ����� ���

��� � �� ������� ���� � ������ ���� �� ���� � ��� �� �� ��� ���������� ��� ���� ��<�� � �����A ����������� ������� ��� �� ������� �� ����� �������� ���� ��� �� � �� �� ���� ������� ����� ��������� ��� ��� ������� �� $���� *�� '���� ����� ����� ���� �� 58M� 08M �� � �������� ���� ����� �� ����� ���� ���� ��������� �������� ������� � ��� ��� ����� ��� ������� ��� ���� ���� �����A ����� ����������� ���� ��� ���� ����� ��� ������ � ��� �� �������� �������� �������� ����� ������ ����� � � �� �� �� �� ��� ����� ��� ������� ���������� ���������� $� ����� �� �� ����� ������ ����� ����������� � �� ���� �� �� � � ����� ���� �� ������ ��� �������� ��������� ��� ������ �� ��� ��� ���� �� ����� �������� � �� �������� �� �� ������������� ������ ����������� ���� ������� �� � �������� ������� ���� �� � �� �� ������� �������� ����� B$)%�C� -�� � �� �� ���<�� �� �������� ��������� � �� ����� �� $)%� ������� ��������������� ���� ���B)EE�C �� ���� ������� ����� �� ������� � ������ ������ � ��������������� �� ��������� ��� ����� �� �� H��� ����������� �� ������� ��������� � �� $)%� ������ ���� ��� ������ �������� ��� ������������� �� ������� �� �� $)% �� ��� �� % ��� �� ��<�� ������������ � ����� �� B �%���C� �% ���� ���� ��� ������ �� �� ��� �� ��������� � ��� ��������� �� ������� ����� �� �� �� ����� ���� ��� �� ���� �� �������� ������ �%��� �� ��� ��� ���� �

leukocytes

granulocytes monocytes lymphocytes

neutrophils eosinophils basophils macrophages T−lymphocytes B−lymphocytes

T−helperlymphocytes

T−killerlymphocytes

"����� .�/A �������� �� ������ ���� �� ���

!�������� �� ���� � ��� �� �������� ���� �� ��� �� ��<�� ����

/.

Page 18: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��� � !��� ������ �� !������� �� �� �� ����� �� ����� �� �� ������� �� �� ����� �� "�������� �� ������ �� ������ �� �� ����� �� �� �������� �� ������# ��� ���� ����� B�������C� ����� ����� �� �� ������ *��� � ������ ������� ������� �� ��������� �� ��������������������� ���� �� ������� � ������ ����� ����� �������� ��� �������� ���� ��������� ��� �� ������ �� �� ������� �� *��� �� ,����� ������������ ����� ���� ������� ��������� �� �� �������� ����� ���� ���������� �� ������� ������� �� �� � �� ��� ��� �� ������ �� �� ���������� ������� ��� ������ ����� ���� ��� �������� �� �� ��������� � ������ �� *��� ��� � ������� � ����� �� ������������ ��� �� �������� ���� �������� ��� �� � � ���� ��� ������� ����� � ������ �������� ��� � �� *��� �� ���� ��� � � ����� ����� �� "����� '�� �� ���������� � ����� �� �������� ����� � ��� ������ ���� ��� ������� �������� ����������� �� �� ������� �� �� *��� �� ��� �� � � ��� �� ��<�� ������������� � ���� �� B �%���C� ��� *��� ��� ���� �� ������ �������� � �������� "����� ��� �� ��� � ���� � ������ �� �� ������ �� �� ������A ���� ������ � ����� ��� ����� ��� �� ������ ������� �����A ����� �� ���

�������� ������ �� ������ �� ����� �������� �� �� � ����� � ������� ������ � ������ �� �� ���� ��� �� � ������� �������� "��� � ����������� �� ����� � �� ������� ������� ��������� ������� ������ �������� ������� �� ���� � ��� �������� ���� � � ���� ��� �% �� ��� �� ����������� ���� � ��� ��� ���<���� � � ������� �� ������� �������� ������� �� ��� ������� � � ���� ����� �� ���� ������� ��� ������� �� ����������� �� ���� �������� ���� ���� � �� � ���� ���� �� ���� � ������������ �������� �� ������� � ������ ��������� ��������� ����� �%��������� �� ��� �� ������ �� �� � �� ��� ���E������� � �� ������� �� ������ ������� ���� *��� � ���� ��������

"����� '�� ��� ����������� ������� �� �� ������� ������� �� ���� ��������� �� ���� "����� ���� �������� � ���� ��� �� � � �������� ���� ����� � �� ������� ��� ����� ���� �� ��������� ��� �� � ��A ���� ��������������� ��������� ���� ��� ������� ������� ����� �%��� �� ��� ����������� �� �� ������� �� *��� �# ��� �� ������� � ���� ����� � ������������� ����� �� �������� � �� ������� �� �� $)% � �� ���� ���� ��� �� �� �� ����� �� ����� � �� *��� � �� ����� � ���� � �� ���� ��� �� ��� $)% ��� ���� � �� ���� ������� �� �� ������� �� ���� ���� ��� ��� *��� � &��� ���� ��������� ��� ��� �� ���� ��� �� �� ����� "�������� � �� *��� ����� ������ �� *��� � ������ ������ &��� ������ ��*��� ������� � � ��� ���� ����� � �������� ��������� � ���� �������� *��� � ��� ���� ��� �� �� ������� � ������� �������� �� � ������� �� �������� � ��������� �� ������������ � ������ �� �� ��������� �

/3

Page 19: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� ���� ������ ��� ��� ������ ������� &� ���� *��� � �� ���� ���������� ������ � �� ��������� � �� ��� ���� �������� ��� ����������� ��� ���������� � ���� ��� � �� ������� �������� &������ ������� �� ���� ���� �� ��������� *��� � ���� �� ��� ���� ������������� ��� ����� �� ����� ������ ) ���� �� � ������� � �� �� ����� �� ���� ������� �������� �� �� ������� ����� ��� �������� � ����� ���� ��������� � ������������ ���� �� � ��� *��� � ��� � ��� �������� ������ �� � �� �� �� ������� �� �� ���� ������ ������ ������������� ��� �� � � ��������� ��� ������� � ���������� � �� ���� ������ �� ������� ���� ���� ����� �� ��� �� �� �� � �������� ��������� ����� ��� ����� ������� �� *��� ������� ������ ��� �������������� ����� �� ��� �������� ��� ������ ���������

T−killer

B−cell

infected cell

APC

T−helper

help

stimulation

costimulation

stimulation

pathogenstimulation

pathogen

kill

kill

"����� .�.A ��� ��������� �� �� �������� ��� ������ ������

$ ������ �� �� ������ ���������� ������������ ������� �� �������� � ������� �� �� ������ � ��� �� ���� �A ���� �� �� �� ���� �� �� ���� ��������� � ��� �� ������� ��� ������� �� ������������ ��������� ����� �������� �� ������� � ������ � �� �������� ���� �� �������� ������� �� ���� ���� ��� ��� ��� � *��� �� ���� �� �� � ����� ?���@ �������� �� �� ����� �� �� � ��������� ������ �� � �� � ����� ��������

/6

Page 20: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�������� �� ������� ������ � �� � �� ������� ��� ��������� ��� �� ����� � �%�� ���� ��� (�� ���� � ������� ����� � �� � ���� �� �� ���������� ���� ��� �� �� �� � �� �������� ���� �� �� � ���� �� ��� ������������� ������� �%�� ���� ����� ���� ��� �� � ������� ���� �� � ������ �������� �� ������� � ��� ������ ���� � ���� ��� �� ��� ���� �� �%������ ��� �� ����� �� �� � ��� ��������� �� �� �������� ��� ������ ������ ��� ���������� ��������� �� $���� *�

��� ��������� ������ ������

����� �� ���� ��� �����

$� ���� �� �� �������� ������� �� ��( ��� �� ������� ��������� �� ���� � �� ������� �� �� ���� "��� �� ���������� ���������� ��������������� ��������� ��� ��� ��������� ��� ������ �� ��� �������� ���������� �� �����# ������ ������ ������������ ��� �� �������� ������� ��������# ��� ������� ���� � ��� ��������� ���������� ������ �� ����� �� /8� ������� �������� =40> ��� /8� ��� ������� ��������� ��� =02>� ����� � ���� ���� � �� ������ ��������� �� �� ����������� ����� "����� � � � =3/> ������ �� �����A �������� ���������� ������ ������� ������� ����� ������� ��� ��� ����� %������ ������ � ������������ �� �� ��( ��� � � ���� ���� ��� ��������� ��� ������ �������� �� ����� �� ������� ���� � ��� �������� � � ������� ������������ ��� �� ���� �� �� ����� ����������� �� �� ������ ��������� ������������ ������� ������ ����� ��� ���� � ��������� ����� �� ��( ����������� ������ (���� �������� �� ��� � �� ��� �� �� ��( �� ������ ����� ��� ��� �������� ��� ���� ����� �� ���� ���� ��� �� ��� ��� ���� ��( �� ����� ��� ������ ������ �� �� ��������� ������������ ������ ����� ������� ������� ��� ����� ��� �������� �� ������� ����� ������� �� �� ����� �� �� ���� ���������� ����� ����� ����� � �� ����� �� ������ ���� ��� �� !�� � � �� ��� ���� �� �� ��� �� � � ������ ��� ������� � ���� �������� ��� � �� ����� � ������� ��� ���������� $������ ������ ����� ����� ������ �� ���� ����� ������ ���� ����������� � ��� �� ��� �� ���� �� ���� ���������� ����� ,������ ��� � =/0>� ������� ������ ����� ��� ��������� ������������� ��� ���� � �� ������ ���� ����� ���������� ������ �������� �������������� ���� � ������ ��� ������ �� �� �� �� ������� ������ ������ ��� �������� ������ ��� ����� ��� �� � ���� �� ��� ���� �������������� ��� ��� �� �� ������ ����� -�� � �� ��� ��� �� ������������� �������� � �� �� ������ �� �� �� ������ �� ������ � ���

/5

Page 21: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

����������� ��� �� ����� �� ����� �� �� ��������� �� ��� �������$������ ������ ����� ��� �� ����� ������� ��� ���� ���������

����� �� �� ��������� �� ��� ����A ������������ ������� ��������������� ������� ��� �� ���� ������� � ����� ��� ��������� �� � �� � ������� �� ��� ����� ���� � � �� ����� ��� ��� �� ���� ��������������� � ����� ����� ��� ���� ����� �� D����@� ������� ������ ����� =53� 56>� ����� ���������� �� ���������� ����� ������ ��������� ������������ �� �� �� ������ ��������� ��� �������� � �������� ��� ������ ���� ���� �� �� ���� �� N��� � ��� %������ =/5� 42>� 9������ �� ��������� � ��� ������� �� ����� �� �� ����� �� ��������� � ���� ���� �� �������� !�� � ������ ���� � ��� ���� ������� ������ �� ����� *��� ������� ���� �� � ��� �� ����� ��� ���������� �� ����� ������ ����� ��� ���� �� �� ��������� ��������� �� �� �������� ����������� 7���� �� �� � �� ���� ���� ��� �� ������ ���� ���� � ��� ������� �� �� ��� �������(����� ����� ������ ���� �� ������� ������ ���� ������ ��� ���

� ������� ����� ���� � ���� ���� ������������� ������ �� �� ������ ���������� �� ��� ������� $� �������� �� ������� ������ ���� ������������ ��� ������� �� ����� � ,������ ��� $���&���� =/1>� ��� �� �������� ��� ������������� ��� ������� �� ������� ������ ���� �� ������� �� �������� � ,������ � � � =/4>� ,� %���� � � � =./> ������ ����� �� ����� �� ��� ������� �� ��� ������ ���� ��������� ������������ ��� ���� ���� �� �� ���� ��������� ���� �� ����� ���������� ��� ������ � �������� ��� ��� ��� ������� ������ � ���� ����� ������� ��� ����� �������� ����������� ������� ������ ��� ������� ��������� �� ����� �� ��<�� ����� ��� ����L �������� �� �� �� ����� ��������$ ����� �������� ���� ����� � ���� �� ������ � ��� ���������� �������� ������� �� ������� ��� �� ������ ��� ��� ������ �� ������� ������������

����� ��������� �

*�**� ������ �������

$ ������ �� ������ �� �� ������ ����� ���������� ������ ���� �� ������������ ���� � ���� ���� ��������� "����� � � � =33> �������� �� ���������� ���� ����� �� ��� � ��� �� ������� ��� ����� ������������������� �� ��� � ��� �� �� ��(� ��� ���� ��� �� � �������� ������������� ��� ������� ���� �� � �� ��� ���� �� �� ������������ ������ ��� ����������� ��������� �� ���� �� -����� �*�*�� ����� ���� ����������� �� �� ��� � � ���� ������ ������ �� ���� ���� ��� ��� �

/0

Page 22: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������� ������� ����� �� ���� ����� ��� �� ����� ��� ������� �� ������������ �� � ���� ������ �� ������ ��� �� ���� ��� ���������� �������� �� ���� ���� ����� � ��� �� ������ ������� ����� ���� �� �� ��������� � ���� ����� �� ��������� ������ �� ����������� �� ������������� �� ����������� ������ �� �������� �� ������� �� ������� ��������� ��� ������ � ����������� ��� ��� ��� ���� �� ��� ����������� (��� �������� ���� � �� ���� ������� �� � ,� %���� ��� ������ =.8>� ��� ������ %���� =64>� ����� ���� ����� ���� ������� ����� �� �� � -�� ��� ��������� �� ������� ���� ������� ����� �� �� ������ ������ ������ �� ������� ������ ���� ������ �� �� ��� �� ��� � ��� ������ ����� �� ��� �� ��<��� �� � ���������� ���� ���� ������� ���������� ��� ������� ����� ��� �� ��� ����� ������������ �� ������� ������ �� ��� � �� ������� � ������� ��� �� ��� � ����������� ��� ���� ������ � ��� ���� �� ������� ������ ���� ����� ����� ���� ���������� ��� ������� ����� ��� "����� � � � =.2> � �� �������� �� ��� ���� ������ ����� ���������� ��������� �� ������ ���� ���� � �������� ����� ���������� ���� ������ ������� ������ ���� ��� ��������� ����� � � ������ ��� ���� ������ ��� �� � ������� ����� �� �� ��� =60>������������� ����� ���� ����� ������ ��� ������� �� �� ������ ��

���������� �������� ��� $�( � ������� �� ��� ����������� ��������� �� �� '������ �� �� ���� ����� �� �� ������������ ������ ������ ��)��� ��� ,� D��� =12>� ��� ���������� �� ��� ���� �� �������� �� ��������� ��� �� ������� &��� ���� ������������ ���������� �������� ������� ��� ��� �� �� %���� =1>� ��������)*� ����� ���� � *� ��� ���� � � ��� ��� ������ ������ �� ���� ���������� � ������� ������������� �� ������ ��� �������� ������ ���������� %���� �������� ��� �����@� ����������� ������ ������ ���� ����� ������� ������� � ��������� �� ������� ������� ������� ��� ���� ��� ���� �� �� �������� �� ��� � �� ���������� ��� �� ������� �������� ��� �� �� ����� �� �� *��� � ����� �� ���������� ������ �� �� ��� �� ����� ����� � ���������� �� �� ��� �� ����� ������������� (����� ������ ��� ������ ���� ������ � ��� ���������� ��� � ���� ��������� ����� ���� � �� ����������� ��� %�+�� ��� $���� �� =2� 4> �������� ��� ��� �� ����������������������� ���� ��� �� ���� � �� ������������� ���������� ������������� �� ������� ������ � �� ���� ����� ��� �� ����������������������� ����� � ��� ������� � �� ��������� ����� �� ������ ����� ����� ��� ��� � ���� ���� �� �� �� �������� � ����� ����A ��������������� �� ������ ���� � ���� �������� ��� �� ��������� �� ������ �� �� �� ��� ��� � �������� ������ ������ ��� ��� ��� ��� ��� ����������� �� ���� ���� ����� ������������� ���������� ������������ �� ������� �� ���� ���������� ������ �������� �� �������

/1

Page 23: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������ ������� ��� $���� �� =05> ��� ��� �� ������ ��� ����������� �� ����� �� ���� �� �� ��� �� ������ ������������� ����� �� ������������ ������ ���� �� �������� ���� �� ��� ���������� �� �� �� ��� ������ ��� �������� �� �� ��� ���� � � ����� ��� ������N������ ������ �� ������������ ��������� ��� ������������ �������

���� ���� �� ��� � ������� ��� ��� ����� ��� ��� =5.> ���� � �� ����������� ��� ��� ��� E��� =68> ������ � ���� ����� �������� ����������� ������ ���� ��� ������ ��������� ����� =50> ���� � ��� ������� ��� ��� ����� � ����� ������ ������ � ������ ���� �� � �� �� )���� ��� ,� D��� =12>� ���� ���� �� ���� � ������� � ������� �� ����������� ��������� ������ � � � =43� 46� 45> ������� �� $�( ���� ������� ���� ������������ ������� � ������� ��� ����� � ���� ��� ��� ���O������ �������� ����� ���� ��� �� � ���� ���� �� *��� � ��� ��� ������ � ���� �� ������ ���������� � ���� �� *��� � ������ ������ �� ��� ���� �������� �� �� ������ �� ���� ��� �� ����������� ���� ������������ ������� ������� ��� � �� �������� �� ������� ��������� ��� ��� ����� ��� ��� ��� ��� ����� ������� $� � ��� ����� ��� ��� ������� � ������������ ������� ����� $ ��� � � � =/> ��� ������ ������������ ���� ������������ ���� � �� ����� �� � �� ����� �� ����� ����� ������� ��� �� ��� ������� ��� �� � ���� �� ���� ���� ������� ���� ������ �� ���� ��� ������� ��� �� �� � ��������������������� �� ���� �������� ��� �� �� � ����� ������ � �������� ��������� ��� ���� ����������� � �� ��� ������������ ������ ���� ����� ������ �� ������� � ������� ���� ����� � ���� ���� �� ���� ��� �������� � ���� ���������� ������ �� ����������� ��� ������� ���� �������� �� ��� ��� ��� � ��������� � ��� ����� ������������ ���� ���� � �� ������ ������� ������ � ������ �� ������ � ��� ������� � ���������� � ���� ����

*�** )������ ��������

$ ����� ���� �������� � �� � � ���������� ���� ��� �� ���������� ���� ������ �� $�( ���� � � ������� ������ ��� ���� ����� � ����� �������� ��� ����� �� �� ���� ���� ����� �� ������� ���� �� �� ����� ���������� � ����� � ������� ������ � ��� ����� ��������� ��� � ������� �� ��� ������� �� ������������ ����� � ������� ������ �� ��������������(����<� � � � =48> ������� �� ��� ������ �� ������� ������ �����

� ������� ������ ���� � ������ ����������� ��������� � ������ �������� ���� ��� ����� �� �������� �� ���� ���� ����� ���������� ���������� �� ���� ������ ��������� (����� �� ���� ��� ������� ���

/2

Page 24: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

���������� �������� � � ������ �� ������� ������ ��� "����� =66>�������� +,��"� � ������ ������� ������ ���� ����� ����������� ����� �������� ���� �� ������������� �� �� ����� ������ ����A ����������� ��� ��� ��� ������� ��� ��������� ��� ���� ���� �� ������ �������� ������� ���� ��� ��� ������� �� �� �������� ������������ � ���������� ��� ������ �� �� � ������� �������� ����� �������� � ������� ����� =61>� ��� ���� � ������ ������� � ������� �������� ������������ � ���������� �� � �� ����� � "����� � � � =.2>� ��� ���� ������� � ������� ���� � ���� �� ������ ����� "����� � � � =3.>�������� �� ����� ��� ������� ����� ��� ���� ������� ��������� ���� ��������� ��������� ��� �� ����� �� � ������� ������ ��� ��� �� ��������� ����� ��� �� � ���� � �� ����� ��������� �� ���� �� ���� �� ���� � ����� �� �� �������� ��� ��� ���� �� ������������ ���� � �������� ��������� �� ���� �������� ��� ���� ������� ��������� ������ ������ � �������� ��� � ������ $� �� �� �������� ������� ����������������� � �� ������ �� ���� ������� �� �� ������� �������� ��� ��� ������ �� ��� ���� �� �� ������ �� ���� ������ ����� ���� �� ���������������� � ������ � �� �� � �� ��� ���� �������� ��� ��� �������� �� ������������������ � ������� �� � �� ��� ���� �� =36� 35� 6/>� ��� ��� ��������� ����� � ������� � ���� ���� �� ���������� "����� ��� ������ =38� 63>� �� ��� ��� �� ��� �� ������� ������ ����� �� ������ ������� �� ������ � ���� ����� ������� ������ ������ ��� ����� ������� ���������� ����� ��� �� ��������� ��� ������ ����������-�� � ������� ������ ��� ���� �� ����� ���� �� ��� ������ �� �������

����� ����� ��� ����� �������� ��� � � � =58> ���� ��� ���� �� ��� ������� �� �� ������ �� ����� �������� ��� �������� �� ������� ���������� �������� � �������� ���� ������ �� ��� ��� ������� ���� ������� ����� �� �� � � ���� ��� ���� ������ �� ������ ��� � �� ����������� ��� ��� ������ ���� ����� ����� ���� ������� �� � ���� ����� �� *��� � ����� ��� �� � � ������� � ��� �� ����� ��� �����������

*�**� .��������

-�� � �� ?�������� @ ��� � ������ ����������� �� ��� ��� ������ � ��������� ������������ ��������� ���� ������� ��� ���� ��������� ���� ��� �� � ������ �� ���� ���������� ���� ���� ��� ��� �������� =06>���� �� �� ������� ������ ��� ���� ������ ������ �� ��� ���������� ���� � �� *��� ������������ ��� ��� �������� �� �� � � ��� ���� ��� ����� � � ������ ��� ���� �� ��� ������ � ���� ��+�� $ ���� �� ������ ��� ������ � 7���� � � � =.1>� ��� ����� � ������� ���� �� ������ �� ���� ����� ��� (� �������� )��� �� �� ����������� �����������

/4

Page 25: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��� �������� ������������ �� �� ��� ��� ������������ �� ������ ��������� �� � ��� ����� � �������� �������� �� ����������� �� �������� ����� =62> ������� �� ����������� �� �� ������������ � ������� �� �� ������ ���� ������ �� � �������� � ������ ���� �� �� � ������ ���������� ����� ��� ��� �� �� ������������ � ������ ������������� ������� �� ��� ���������� ��� ��� �� ���� ��� ��%���� � � �� ����� ��������� ����� �� �� ���� ��� � ���������

����� �� �� � � ������� ��� ������� ������ ���� ������ -� ������� �� � ��� ������� ���� � ������ ���������� ��� ���� ������ � �������� �� ��� ������ � �������� ��� ��� � ������� �������� ��� ����������� ��� �� ���� �� �� ������� �� ������ ������� ��� ��� ��������������� ���������� ��� ������� �� ����������� �� ��� ������ � ��������� ������ �

��� ����������� ����������

��� ���� ��� �� ��� ���������� ���� ���� ����� �� ���� ���� ����� ��� ��������� ������ � ��� ������ �� ������ � �������� ��� �� � ������ ����� �� � ����� �� ��������� ���������� &�� ���� �� �������� �������� ������ � ���� ����� �� ������ �� ����� ���� �� �� �� ��� ������� ���������� ����� ����� ��� ������ �������� =2.>� ������ ������������ =51> ��� ������ � ������� =65> ���� �� ���� ������� ��� ����� ���� ������ ���� ���� ����������� �� ����� �������� � �� ��� ������� �������� �� �� ��� ���� �� � ���� ���� �� �������� �� ����� �������� ��� ������ �� �������� �������� � ����� �� ����� ��� ������ ���������� 7�� ������ � ������� ���� ���� ��������� ��� ��� �� �� �� ������ ��� ������� ���� ��� �� � ���� ����� �� �� �� ��� ����� ������������������� �������� ������� ������� ��� ���������� �� �� �� ������� �������� ������� ��� �� ������� �� ����� ��� ������ ������ -� ��������� �� ���� ������ �� ��� ������ � ������� ��� ���� � � ��� ������������ ���� �� �� ����� ���� ��� �� ��� ���� �� ������ �������� ��� ���� � ������ � ����� �� ��� ���� �� ���� ���� �� =32� 0.>� ��� ����� ������ �����������

����� ����������� ���������

�� � ������ �� ������ )��� ��� ,� D��� =15� 10� 12> ��� )���� ,� D��� ���'�������� =11> ��� ��� �� ��� �� � ���������� ����� ������ � ������

��� ���������� ������ � �� ���������� ���� ��� �� ���������� ����� � � ������� ������� �� � ���� �� � ��� �� � ���� �������� ��� ������� ��� �����

.8

Page 26: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��� ������� ���������� ��� ��� �� ��� ���� �� ������� ����� ���������������� �������� �� ��� ��� ������� � �������� ����� �������� �� �� ������� �� ��� ���������� ��� ��������� �� �� '������ � �� ��� *���L�� ���� ��� �� ��� ���� �� � ������ �� ���������������� ����������� ���������� � �� ����� �� �������� ����� �� ����� � �� ���� �� � ����� ������ �������� � ���� � ���� �� �� ����� (���� � � � =24> ����� ��� ��������� �� �� ���� � �������� �� ������ �� �������� ����� ��� ������������� �� ���������� ����� ������ ����������� ����� ���� ���� ��� ��?�������� @ �� �� ���� ������ ������� �� ��������� � �� ��� ���� �������������� �� ��� �� �� �� ���� ���� � ������ ��� ������ 9��� =00> � ������������ �� ������������ �� ���������� ����� ���� ��� ���� �������� ������� ��� ����� �� ���� � ������� ��� �� � � ������� ����� ������� ������������ %����� ������� ���� � �� ���� ������ ����� � ����� ������ ��� ������ ���������� � ����� �� ����� �� ����L ���� �� �� ����������

����� ������ � � ��� ���� ���

�� =..>� ,� D��� � � � ��� ��� �� ��� �� ������ � ������� �� �� ��������� ��� �������� �� ������ ������� ������ ����� ���������� ������ ������� -+!�.� �� ����� ������ � ������� ������ � ������ ����� ��������� ����� �� � ���������� �� �� ��� � �� ����� �������� �� �� � ����� � ����������� ���� ��� ����� �������� � ��� ���� �� ����� �� ������� �������������� � ������� ��������� �� �� � ���� � ��������������� ������������� �� ����� �� ������ ������ �� ����� ��� ��� � � ����� <�� ���������� ����� � ���� �� ������� ��� &��� -+!�. ��� ���� � � �������� ����� � ������ � ������ �� �������� ���� �� � ������� ������ � ����� ���� ���� � ��� ��� � ������ ������� ����� � �� ��������� �� �� ���������� ����� � �� �������� � �������� �� ���� �� ��� ��� ��� � ������� � ������� ��� ��� � �������� �������� ����� �� ������ � ������� �� �� ����������� �� ��� ��������� �������� � �� � �� ��� ������������ �������� � �� �� ���� ������� ������ ������� � ���������� � �� ����� � ����� �� ������� ��<����� ������ ������� �� ����������������� �� ����� � ������ ������� � ������� ������������&��� ���������� � �� ��� ���� �� � �������� ���� � �� ���� ��� �����

"� ��� � � � =.4> ��� ��� �� ��� ���� �� �������� ��� � �������� ����� � �� � � �� ������ ����������� �������� ��� �������� �� ������� ��� ����������������A � �������������� �� ��� ���� =/6>� ��� � ����������� ������������ =13>� ��� �� ��� �� ��� ������� �������� ���� � ������� �� �������� ���� �� ����� ����������� ��� �������� �������� '����� ������������ �� � ����� ��� �� ��� ���� �� � ���������� �� �� �� � �� ��� ���� �

./

Page 27: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��� � � � =4/>� ,������ ��� '��+P� �+ =/2> ��� �� ���� �� ��++ � ��������� �� ����� � �������� ���������� ������ � ������ ��� � ����� ��������� �� �� �� �� ��� ������� ������ ��������� ����� ���� � ��� ���������� '������ � ��� ���� ������� ��� �� ������� ����� ��� ���� �� ��������������"����� � � � =33>� �� � ���� �������� �� -����� *�**�� ��������

�� ������ ���� ���� ����� �� ��� � ��� �� ������� ��� ��������������� ��������� �� ��� � ��� �� �� ������ ���� ��� �� ����� � ������� � ������ � �� � ����� �� �� �� ����� � ������� ���� ���� ��������� ���� ���� �� ��� � �� � ������ �� ����� ������� ����� ���������� ���� �� � �� ������� ����� ���� � ������� � ������� ����� =61>������� ������ � ���� �������� ��� ������ �� =22>� �� ������� ��������� ��� ��� ��� ����� ������� =.3>� ���� ���������� �� ������� �� ������� ������ ���� ��� � �� ����� �������� � ������ �� ��������� ��� �������� ������ � ������� ����� �� ��� ����L ��������

����� ���� ������� �������� ��� ����������

��� ���������� �� ������ ������� ����� � ���� ���� �� �������� ����� ��� ��� ������� �� �� ��� ������ ����� �� ����� ���� ����������� ����� ��� � ������ ������ �� ��� ����� ��� ���� � � �������� ����������� �������� ����� ������� ������������ ��� ����� ������� ����� �� �� ���� ���� �� -����� *� �� �� ����� � �� � ��������� �������� � ���� ���� �� ������� ��������� �� ��� ��� �������� ������������ ��� � ������ �� ������� ��� ������ ������ �� =21>� (������ "����� ��� �� � ������������ ���������� ������ � ������ ���� ������������ �� ������� ����������� � �� ��������� � � ��� ��� ������������ ���������� =.3>� ��� ��� ��� �� �� �� ������� ���������������� �������� ���� � ������ � �� �������� ���� ������ �� ����� ��������� � ������� ��� ���� ��� ��� ����� �������� D��� ��� -��� =55>� �� ��������� �� ������������ ������ � ������ ����� ������ �� ��������� ������ � ������ ������ �� ���������� �� �� ��� ������ ������������� ������ �� ������� �� ���������� ��� � ��� �� ������ ��� ������ ������� � ������ �� � 66.��� ����� ��� (� �������� )��� �� ������ �� � ������ �� ����� �� ���� �� �� ����� �� �������� ��������������� ��� �� �������� � ����������� ������ ���� ������ �������� ���� ����� ����� -� ��� ����

�������� �� � ������� � ���� �������� ������� ���������� �� ������������ ��� ��� ������������ ������ ������� ����� ����� ����� �� ���<������ �� �� ��� �������

..

Page 28: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������ �

�������� ��� �������

:�� �� ����� �� ���� ��� ������ �� ���� ���� ������� �����%����� ����� �� � �������� ���� � ��� �� � ����� ���� ������� � �� �� ��� ��� �� ��������� ��� ���� � ��������;

E���� *���� � B/224�/465C�

�� ��� ������ �� �������� �� ���� �� ������ � ��� ������ �������������� ��� �� �� � �������� ��� ������ � �� ������� ������ ����B$�(C � �������� ��� �� ����� *������ � ������� B9*%C� ,���������� �� ������������ ��� ������ � ������ ��� �� ��� ��� �� ��� ��� �� ���������� ��� �� ������ �� �� ������ �������� � ������ ��� ����

��� ��� ����������

�� ��� ������ �� �������� �� �� � �������� ����� �� �� ������ ��� �� ������������� ��'������� � ��� �� ��� ���� ������� ���� �� �� ��� �� ����� ���� � �������� �� � ��� �� �� ����� � � ��������� �� ��������������� �� ������� �� �� ����� �@� ������ ������ �������� �� ��������� �� ���������� � ����� �� �� ���� ��� ����� �� ������������������ ��� �� ���� �� ������� ��� ���� -� ����� � ���������� �������������� � ��������

����� �� ����!��� ���� � ������ �����!��

��� $�( � ������� �� ����� �� ��� ��������� � )��� ��� ,� D��� =12>� ����� �������� �� � �� �� �������� ���� �� ����� �� ��������� �� � ����������� �� �� ���� ���� �� �� ������ ������ � �� � ������ $��������

.3

Page 29: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��� ���� ������ �� � ��� ��� ��� ������ � ����� �������� �� ����������� ������� ��� ������ ������ ��� ������ ����� �������� ������ � ������ ���� � ���� ��������� ��� ������ �� �� ���� ������ ������ ��������� ����� �� �� ��������� �� ������� ��� �� �� ������ ��� ������������ �������� �� �������� ����� �� ������ ������� � Q� "�� ����� ����� �� ������ ��� ������ ����� ����� �� �(�� �*�� ���� ��� . ���������� �� �� 5 ����Q ���� �� �� ������� ������ ������ �� ������ ��������� ����� �� �

�G 8�6� ��� �� �� ��� ������� ������ ��� �� ������

��� �� ������ � �� �� ������ � �������� � ���� � ���� ���������,������ ��� �� �� ��� �� �� ���� ��� 8 �� ��� /� ��� � ��� 8������� �� �� �� ����� ������ ����� � �������� �� ������ ����� ������� �� ����� �� ��� � � ��� / ������ ������� � �������� ������������� ������ �� �� ��

�������� ��������

,������ +����� ��������

��� � 3�/A 7���� � ������ ��� ������ �����

����� �� ���� "������ �����!��

��� ����� *������ � ������� =.5� 03>� � ������� ���� ����� �� � ������������� �� ��� �� ������� ���� �� � ������ �� ������ ����� �� ������ � ���������� � � ��� ��� ��� � ������� �� ������ ����� �� �� ������ � �� � ������ ����� ��� ������� � �� ������� "���� � �� � G =��� ��� � � � � ��> �� ������� ����� ���� �� �� � �������� ��� ��� G ��� �� � � � � �� �� � �� ��� � ������ ��� �� � ��� �� � �� �� 9*% � ������� �� ����� � � ���� ������ � �� ����� �A

�� G ����������

� B�C��

���

� B����C� � �

&� � ������� ��� � �� 9*% ��� ��� � ��� ���� �� �� ���� ���� �� ���� �� ��������� ������� ���� ��� � ���� ���� ���� ������ �������� �������� ������� ����� �� �� ��������� �� -����� �*� �� ���

��� ��� ����������� ���������

��� ������ ���� � ��� �� �� $�( ������ ������ �� ����� �� � ����� ������� �������� ��������� � )��� ��� ,� D��� =12> ����L �� ���� �� ��

.6

Page 30: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� ������� ��� ���������� ����� ������ � ������ ������� �� � �������� ���������������� ������� �� �������� ����� �������� �� �� ������������� � ��� ����� ���� ��� ��� ������ ����� ���� ������� ����� ������� ��� ���� �� ��������� �� ��� ��� ����� ������ �� ������� �� ����� �� ��� ���������A � �������� ���� �������� ��� � � ���� ��������� ����� �� ����� =8� />� ��� ������ � ���� �������� ��������� �� ������� ��� �� ������� �� � ��� ����� ���� ������ ������� � Q� �� ������� �� 8 �� /� ��� �� ���� �������� �� �� ������ �� � ������ �� �� ����� /�$ ���� ���������� � ��� ���� ���� �������� �� �� ��� ������ ��

���� ������� �� ������ ��� �� ����� �� ��� ��� ���� ���� ��� ����� �������� �� � ��������� � �� � ������� �� ��� ��� ����� �� ��������� �� ���9��� ��� � ������� ��� ������ � �� ����� �� ������ ���� �� ���� ������������ ����������������� �� ����� ��� �� ����� ����� ��� ��� =0.>� �������� ��� ���������� ����� ������� ���������� ��� ����� � �� L������ ������ � ��� � ������� ����� ����� ��� �� �� ��� � ������� ��� �� ��������� ������ ���� �� ���� ����� ���� ������� �������� ��� �� ��� � �������� ������� ��� �� ���� ��+�� ��� ����� �� ���� ��������� �� �� ���������� �� ��� ��� ����� �� �� ����� �� �� ��� ���� ���� ��� � � ������������� � ������ �������� ������ � ���� ������ ���������� ����������� ���� ������� �� ����� ��� �� ������� �� ���������� � �� ����� �� �� ��� ���� ���� ��� �������� N� ��� ��� �� ��������� ���� �� �� ������������������� �� �� ��� ����� �� �(�� �*� $ �������� ������������ �� ������� L�� �� �� ��� ������ � ������ �� ����� �� $���� �*��

��������� +����

������� ��+� /88��������� ��� 8�0������ ��� �

���� �����

�������� ������ � 8�88/�������� ���������� .

������ � ���� 8�5�� ���� 8�5

��� � 3�.A 7�� ������ � ������ �������� ������

����� �� � ��� � �����

,������ ��� ������� �� ����� ������� ���� ��������� 6 ������ �� ��������� $���� �*� ��� ��� ����� �� 2��� ������ � ����� ������� �� �� ��

.5

Page 31: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

start evolvepopulation

create initialspecies

evaluate initialspecies fitness

reached maxgeneration?

create trialserum

evaluate trialserum fitness

evolutionstagnated?

removenoncontributing

species

add newspecies

breedspecies

evaluate speciesfitness

no

no

yes

end evolvepopulation

yes

"����� 3�/A %���� L�� �� ��� ������ � ������

.0

Page 32: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��� �� ������@� ������ �� $ '�� ������ ��� ���� ��� ��� ���� �� ������ ����� ��� ������� �� �� ������ ��������� �������������� ����������� �� �� �������� ��� ������ � �� �� �� �� �� ��� � ����������� ���� � ���� /8 ��� ��� �������� ��� �� �� � .55 � �� � ��� ������ ���� ����� =8� />� ��� ������ ��� ���� ������ �� ����� ��� ���� ������ ����������� � ���� �� ������@� ������� 7��� �� ���� ����� ��� �� ���������� �� ��� �� �� ������ �� ��� �� �� ������ ������ �� $�( � ��������� �������� � ������ ��� ��� ���� ���� �� ���� ��� ��� �� ����� ������� �� �������� � ����� �� ���� ���� �� / ������� �� ��������������� �� �� ����� ���� � � Q� $ �� �� �� 8 �� �� ���� ���� ����� ��������������� �� �� �� ����� ���� ���������� �� ��� �� �� ������ �������� � ������ �� ����� ����� ������� � �� ���� ����� ��� ��������� ����� �� ������� ��� �� �������� ��������� �� -����� �*�*��

'�������������� ������� ��� ����

88//8/// /8/88/8/ 8//8///8 /

,�������������� ������ ����

8�./5020 /QQ8QQQ/ /

"����� 3�.A ,����� �������� ������

���� �� �� ������ �� ��� �� ��� ������ � ��������� ��� ������� ��������� � ����� ��� ���� �� �� ����������� �� ���� �� ��� � ����� �������������� -� �������� � �� ��� ������ ���������� ��� � ����� ������������� ������� �� ������ � ���� �� � ��� �� �� �� �� ����� =8� />� �������� �� � ����� 2��� �� ��� �� �� ���� �� � /��� ����� �� ������ ������ � ���� ��� ����� ����� '������� ������ ��� �� ���������������� ��� ��� ��� � ��� ����� ��� � ������ �� �� ������ ���� ����������� � ������ �������� � � ��� �� �� �� ���� ������ � �� ���� ������ �� �� �� ���� ��� ���� �� � ������� �� L������ ��� � ���������������� ������� ��� ��� ��� � �� ������ ��� �� ������ � ����� ���� ������ �������� ������ �������� ��������� ���� ����������� ����� ����������� �� �� ���� � ������� ����� �� �������� �� )��� ���,� D��� �� ����� � ���� �� ����������� ������ ��� ���� ��� ������

.1

Page 33: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

����� �� !� ��� ��������� �����

��� ����� �� �� ��� ���� ����� �������� �� �� ��� ��������� �������� �������� �� �� �� ��� � ��������� � ��� ���� ������� ����� �� ��������� �� �� ���� ��� ������ �� �� ��� ���� ���� ����� ������ �������� ������� ����� ��� �� ������ ������� ������ �� ��� ������ ����� ��� ������ �� ������ ��� �� ������@� ������ �� �� ������ �� ����� ���� ������ �� ������� ������ ��� ������� � � /���� * B�� /���� 0�� �� ������ �� ��� /C� �������� �� �� ���� ������ �� ������� ������� �������� � /���� 0� ��� �������� � ��� �� ��� �������� ��� �� ���� � ��� �� �� ������� ������ ��� �� ���� �� ��� ���� ���� �� ���� � ����� ������� �� ������� ����� ������ � ��� ������ �� ������ � ��������������� � �� ��� ���� ���� ���� �� ����� ������� �� �� �������� ����������� ��� � ��������� �� �� �� ������ �� ������� ������ � ������ ��������� ������� �� �� ��� ���� ���� �� �� ������� ��� �������� �� � ��������� � �� �� ��� ���� ���� �� ��� �� � ��� �� ������ �� ��������� � ��� ��������� ��� ���� ��������� �������� $ �������������������� �� �� ����� L�� �� �� ����� ��� ����� ������ �� ����� ��$���� �*��

��� ���� ����

����� �� ���� � �������

��� ��� �� �� ��� ���� ���� �� �� ���������� �� '������� � ��� ����� ���� ���� �� H%� E������� �� ������ !������� ,������� =6>� ������ ��� ��� �� /426 H���� (��� %����������� N���� E������ =25>� ������� ����� ������� ��� .01 E���� ���� ��� /02 ,������ ������� �� �� H�(������ �� E������������� 7��� ������ �� �� �� ��� ��� � �� �������� /0 ������� ������� ��� �� ������� ������� ���� ���� ���� ���� � ��������� ��� �� ��� �� �� ������� 7��� ������@� ����� ������ �� ��������� � *�� ��� ������ ������ ��� ���� ���������� ���� �� ��� ����������� ���� ��� � ������ �� ����� ����� �� ������ ����� �� �(�� �*�� $����������� ���� ������ �� �� � ��� �� ������ �� ����� �A 8 ��� ,������� / ���E���� �����

����� �� # $% ����� � �����!���� �������

��� ������ ��� ��� �� (��� ��� -���� -�� )��� E����� =18> ��������� 6 ��� ���A *����� *�� ����� � '��� ��� (����� ���� ��������� �� !����� �� ��� � � ������ �� ����� $ ���� ���� ���� ���� �� � �� �� ��

.2

Page 34: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

start evaluatetrial population

create trial populationof best detector from

each species

set correctclassifications

to zero

any moretraining data?

present nexttraining vector

choose detectorwith greatest binding

strength

bindingstrength > detector

threshold?

classify trainingvector as class 1

classify trainingvector as class 0

classification= actual class?

increment correctclassifications

set fitness to correctclassification / numof training vectors

end evaluatetrial population

yes

calculatebinding strength to each detector

yes

no

no

yes

no

"����� 3�3A %���� L�� �� ����� ��� ����� ������

.4

Page 35: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

+��� �������

������ 88�� 8/�� /8

��� � 3�3A 7������� ������ ��� ����� ��� ��

��������� �� ���������� ����� � ���� � ���� � �� �������� � ��� ���� � �����A % ��� 8 B����C ��� % ��� / B��C ��������� � ��� ��� �� ������� �� �� � ���� ���������� ���� ������ ����� �� ���� �� ������ ���� ��� ����� ��� � �� ��������� �� �� ���� �� ���������� ������������� � ������� �� �� ������ ������ �(�� �*� �������� � ������ �� ��������� �� �� ��� ����

���� ����� ���(�� �, ���(�� �, ���(�� �,��� �������� ������� ����(���� ���������

N���� 635 . /0 3*���� 0/ . 9I$ .

*�� ����� /3/ . 9I$ .'��� 18 . 9I$ .(���� 05 . 9I$ .

��� � 3�6A ,�� �� ������

��� ��� ������� � �������

H� ��� �� ��� ��� ��� ����� ������ � ���� ������������� �������� ���� ��� ��� ��� ������ ������� ��� �� ������� � ���������� ���� ������ � ���� � �������� �� �� �� ������� ���� ��� ��� ��� �� ! �������� "� ����� )�++��� � � � =1.>� � ������ �������� � ������ ��� ����� ������ � ��� �� ! ������� ��� � *�� ��� ������ ������ 7��� ���� �� ������ ����� ��������� �� ������� �� �������� B� ��� ����C ������ ��������� ������� �� ��� ���� � ����� �� �� �������� ��� ��� ���� ������ �������� � ������ �� � ������ ���� ����� ����� � ��������� ������ ������ ��� ��� �� ���� ����� �� ���������������� �������� ������ �� ��� ���������� ����� ���� � �� ����� �� �������� =54� 1.>������ � �� ������ �������� � ������ ���� �� ���� �� �� �� ������

� ��� ������ � �� �� � �� ������ � � �������� �� �� ������ �� � �����

38

Page 36: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

���������� �� � �������� �� ����� �� ���� ���� ���� B��+$�KC ��������� ���� ������� ���������� ������ ���� ��� ���� �� �� ���� ���� �������� ������ ������ � �� �� ���������� ���� �� ��� ��� $ ����� ������������ � ����� ���� ��� �� ����� ��������� �� � �� �� ������� ��������� B �(�� �*�C ���� �������� ��� �� ���� ���������� ����� �B�� C��� �� �������� �� ������� ���� � � � ����� ������ �� � ���������� �� =28>� ��A

�B�� C G �B C� =� B� G ����C�B ������C R � B� G ���C�B �����C>

��� � B� G ����C �� �� ������� � � ���� �� ������ � ��� ���� �� ������� ������ �� �� �� ����� ��������� �� ���� �� ����

�B C G�

�� �����

�� B C ���=� B C>

����� �� �� �� �� ����� �� ������ � � ��� �� ��� � B C �� �� ������� ��� � ���� �� ������ � �� � ������ �� ����� �������� �B C ��� �� ���� �� ����������� � ������� �� ��

����� �� ���������� �� ������� ����� � ��� � ������� ��� �� ��� ����� ��� �� ���� ��� � ����� ������ �� � ������� ��� �� ����� � �����B C ��� � �� / ��� �� ��� � ���� ������ / �� �� ����������� �� � ���������� ���� �� ��� � ���� �B C ��� � �� 8� ��� �� ���������� ��� � �������� ������ �� �� ��� � � ���� ���� ����� � ��� �� ������� ��� ��� "��� ������ ���������� �� �������� ��� � ������ �� �� �� �� �B C ��� ���������� ������� ��� ������� �� ���� ��� ������ ��� �� �� ������� ����B�� C ������ ����� �� �������� ���� �B C� �� ������ � ������� �� ������� ���� ���������� �� ���� �� ����� � ������ �� �� � ��� �� � ������������ �� � ������ �� ���� �� ������ �� ����� �� �� �������� ����� ��� ������ �� ���� � � �� ����� � ��� � ������� �� ��� ��� ��� ������ ����� ��������� ��� �B�� C ���������� &� �� ���� ����� �� �� ���������� ������� �� � ���� �������� �� ���������� �� � ����� � ��� � ��������� ��� �� ������ ��� �� ��������� ��� �B�� C ���������� �� ��������� ������ �� ������� ���������� ����� �B�� C� ��� � ������ �� ����� ������ ���������� � �������� �� �������� ����� � ��� � ������� �� ���� ����� �� ���� ���������� �� ���� �� ����������� ���������� � ����� �������� �� �������� � ������ ���� �� � ����� ��� �� ������ �� ����� �B�� C� 7��� �� ! ������� �� ��� �������� � � *�� ��� ����������� � ��������� � / � �� ���������� ������ �� �� ������� ��������� ���� � ��� ����� ��� � 8 �� �� ������� ���� �� ������ �� �����

3/

Page 37: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

$9, �E7" ��7 � ' (E%"&E "&9� %& $!�'9 $!�(�K7 �9,7S �� ���!7 '&)�7E&E' 9$ 7 ���( -7* F&H--- �& 7 $*&H� �9�7E97� -�,��)$'7 "�) *&,F $E7 !�(��� ! 97� �7�'�� !�9O( 97-("E& �7$, (�E&9' -7!%& 7 -����&) $�!�& F&HE '�"( *&��& $�! %'� ��$� *�9 $!!%79�7E -H(�! ',* '&N &��7E$9F �$( 9&� �&% '99���) '�" -�% (7EN7E $N$�!$*!7�*% $,,E7(( �9"&E $��&9 �7E7 %$97,H -�$� &E7 &HE -�!!�$N7 %& 79�( -�& )!7$(7 $!(&

��� � 3�5A "������ ����� ������� ���� �� ���� ��

��! "�����

-� ���� ��� ������� ������� �� � �� ��� ���� �� ��� ����������� ����� � ����� �� �������� ����� � ����L ������ ��� ��� ���� �������� ������ ��� � ���� �� �� ������� � ��� �������� -� ����� ���� � ������� ��� �� �� ����� �� ����� �� ���� ������ ���� ���� ��� ��� ��� ��� ������ ��� ������� � ���� ���� ���� �� ��� � �� �� ��� ������������� ��� ������ �� ���� ����� � ���� �� ���������� �� �� ���� �� ������ ��� ���� �� ��� �� ��� �� ��� ����� ��� � �� �� �� ����� ��� �������� �� �� ��� �� � ��������� �� � ������ �� ���������� ��� ����������� �� �� ��� ��� ��� ��� ������������ ������ ������� -� ��� �� ��� �������� ��� ������ �� ���� � �� ���� ����������� ��� � ��� ����������� ���� � ��� �������� ��������� ��� ����� �����

3.

Page 38: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������ �

���������� ��� �������� � �

������� ������������� ����

:��� �������� �� ����� ��� �������� �� �� ��� �� ���� ����� ������ �� �������;

7������ B�� 58�/32 $�,�C

&�� ��� �� ��� ������ �� � ����� �� ������������ �� �� ��������� �� ������ ���� ��� ����� *������ � �������� �� �� ����� � ����������� ���� ��� ��� � ������� ��� ������ ���� ������������ �� �� ������ ������ � ������ �� ���������� ����� ���� ��� ������� ������ �� ��� ��������@ ������������ ����� � �� -����� �*�� �� �� �� �� �� ���������� ������� �� ���� � �������� �� -����� �* �� ��� � ���� ���� �� ���� �� ������� �� �� ���������� ��� ������ � ������� ��������� ������� � ����� �� �������� ������ ���� �� � ������� ������������ "��� ��� -����� �*�� �� ������� �� �� � �������� �������� � �� �� �������� ������� �� �������

��� #�������� $����������

&�� �� �� ��� ������ ���� �������� �� � ������� ����������� �� ���� ������+� ��������� ��� ��� ��������� ������� �� � � ������� �� ������� �� ���� ��� ���������� �� � ��� ��� �� �� ������� � �� �� � �������� �� � ����� �� ������ ������ ����� � ������ � ��� � ������� ��� �� ������� � �� �� � ������� �� �� ���� �� ����� �� � ���������� ����� �� "�� ����� �� �� ����� � ������� � ������ ����� �� /�8 �� ������� ���� ��� � � ������� ��� � ���� �� ����� �� ����� ������� �� �� �� �� ������ ������ �� ������ ��� �� �� � ,������ �� E���� �����

33

Page 39: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� �� � ����� ��� �� �� ���� ����� ��� ��� ����� ��� � �� ������� ������ �� � ������� �� � ������ � ����� �������� �������� �� ��� ������ ���� � ���� ���� ����� �� ����� ������� ����� ��� <�� ���� ���� /426��� �������� �� � ��� �� �� � ������ � ����� ������� ���� � ����� ������ � ����� � ������� ��� �� �������� �� �� � �������@� ��� ����������������� ��� ������ ������+� ��������� ��� �� � � ������� �� ��������A

�� G������� ��������� ���� ���

��� ������ �� ���� ���

���� ����� �� ���������� ���������� ����� �� �� �������� ������� ���� ��� ��������� ��������"�� �� ����� ���� ��� �/�,��� �����+������� �� �� �����������

��������� ��� �� �� ���� �� ���� � ��������� ������� �� �� �������� �������� �� �� ��� ��������� ������� �� � � ������� =44>� /8��� � ������� ������� ���� ��� ������ �������� �� ���� �� ��� �� ��� /8 ���� ��+�����<��� ���� ��� ��� ����� / ����� �� � �� �� ��� �� ���� 4 �� �������� ��� ��� ������� �� �� ���� � �� ������� � ������ � ����� �� �������� ����� ���� � ��������� ������� �� ��� �� �� ��� ����� �� ����� ���� ������� �� ������� ��� ���� �� �� /8 ������� �� ���� ���� ���������� ������� �� ���� /8 ��� � ������� � �������� ������� � ����� ��������� ������� �� �� � �������� ����� ���� � ��� �� ������ ������� � �������� �� /8��� � ������� ������ ������� � ������ �� ���� ������������ �� ��������� ������� ���� ���� ��� ���� ��� ���������� �� ������� �� ��������� ������� �� �� ������

���� ��� ����� *������ � �������� � ���������� /8��� � ������� ���������� 5 ��� �� $ ������ ��������� ������� ������ �� ��� ���� �� ������� ��� �� ��� � ���� ������ ������� �� ���� ������� ��� �� ������� ���� � ���� ��� �� �� �� � �������� �� ���� �������� ��� ���� ��� ���� ���������� ��� ����� �� $���� �*� ��� ���������� �� �(�� �*��$���� �*� �� � ����� � � �� �� ���������� �� ��������� ���������� ���� � �������� �������� �� �� ������� ������ ��� �� ,���� � �� ��� ������� �� �� ��������� ��� � ���� ������ �� ����� ��������� � ������������������� �� �� ���������� �� ���� � ���� � ������ �� ��� �� )��������� ������� �� ���������� � ��� �� ������� ��� �� �� ���� �������� �������� � � ������� ��� ��� ��������� ������� ��� �������� ������ �� ����������� � ��� �� ������ (���� ���� /8��� � ������� ������ ��� ��������/8 � ��������� ��� ��� ��� ������� 5 ����� � �� �� 58 �������� ����������� �� �� ��������� ������� �� � �������� �������� � ���� �������� �������"�� � �������� �������� � �� ����� *������ � ������� $���� �*�

����� � ����������� ������� ���������� ��� � ���� � ��� ������ ����

36

Page 40: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

0.70 0.75 0.80 0.85 0.90 0.95 1.00

0.00

0.05

0.10

0.15

0.20

0.25

0.30

0.35

Predictive accuracy

Rel

ativ

e fr

eque

ncy

Immune−Based ClassifierNaive Bayesian Classifier

mean

standarddeviation

mean

standarddeviation

"����� 6�/A /8��� � ������� ������ B����� ��� ��C

)������� ������+� �������� 0�1 ����������������� ��+���� ����+��

������������ 8�416 8�8.0 8�851����� *������ 8�48/ 8�864 8�822

��� � 6�/A (�����A /8��� � ������� ������ B����� ��� ��C

35

Page 41: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

B������� ��������A 8�864C � ��� �������� ���� �� ���� ���������������� �� 8�48/� �� ������ �� ������ ���� ������ ������ ��������� ��� ������� ���������� ��� � ������ ���� �� 8�416� ������ ���� ���� ��� ��� �������� �� ���� ���� ���� � ������ � ����� ���������� �� �� ���B������� ��������A 8�8.0C ��� �� 9*%� �� �������� �� ���� ��� ��������� ��������� ��������� ������ �� �� ����������� �� ���������� -� ����� ���� ��� ��� �� ���� � �� ����� �������� �� �� ����� �� ������������� ��� ������ �������� 45M ��������� ������ � ��� ���� �������� � �� ����� �� �(�� �*�� "��� ���� ���� � �� ��� ���� ��� �� �������������� ������� � ������ ������� �������� � �������� ����� ������ � � ������ � ����� ���� ����� �� ��� �� � �������� �������� � ��9*%� ��� �� �� ����� � ������� �������� � �� ������������ � �������� ���� ��� � �� � ���� � �� ��� ��������� ������� ��� �� �� ��9*%������ ���� � ��� � �� �� �������� � ����� ������� �� �� �������

��� � ������ �� ������� � �������� ��� ���������� �� �(�� �*� ��������� � ���� �� �� ��� �� �� ����� ���� �� ����� �� ���� /8��� � �������� ������ ����� ������ �� �� ��� ��� ��� ����� ��� �� �������� ��!�� � � � =08>� ���� ������ �� �������� ��������� �������� ������� ���� ��� �� ���� ����������� ��� �� �� � ������� �� ����� ���� �������� � �� ����� �� �� � �������@� ���� � ����� ��� ��� ������ �� �� ������� �� ���� ����������� ���� � �� � �������� ���� �� G / � ��� ����� ���� �� � �������@� ��������� �������� &��� ������� ���� �� �������� ������������ ������ � ��� � �� ����� ����� �������� � �� ������� ������ ������� ������� ��� � �� ���������� ��� �� �� ������� � ������� �� ������������� ��� ���� �� ����������� ��� ��������� �������� 8�406� �� ��$�( ������ ������ �� )��� ��� ,� D��� =12>� �� �� ��� ����� ��� /8��� �

)������� ������+� �������� 0�1 ��������� ������������� ��+���� ����+�� ����

������������ 8�416 8�8.0 8�851 8�8.0$�( =12> 8�406 8�8/2 8�830

JH7(� =08> 8�403 8�831$J/5 =12> 8�450 8�8.3 8�866

)&!F%!$(( =08> 8�462 8�85."�++ % ������� =/2> 8�461 8�3/0 8�853����� *������ 8�48/ 8�864 8�822 8�844

��� � 6�.A %��������� �� � ������� ����������� B����� ��� ��C

30

Page 42: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������� ������ ���� �� ���� ��� �� �� �� ���� �� ������������ � ���������� ������ �� ��� ����������� ��� � �� ������� �� �� ������������� � �������� �������� � �� $J/5 ���� �� �������� ������� ���� ��������� ��� � ���� �� 8�450 ��� 45M ��������� ������ �� 8�8.3� �� ������� �� ��������� ��������� �� �� ����������� �������� � �� �� ����$�( ������ ������� ,������ ��� '��+� �+ =/2> ��� ���� �� ��� ��� ��++�� ������� � ������� �� � /8��� � ������� ������ ������ ���� 5 ��� � ��� �������� �� ��������� ������� �� 8�461 ��� � �������� �� 8�/� ��� � !��� � � =08> ���� 33 � ���������� � �������� ������ �� )&!F%!$(( ���JH7(� � ������� � ���� �� ������ ��������� ������� �� 8�462 ��� 8�403��������� � � ����� ���� ����������� ��� �� ������� ��������� ������ �� .8 ���� � ������� �� � �� ����� -�� � ��� � ������� �������� ���� ����� ��� � ���� � ���� �������� ��� ��� �� �� ���������� ������ � �������� ��� �� ���� ��� �� �� ��� ���������� ��� �� ���� �� ���� ��������� �� �� ��������� ������� �� �� ������������ � ������ ����� �� �� � �������� ������� �� �(�� �* ������� �� �� ������������� ������ ���������� � �� ���� � ��������

��� ����������� ��������� �������

����� � �������

��� �������� ������ ���� �� ��������� �� �� ��������� ������� �� ��� �������� �������� � �� $�( ������ ������ ��� �������� ��� � ������������� �� ������ ���� � �������� �� ���� � � ������ ��� �� �������� �� �� ���� ����� �������� ���� � ��������� $���� �* ������� �������� ������ �������� �� ��� ���� �� � ���� � ������� ���� /88 ����������� �� ��� ������� ������ ��� �� �� �� ������� ����� ������ ����� ������ � ����� �� ��������� �������� � ������� ��+� ��� ���� ������������������� �� �� ��������� ������� ���� ����� �� � �������@� ������� ���������� ��� ������ ��� ��� � ��������� 04 �������� �� ���� � ����� ��� ������� ��� �� ������ ��������� ������� ��� ������ ����� � �� � �������� ���� ��� ��� �������� ����� ���� ����� ��������� ��� ��������� 4����� � ��� ������� �� ������ ��� � �� �������� �� �� ��������� �������� �� �� � �������� ��� � �������@� ��+� ��� ��� � . ��� ��������� 65�� ������ �� ���� � �� �� ���� ���� ��������� ���� � ���������� .4��� 30 ��� ������� .� ����� �� � �������@� ��������� ������� ��� ���������� ��������� � �� �� ������ ������� ��� ���������� ������ �� �� ���� ���

�� ������ ��� ��� ����� ���������� ������� �� �� ��� ������� �� � � � ���������� � � �� ����� ������ � �� � � ������ ���������� �� ������� ����������

31

Page 43: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��� ��������� �� ��� �������� ��� ��+� �� �� � ������� ��������� ����� ���� . � 0 ������� ���� ���������� 30 � 56� ����� � ��� ��� ���������� 04� � ����� ������� 0 �� ���������� ������ ���� ������ ��� �������$ ��������� 02 �� � �������@� ��+� �� ������� � 5� ��� ��� �� �� ��� ����������� � ����� �� ��� � ������� ����� ���� �� ����� ��� �� ���������"��� ��� �� �� ��+� �� �� � ������� ���� ��� ������ 5 ��� 0� ��� �������5 ��� 0 ��������� ����� ������� ��� ��������� �� ����� ���� ����� ��� �� ���� ���� ������ ���� �� �� ���� ����� �� ���� �� ���������� ��������� �� . ���������� ���� ��� ���� �� ����� �� �� ������������������ �������� � .� "��� ���� ������ ��� ��� ����������� �� ����� ������ � ������ ���� ��� ���� �� ��� ���� ��� ��� ������ � �������� �� ������� ����� ���������� �������� ���� �������� ��� � ��+��� ������� ���� ������ ��������� �� �� ������ �� ������� ������ ������� ����������� �� ������������ $ ��� ���� �� � ������ ����� � ������� �� ������ �� ������� � ������� �������� ��� ��������� �� �������� ����� ��������

����� &� �������� � ������

�� ����� � ���� � ���� �������� ������������ �� ��� ������� �� �� ������������ �� �� $�( ������ ������ ������ �� ����������� ��� ������������ �� � �������� � ��������� �� ������� �� /8��� � ������� ������ ���������� ��������� �� �� �� ������ ��� � ����� �� ������� ��������������� �������� $� �� �� ������ �� ������ ��� ��+� �� �� ����� ����������� �� �� ����� ������ � ������� �� ���� � �� �������� �� ������ �� �������� �� ����� �� �������� ��������� � ���� ����� ���� ������ � �������� ��������� ������� ��� ��+�� $���� �*� ����� � ������ �� ����� � �������� �� �� $���� �*�� ����� �� ���������� �� � ������� ��������� �������� ���� ��� /8��� � ������� ������ ��� � �� ����� ������� �� ��� ��� �������� � ��� �� ���� ���������� ��������� �� -����� �*�*�� ���� ���������� ���� � �� ���� ���� � ���� �� � ���� ��� ������ � ���� ��������������+��� ��� �� ���� ������ � ��� �� �� ������ �� ��� ���� �������� ���������� ��� � � ������� ����� ��� ��������� ���� �� � 8�/� ����� ���� ���� � � ������� ��� ��� ��������� �� � 8�4� ��� ����� ���� ��� �� ���� ������ ������ ��� � �������� ��� � �� ��� ������ ����� �� 8�5 ��������� � $� ��� �� ���� ���� ���� ������� ������ � �������� 8�/� �� ��� � ����� ��� ��� � �� ��� �� ��� ����� ���� ��������� �� ���� ��� � ������� ��������� �� ��������� ������� �� ��� ��� � ������������ ������� �� ������� � �� � ������ �� �� �� ��� /� ������ ����� � � ���� �� ����� � ������� ������������ ��� �� ���� ���� ��� �������� � �� ��� ������ � ������ ������ � �� ���� ����� � �� ������

32

Page 44: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

0.80

0.85

0.90

0.95

1.00

classifier predictive accuracy

best classifier

01234567

classifier size

0.0

0.2

0.4

0.6

0.8

1.0

species 1 mean predictive accuracy

0.0

0.2

0.4

0.6

0.8

1.0

species 2 mean predictive accuracy

0.0

0.2

0.4

0.6

0.8

1.0

species 3 mean predictive accuracy

0.0

0.2

0.4

0.6

0.8

1.0

species 4 mean predictive accuracy

0.0

0.2

0.4

0.6

0.8

1.0

species 5 mean predictive accuracy

1 10 20 30 40 50 60 70 80 90 100

0.0

0.2

0.4

0.6

0.8

1.0

species 6 mean predictive accuracy

Generation

"����� 6�.A 7�� ������ � ������ ������� B����� ��� ��C

34

Page 45: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

0.86 0.90 0.94 0.98 1.02

0

2

4

6

8

10

12

14

16

18

20

Predictive accuracy

Fre

quen

cy

mean

0.1

0.1

0.86 0.90 0.94 0.98 1.02

0

2

4

6

8

10

12

14

16

18

20

Predictive accuracy

Fre

quen

cy

mean

TY

PE

BIA

S0.

5

0.86 0.90 0.94 0.98 1.02

0

2

4

6

8

10

12

14

16

18

20

Predictive accuracy

Fre

quen

cy

mean

0.9

0.86 0.90 0.94 0.98 1.02

0

2

4

6

8

10

12

14

16

18

20

Predictive accuracy

Fre

quen

cy

mean

0.5GENERALITY BIAS

0.86 0.90 0.94 0.98 1.02

0

2

4

6

8

10

12

14

16

18

20

Predictive accuracy

Fre

quen

cy

mean

0.86 0.90 0.94 0.98 1.02

0

2

4

6

8

10

12

14

16

18

20

Predictive accuracy

Fre

quen

cy

mean

0.86 0.90 0.94 0.98 1.02

0

2

4

6

8

10

12

14

16

18

20

Predictive accuracy

Fre

quen

cy

mean

0.9

0.86 0.90 0.94 0.98 1.02

0

2

4

6

8

10

12

14

16

18

20

Predictive accuracy

Fre

quen

cy

mean

0.86 0.90 0.94 0.98 1.02

0

2

4

6

8

10

12

14

16

18

20

Predictive accuracy

Fre

quen

cy

mean

"����� 6�3A N������� �� ������ � ��� ������ �� ���� B����� ��� ��C

68

Page 46: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� ���� ������������ �������� ���� �� ���������� ���� ��������� ����� ���� � ��� ��

������ �� ����� �� ���� �� ������� ���������� ��� ������� ��� �� ����� �� ������� ���� ������� ��� ������ �� ���������� ������ ��� ���� ����������� ��� � �� ������ ��� � ��� ����� �� �� ��������� �������� ��� ������� ��������� ������� ��� �������� � ���� �� ��� ������ � ������� ��� ��� ���� ��� �� /88 ���������� ���� �� �� ���������� ������$� ����������� ��� ������� � ������ ��� � �� ��� ������ �� ����� ������� ��� ������ � � � =8� /> ���������� �� ������ �� � ��� ��� ����������� ��� ������� ����� � �� �� �� ������ �� ��� �� �� ������� ��������������� ��� ����� � ������ ������� � �������� �� ���� ���������������� ��� �� ������������������������ ������ ��������� ����� ������� �� �� ������ ��� ���������

��� #�������� ���������

&�� �� �� ��<�� ��������� �� �� $�( � ������� ��������� ���� �� �� �������������� � �� �� � ���������� �� �� � ��������� �� ������� � �� ����������������� ��� � � �������� �� ��� .��� ������ �� ���� ������ ��� ��������� � � �� �� �� ��� ���� �� ������ .��� ������ � � �� �� �������� ���� ��� �� ��� ����� �� ���� ������ ����������� �� )��� ���,� D��� =12> ��� ����� �� �(�� �*�� �(�� �*� ����� �� �������� ��������� �� ����� ���� ������� ����� �� -����� �*�* ��� ���������� ������ ����� � ���� ����������� �� �(�� �*�� �� ��� �� � ����� ��������� ���� ��� ������ ��� ����� � �� � ������ �������� � �� �

����������

�(��� �*� ��� �*� ���� �� �� ������� ����������� ��� �� ,������ ���E���� ���� ������� ��������� �� �� ��� � ������� ��� ��� ���� � ���� /88���������� /8��� � ������� ������ ��� �� �� ����� ������ � �������� ��� ��� �� ������ � �� ��� ��� ���� ������� ������� � �� ��� �� ���� ������� ����������� ��� �� ���� �� ����� ��������� �� ������� ����� �� �� �� � ����� ���� � �� ��� �� ����� ��� �� �� �@� ���� � ������ ���� ������� �� ���� �� � �� �� �� � �������� �� )��� ��� ,� D������� ����� � ��������� ���� ������� ��� � �� ������ � ��� ��� �� ��� ������� ��� ���� ������ �� ��� � ������ ������ �� �� ��� ��� ��� ������� � ������ ������� � ������ ��� ������ �� ��� ����� �� � ����� � ���� ������ �� �� ����� ��� �� �� ���� �� ���� 3 ��� 6� ��� ������� �������� �� � ���� �� ��� ���������� �� ������ � �� �� �� �� ���� ��� ���� �� �� ��������� �� �� ������� ������������� ������ �� ������� �� ��� ��� � �������� �� � �� �� ������� �� � ��

������� � ��� ������� �� �������� � ���� � �������� ��� �� ��� �� �� ��

6/

Page 47: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������ � �� ����� � �������� � ���������� ����� ��� ��� �� �������� ������������ ���� �� ���� �(�� �*# ����� �� ���� ������ �� ��������������� �� �� ������� ������ ���������� �� -����� �*� ������ ������ � ����� � ������ ���� ������ � ������ ������ �� ,������ �������� E���� ���� �������� ��������� �� ����������� ,������� �������� E���� ����� ��� � ���� ������ ����� ��� �� ��� ��� � �������������� ���� � � �� ������� �������� � ���� ������� � )��� ��� ,�D��� =12> ��� �� $J/5 ����� ������ ��� � ���� ��+� �� /5�/8 ��� ������� ���� ��� ������ �������� � ���� ����� ������ �� ����� � ������

-����� �������������

�� ������ �� �� �

�� �� �

�� �� �� �������

�� �� �� �������

�� �� ��

�� �� �

�� ������ �� ���� ���� ������ �� ���� ���� ������

��� � 6�3A (����� ����������� ��� �� ������� ����������

+��� �������

������ 88�� 8/�� /8

��� � 6�6A 7������� ������ ��� ����� ��� ��

6.

Page 48: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�������� � ��������������������������������

� � ���

�� ���� � � ���

���� � � �� �� ������ �

���� ����� � ��������

�������� ��������������������������������

�� ����

�� ���� � � ������ �� ���

���� � � ��

���� �� � ��

���� �� � ��

���� ����� � ��������

�������� ��������������������������������

�� ����

�� ���� � � ������ �� ���

���� � � ���

���� �� � �� �� �������

���� �� � ������ �� ���

���� ����� � ��������

�������� � ��������������������������������

�������

�� ���� � � ������ �� ���

���� � � ���

���� � � ������ �� ���

���� � � ������ �� ���

���� � � ������ �� ���

���� �� � ��

���� ����� � ��������

�������� � ��������������������������������

������

�� ���� � � ���

���� � � ���

���� � � ������ �� ���

���� � � ���

���� � ������ �� ���

���� � � ���

���� � � ������ �� ��� �

�� �� �

���� �� � ������ �� ���

���� � � ������ �� ���

���� ����� � ��������

��� � 6�5A $�( �� � ����������� B,������ �������C

63

Page 49: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�������� � ��������������������������������

� �����

�� ���� � � ������ �� ���

���� � � ��

���� � � ������ �� ���

���� � ������ �� ���

���� �� � ������ �� ���

���� �� � ������ �� ���

���� � � ���

���� ����� � ���������

�������� ��������������������������������

�����

�� ���� � � ���

���� � � ���

���� � ������ �� ���

���� � � ���

���� � � ���

���� �� � ������ �� ���

���� �� � ���

���� ����� � ���������

��� � 6�0A $�( �� � ����������� BE���� ���� �������C

���� �������� �� ���

��+����

,������ 6�18 8�38 3 0E���� ���� .�.2 8�16 / 6

��� 0�42 8�01 6 /8

��� � 6�1A 9����� �� ������� �� ��� ��� � ��������

66

Page 50: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������ �

���������� ��� �������� �

� �! ��� ���� �������������

:(� ������� ��� �������� ������ ����� ��� �����;

D����� -� ����� N�� '���� B/164�/23.C�

��� �� ������ ������ �� �� $�( ������ ������ ��� �� � � ������� �� ����� � �� ����� ���� ��� �� ��� ������� �� ����� �� ������������� �� �� ������ ������ �� �� ������ �� ��� ���� ���� �� ��� �������� ��� ����� �� �� ���� �� ���� ���� ����� �� � ���� �������� �������� �� �� ������ ������

!�� #�������� $����������

��� �������� ������ ���� /8��� � ������� ������ � ������ �� ���������������� �� �� � �������� �������� � ��� �� ������� � �������� ���� ���������� � �� �� ��+� �� �� ��� ��� 635 ���� �� �� � � ��� ���� ������ �������� � �� ��� � ������� �������� �� ���� ��� ��� ���� �� ��� ����������� ���� ������ 0/ � /3/ ���� ��� ������ ������� ������ �� ���� ��� ������ �� �������� �� ��������� ������� ��� � �� �� ���� ��� ��+� ���� �� �� �������� � ��� ����� =03>� �� ���� ����� � ������� ���������� � �� ��� ���� ��� �� ������ ��� �� ��� ���� ����� �� � ������ ����� � ������� �� � ������ �� ����� � ���� �� ���� �� ������� ����� ����� ��� ������� ��� ��������� ���� ���� ���� �� ��� �������� �� ��� ����� �� ��� ��� ��� �� ���� � ���� � �� ��� � ������ ���� ��������� ������� ��� � �������� ������ ��� � ������� �� �� ��+� ������ ����� �� � �� ����������� ��� ��� �������� �� �� � ��� �� ���� ������� �� ����������� �� � �������� ���� � ����� �� ������� �� ��+��� ������

65

Page 51: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� ���� ��������� �� ������ �� ����� � ���� ��� � ���� � ��� �� ����� ��� �� ��� � ���� � ���� �� � ��������$���� �*� ����� �� ��������� ������� �� �� $�( ��� 9*% �������

� ������� ������ ����� � ������ �� ������� ������� �� ��+�� �� � ����������� ��� /.2 �������� ��� ������� �� ��+� ������ � ��� �� ������� ����� ���� ��������� ������� �� � �������� ������ ��� � �� �� ��� ��+� � ����� ������ "�� ���� ������� �� ��+� �� ������ �� ���� �� ���������������� �� ������� ����� ��� ����� �� ��������� �� � �� ��� �� ������ �������� �� �� ! �������� ��� ������ ����� �������������� ����� �� ������� ��� �� ��� ���� ������� �� /.2 ��� ���������� ��������� ������� ���� �� ������� �� ��������� ��� ���� ����� ���� ��������� �� ������� ��� �� ��� ��� *�� ��� ������ ������ �� �� �������� ��������� �� -����� �*�� ���� ������� ��� ������� 38 ���� ��� ����������� �� ��+�� ��� �� ���� ��������� ������� �� �� ���� ��� � ��������� ��� �� $���� �*� ��� ���� �� �� ���� ��� ���A *����� *�� ����� �'��� ��� (����� ��������� �� -����� �*�* ������ (�������� �� �������� �� ��� ����� ������� ��������� ��� ��������� ������ � ��� ����� ��)������ ) �� �(��� )*�� )*� )*� ��� )*����� ��� ���� �� ��� �� ���� ���� �� ������ �� $���� �*� �� ��

������� ���� ��������� ������� �� ��� � �������� �� ��� � �������������� �� �������� ��� �� �� �� ����� ���� �� �� �� �������� ����������� �� �� ��������� �� �� � ���������� ���� ��� ��� ������ ����������� �� �� ���� ���� � ���������� ���� ��� =03>� ��� �� �� ������� ������� �� ������� �� �� � ���������� �� ����� �� ��� � �������� � ����������� ��������� ���������� �� ������ 8�18 ������� �� �� � �������������� ��� �� ��� ������ �� ����������� �� ��� � �������� �� ���� ����������� � �� �� ���� ���� ���� ��� ���� � �������� ��� �� 9*% ��� � ������ �� � ���� �� �� 9*%������ ���� �� )�++��� � � � =1.>� ������� ����������� �� �� ����������� ��� � ��� ��� � �� ����� �� �� ���� ����� �� � ���� �� ��� �������� ���� �������� ����� ���� ��� ������ ���������� �� �� ��������� ���������� �� ��

9*% ��� $�( � �������� �� �� ���� ���� ���� ��� �� $�( � ������ ���� ���� ��������� � ������ ������� ���� �� � ��� ���� ����� ������� ��� ��� �� ����� *������ � �������� $� ������� � -� ����� ���� �������������� �� ��� ��������� �� �� ���� � ��� ��� �������� �� ������� � ������� ��������� ��������� ������ �� ��������� ���������� ���� �� � �������� ����� �� �� ����� ��� ��� "��� ��� �� ��� ���� ����� �� $�( � ������� �� ������ �������� �������� ���� � �������� ������� �������� � �� 9*% � �������$ �� ��������� � ��� �� �� �� ���� ������ ����������� �� �� $�(

� �������� ���� � ����� �� ������� �� ��+��� ���������� �� ��+� �� �� �������

60

Page 52: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

10 20 30 40 50

0.50

0.55

0.60

0.65

0.70

0.75

0.80

0.85

0.90

0.95

1.00

Training set size

Pre

dici

tive

accu

racy

Immune−Based ClassifierNaive Bayesian Classifier

bands

10 20 30 40 50

0.50

0.55

0.60

0.65

0.70

0.75

0.80

0.85

0.90

0.95

1.00

Training set size

Pre

dici

tive

accu

racy

Immune−Based ClassifierNaive Bayesian Classifier

biomedical

10 20 30 40 50

0.50

0.55

0.60

0.65

0.70

0.75

0.80

0.85

0.90

0.95

1.00

Training set size

Pre

dici

tive

accu

racy

Immune−Based ClassifierNaive Bayesian Classifier

goats

10 20 30 40 50

0.50

0.55

0.60

0.65

0.70

0.75

0.80

0.85

0.90

0.95

1.00

Training set size

Pre

dici

tive

accu

racy

Immune−Based ClassifierNaive Bayesian Classifier

sheep

"����� 5�/A % ������� ����������� B������� � ����������C

61

Page 53: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� ������ � �������� � � �������� �� � ������� ����������� ��� ��� � �������� ��� � ��� �� 9*% ���� ��� � ���� ������ L������� �� � ������������������ �� �� �������� �� ������� �� ��+�� ���� ������� �� $�( ������������ �� ������ �� ����� �� ���� ��� ���� �� ��� ��� ������� � ������������� ������� �� �� � ��� ������� �� ��+� ��� � �� ����������� ������� ��� � �� �� � � ��� ��� ����� �� �� ����� ������� �����������

!�� ����������� ��������� �������

(��� �� ���������� � ���� ��������� �� �� -����� �* ����� ���� ���������� � ����� � ������ �� �� ������� �� �� $�( � ������ ���� ����� ��� ������ ���� ��� � ������ �� �� � �� ������� �������� ������� � ������ ������������ ����� ���� � ���� �� �� ��� � ���� �� � ������������ �������� �� -����� �* ��� �� ����� ���� �� ��� ��� ������� ���� �� ������ �� ����� � )������ ) ����� �� ��� ��� ������� ���� ������� (���� �� ��� ������ �� �������� �� �� ����������� ���� $�( � ������� �� �� ���� ��� ������� ���� �� ������ ����� �� ���������� ���� � ������� ����� � ������� �� ��+� �� .8 �� �� ����� ������ $���� )*� ����� �� ������� �� � ������� ��� ������ ��� �� ��$���� �* ������ ��� $���� )* �� ������������ �� ������ �� ������� � ��� ������ ������ �� �� $���� �*� ������ ��� ���� ���� �������� ���� ������� �� -����� �* ���������� �� �������� �� ���� ����������� ���� �� �� ��� ������ � ������ �� ������ ����� � ��������� ���� �� ���� ��� �� ��������� ���� ������ �� ���� � � �� ��� � ��� ���������� ���� �� �� ��� �������

!�� %������ � ������� �������

��� ������ �������� � ������ ��������� �� ������ �� ����� ����� ���� �� ���������� �� �� ������ ����� ��� ��� �� ����� �� ������������ � ������� ��� ���� �� � � � ����� � ������ �� ���� �� �� ����� � ����� ����� ������� �� ������ ����� ���� ���� �� � ������� ������������� ������ �� ������ �� ����� ���� �� �������� �� ���� � �� ����� �������� �� $����� �* ��� �*� ��� �� $�( ��� 9*% ��������� � ��������� � ���� ������� �� �� ����� ��� �� ��� � ����� �� ������� �� ��+������������� � ��� �� ������� ����� �� ���� ����� �� �� �� �� ��� ���������� �������� �� -����� �*��$���� �* ����� �� $�( ������ ��������� � �������� ��� � ����

������ ������� �� ������ 8�15 ��� ������� ������ �� �� ����� ��� � ��

62

Page 54: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

10 20 30 40 50

0.60

0.65

0.70

0.75

0.80

0.85

0.90

0.95

1.00

Training set size

Pre

dici

tive

accu

racy

6412825651210242048

vector length

"����� 5�.A N������� �� ������ ����� ���� B$�(C

10 20 30 40 50

0.60

0.65

0.70

0.75

0.80

0.85

0.90

0.95

1.00

Training set size

Pre

dici

tive

accu

racy

6412825651210242048

vector length

"����� 5�3A N������� �� ������ ����� ���� B9*%C

64

Page 55: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

$���� �*� �� 9*% ������ �������� � �������� ��� � ���� ����������� �������� �� ��� ������ ������ ��� /8.6 ��� .862 �������� ����� ����������� ������� ��� �� 9*% �� ������ ��� �� �� �� $�(� ������������ ������ �� ������� �� �� ������ ����� ��� ���� �� ������ � ���������� � ������� ��� ���� ����������� �� ��������� ������� ���� � ����� ��� � �� ��������� ���� ������ ������ �� � �������@� <�� ������� $ ��� ��������� ������ ��� ������ ������ ��� ��������������� �� �� ������� ���� ������ �� ������ ����� ��� ���� ���������� ���� ��� �������� ���� $�( ������ ������ ���� �� �� � �� �� � � �������� ������� � ��������� ��� ���� ��������� ���������� ���� ������ ������ ��� ��� ���������� �� 9*%�

58

Page 56: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������ "

#��� �����

:����� ��� ����� ���� �� �� �� ���� �� � � �� �� ��������� ��� �� �����;

) �� B�� 6.1�361 *�%�C

�� ��� ������ �� ������ ��� ������� �� ���� � �������� �� �� �� ���������� ����������� �� ����������� �� �� $�( � ������� ������ �� ������ �� ������� �� ����� � ��� ��� ����� -� ����� � ���������� ���������� �� ���������� �� ����������� ���� ���� ���� �� ��������-�� � �� $�( � ������� ���������� � �� ������� � ������� � ���

���� �������� ������ �� '������� � ��� �� ���� ��� ������ ������������ �� ��� � �� ��������� ���������� � �������� �� �� ����� ��� �������� ���������� ���� ���� &�� ����� ����� ��� �� ������� � ����������� ���� ���������� �� �� �������� �� �� ��+� �� �� ������� ��� ���� �� ���� ���� ���� ��� �� ���� �� ���� �� � ���� �� ����� ���� �� ���������� ���� �������� � ���������� ���� ��� ��� 635 ���� �� ���� �� �� ��������� ������ �� ���� �� � ���� �� ��� �� ������� � ���������� ���� ��������� 0/ ��� /3/� ����� � � �� ���� ���������� ���� ��� ���� ���� � ��� ���� �� ����� ���� �� � ��� � ������� �������� ��� �� � �� ������� ������������� �� ������ �� ���� �� �� ���������� ���� �� =03>�$ ������ ����� ���������� � �� ��������� �� ����������� ������ ��

�� ���� ��� �� �� ������ �������� � ������� �� ��� ���������� �� ���� ������� ������ �������� � ������ ����� ������ ������� ����� ������ ������� ���������� ���� ���� ��� � �������� � ������� � ������� ������������ ��� �� 9*%������ ���� �� )�++��� � � � =1.>� �� ��������� ��-����� **� ���� � ����� �� ��� ���� ���� �� �� ����� �� �� ! �������� � ����������� ��� �������������� ������� ������������ ��������� ��� ������ ������� ��������� � ���� ����� �� ����� ��� �� ����������� � ���������� ������ �� ���� ������ ��� �� �� ����� �����

5/

Page 57: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��� H���� � ���� ����������� ������ �������� ���� �� ���� ��������� �%���� =/3> �� F��� � � � =/88>� ����� � �� ��� ��� ����������� �� �� !�������� ���� �� ���� ���� ��� ���� ��� � ������ �������� � ������������������ �� �� ������� � ���������� ���� �� ��� � ��� �� ��� ������������� ���������� &��� ������ ��� �� ���������� �� ������������� ��� $�( � ������� ��� ��������� �� �� ��� �������$� ����� ����� ��� �� ���� ������ �� ��� �� �� �� � ������� �������

���� �� ������� ����� ������ �� � � ������� �� �� ������� ���� ����������� ���������� � �� �� � � �������� �� � �� �� �� ����� �� ������� �� ������� �� � �������� 9� ���� ��� ���� �� ���� � �������������� ��� � ���� �� ���� ��� � ��� ��� ���� ��� � ��� ������� ��� �������� �� ��� ������ ��� ��� ����� �� �� ������ ��� �� ���� ����� ����� ���� �� �� � ������� ������� � !�� � � � =08>� -�� � ��� ������������ � ������� �� ������� ���� ���������� ��������� ��� �� �����*������ � �������� ��� �� ����� ���� �� �� '������ �� � ���� /88���������� ��� ��� 688 ������� ����� �� ��� ������ 68 �������� "�� ��������� � ���������� ���� �� �� '������ �� �� ������������ � ���������� ������ 0 ������� � ���� ���� /88 ���������� �� � ������� �� �� ��+� .8��� /.2 �������� ����� ������ ��� �� ������ � ���� ���� ��� ����������� ���� �������� ������ ���� � �� ����� ��� ����� �� )������ �� ��������� ��� ���� �� �� �� �� ��������� ���� ��������� ���������� ����� �� ��� ���� � ��������� ��� ������������ � ������� �� �� � � �� �� ��� ��� ����� � ��� � � �� ��� ��� � ��� ���� � ���� ������ ������� '������� � ��� � ���� �� �� ���� ���� �� � � �������

�� ��� �� ��� ���<��� ���� A �� ���� �������� � ���� � ������� ������� �� �� ������������ ������� � ������ ����� �� �� � � ������� ������� �� ������ ���� �� � ������� � �������� �� ����� � ���� ��������� ��� � ���� �� ���� �������� ��� ����@� ����������� � �� �� ��������� �� � ������� ��� �������� ������� -� ��� ���� �� � ������������� � ��������� ��� ����� ���������

5.

Page 58: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������ $

% � � &��

:+�� ������� �� ��������� ��� �� ������� �� ��� ������������ �� ���� � ���� ��� ������ �������;

���� !���� O��� D�� B/4.4�/402C�

���� ������ ��� ���� ������ ������� ���� ��� ������ ���� �� ��� � ��� ��� �� ���� �������� ���� �� ������ ��� � ��� ��� ����� ������������ ���� ���� � � ��� ��� �� �� ������ ��� ��������� "���� �� �������������� ������ ��� ������� �� �� ������ ���� �� ��� ���� ����� ������ �� �� � �������� � ������ �� ������� � �� ������ ���� �������� � ������ ������� �� ������������ �� ������ ������� � ���������� ���� ��� ��� ������ �� ������

������� �� �� ��� �� ����� �� ������ ������ ����� �� ��������������� ���� ���� ���� ��� ����� � � ���� �� ����� ����� ���� � �� ������� �������� ���� ����� �� ������� �� ?������ @ ��� ?�������� @ ��� �����&��� ���� ����� �� ��� �� ������ �������� � ��� ���� ��� �� ������������ �� �� ������� �� ������� ���� ������ ���� ��� � ������� �������� �� �� �������� ��� ����� *������ � �������� � ��� � �� ���������� ��� �� �� $�( ������ ������ ��� �� � � ������� ������� �������������� ���� �� �������� ������ ������� ��� �� ������ ���� ��������� �� ����� �� ������� ��� ��������� ���� ��� � �� ��� ������ �������� �� ��� ������� ���� �� ��� ������ ��� ����� �������� �� �������� ��� ������ �� ��� ���� �� �� ��� ������� ���� ���� ��������� �������� �� ���� �� ��� ������ ������� ������ ���� � ����� ��� ����������� $����� ������� � ����� ��� � ���� �� ��� ������ ��������� ��� ��� � ����� ��� ��������� � �� ������� �� �� ������ ������ ��� '�������� %� ��� =31> ��� �� ����������� �� �� ������������ ���� �� ������������� ���������� ���� �� ��� ��� �� � �������� �� ������� ������� ������ � ������� � ����������� ����� �� ������ � ��

53

Page 59: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

����� �� � �� ������� ����� �� ������� ������� �� ���� ����� ������� ������ ��������� �� ������������ ����� �� � �� �� ������������� ������ � ���������� ���� ����$����� � ����� ���� �� ������ ����� ��� ��� � �� � ��� ���

�� ����������� �� �� $�( ������� � ������ � �� ��� �� ������� ����������� ����� �� �� � &�� ��� ������� � ���� �� ����� ������ ������ �������� � ����� �� � ������� ?����� �� �����@ ������ ���� � ���� ��� ���� ������ ������� ������ ���� ���� ��� � ������ �� �������� ��� ����� ���� � ��� �� ��� ��������� (����� �� ��� ����� �� �� ����������� ���� ���� ����� �� ��� ��������� �� ���� ��� � ���� � ��������� �������� ���� ���� ������� ��������� ���� �� ������� ��� ��������� � �� �� ����� ������ ���� ��� �������� �� ��� ������ ��������� ������ ������� ���� � ��� �� ������� � �� � �������� ��� �� ��� �������� � ��� ��� �� �������� �������� ��� �� ��� ��� %���� =64>��� � ���� ��� ���� ���� �� ������� ���� � �� �� ��������� � ���������� ������� � �� ������ ����� ��� ���� �� ��� ������� �� $�( ����

��� ������ ��������� ���� �� � ��� ���� � ��� ������� �� �)����� �� ��������� ���������� ��������� ���� ����� ���� ���� � ��� ��)������!����������� *���� � ���� ���� �� � � ����� �� ����� ��� ����������� ���������� ��������� ��� ������� ��� ����� ��� ����� $� ��� �� ���������� �� � ��������� �� �������� �� ����� ����� ��� � ��� ����������� �������� ��� �� � ���������� � ��������� ��� ������� ����� ��������� ������� ������������ �������� "�� ����� �� �������� �� ������������� �������� �� �� ���� � ���� ��� *�� ����������� �� ���� ����� �� �� � ������ �� �������� �� ��� � �� ���� ��� �� ��������� ��� �� ���������� ������ ���� � � �� �������� ��� $�( ������ ������� � ����� ���������� �� ��� ������ �� ������� ����� ��� ��� � �� �������� ��� �� ���� ��������� �� ������� ����� ��� �� �� � � ���� � ������ ����� ������� ���� ������ ��� ��� �� ���� � �������� �� �� �� �� ��������� ���� �� ������ ����@� ��������� � ��� ��� ������� * ����������� ��� � �� ��������� �� �� ��� ����@� ���������� �� �������� �� �������� ����@� ��������� ��� �� �������� � ������� ��������� � �� �������@� ������������ �������$� ���� �� �������� ����� ��� ������ ���������� ������ �� ����� ����

����� �� ������� ������� ������� �� �� �� ������ � ������� =.6>� $��� ���� �������� �� ������ � �� � �� ����� �� ��������� ������ � ��������� ��� ��������� ��� �������� �� ���� ������� ���� �� ������� =0> ��������� =30>� ��� �� ���� �� � �� �� ��������� � ������� ������������ ����� ����������� �� �� ������ � �� � �������� ���� ����� � �� ������ ����� �� �� ��������� �������� � �������� =01>� � ��� � �� ��������� � ���

56

Page 60: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� ��� ��� ������� � ��� �� ������������ � ������� � ��� �� �� �������� ����������� ��������� ��� � �� ����������� � ������� ���� �� �� ��� �������� �� �� ������ ������ �����

��� ���� ��� ���� �� ��� ���������� �������� �� ���� ��� ������ ���������� �� �� � �������� � ��������� %������� ���� � ������� ��� � ������� ������� �� ����������� �� �� ����� ��� ��� � ������ ������� �������� ���� ���� �� �������� �� ������� � ������ ���� ��� ����� �� �� ������ -����� �*� � ������ �� ������ ������� ���� ����� &�� ���� ������� ���� �� ����� � ���� ����������� ������ �������� � ������� ��� � �������� �������� �� �� �������� ������� �� ���� �� �� ���������� � ������ �� ����� ������ ���� ���� �� �� ������� ������ ���� ����������� ��� ���������� ���� � �� �� ���� ���� ����� ��� ������ � ��� �������� �� � ���� ��� ����� ����������� 9������ ���� ���� ���� ���� ����� � �� ��� �� � ��� ���� ����� �� � ������� ������ ������� ������� �� ������� ��� ������� ��� ��������� ��� � � �� ��� ����� ����������� ������ ��������� �� ����������� ��� �� ������� &�� ���� ������� ����� ��� � ���� ��� ���� ��� �������� �� �� ��������� �� ������ ������� �� ��������� �� -����� * ��� ������� �� $���� *� ������ �� ������ � ���� ������ ���� �� �� ������ ����� ��� �������� �� ���*� ��� ���� � ��� ���� ��������� ������� �� �� ����� ������ ��������� �� �� �� ����� �� %���� =1> �� %�+�� ��� $���� �� =2� 4> ��������� ��-����� *�**�� ��� � ����� � ���� ������� � ���������� �� �������������� ��������� ���� � ��� �������� ��� � ��� �� ������

55

Page 61: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������ '

����� �����

:����� ��� �� ��� ��� � ���� ��� �� ���� ������ �1������;

$�� ,� "����� B/418�C�

-� ���� ������� �� ��� �� �� <����� ����� ��� ���������� ������������ ����� �� ��� ����L ������� � ����� �� '������ � ��� �� ���� ���� ����� ���� �� �� ������ ����� ��� ������� �� ����� �� ���� ��������� ���� ������ ��� �� �� ���� ��� �������� ������ ��� ����� '������� �������� ��� ��������� �� ���� �� �� ������� ��� ���� �� ���� �� ������������ ���� �� ��� ������� ����� ��� � ��� � ��������� '������ �� � ��� ��� �� ���� ����� �� ��� ������ ��� �� ����� ���� � ������� � ������� �� ���������� � ���� �� ��� ������ �������������� ��� ������� �� ��� ������������ ���� ���� ��� ��� ����������� ��� �� �� ���� ������ ������� �� � ������� � ������������� �� '������ �� ����� �� ����� �� ����������� �� �� ���������������� � �� ��������� ���� ��� �� �������������� �� '������ � ����� �������� ��� ������������ ������ ��� ���� ������� � ������� ��� ��������� ������� � ���������� ���� ��� � �� ����� �� � ������������������ ����� %��� ������ �� ��� ����������� ������ ��� ���� ��������� ��� ��������� ��'������ �� ����� �� �� � �� ���������� ��� ��������� �������� �� '������ #� ��� ��� �� � ������ �� ��� �� �� ���������� �� ������� �� �� ��

'������ � ��� � ������ �� � ���� �������� ��� ���� ��� ��� � �������� ���� � ������� ���� ��� �� � ������������ ������� � ������ �������� �� � � ������� ���� ��� �� ������ ���� �� � ������� � ��������� � ������� � ���������� ���� �� ��� � ��������� ������� � �������������� ��� $� ���� �� �� �� �������� ���������� �� ������������ ������� �� � � �������� ��������� �� ����� ��� ����� � ��� ���������

50

Page 62: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��� �� ����� �������� �� ����

51

Page 63: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��(��������

=/> N� $ ���� %� ����� ��� �� !� %� ����� $������ ������ �������� ��� ��� � ����������� �� (� F� (���� ������ 2���� �� �� 3��������� /���� �� /�� ���� ��� ���� + �������� �/+�+�4000�� �����352T308� �%($ )����� 9�� &� ����� !$� .888�

=.> D� $� *� ��� ��� D� N� O�� ��� ���������� � ������ ��� �� D� $�*� ���� ������ ���������5 !���� 2��������� ������ /� ����� /T/5�-�*� (������� %������ )�� ��� ����� )$� /425�

=3> ,� *� ��� ��� � )�++���� $ ����� ���� ���� ��� ���� ��� � ������������ �� D� O�� ������ 2���� �� �� "����� ��� /���� �� 6���&�������� ����� 44T/82� (��������N�� ��� *���� %������ /444�

=6> %� !� * ��� ��� %� D� ��+� H%� E������� �� ������� !������� ,�������� ,������� �� ���������� ���%������ (�������� H������� �� %� �������� ������� %$�� 577���������������7 ������7&.,� ����������

=5> �� * ����� � -� N�� !���� ��� !� ,� E���� �������� �������� ������� �� ���������� ���� ��� �� D� %� ��� ��� !� %� N�� ,�� '����������� 2���� �� �� (���� %��� /���� �� +������� ������������ �����.05T.10� H��������� H����� H����� /440�

=0> !� *������� (����� ������������ &������ .�������� .6A6/T62� /440�

=1> D� �� %����� ��� ������ ���� �� � ���� ��� ����� ������������� � ����������� 8������ �� �� +������� &������ ���������� +����������� 1B/CA.2T6/� .888�

=2> (� %�+�� ��� H� $���� ��� &� �� ����� �� ������� ���������� ���������������� ���������� �� ������� ������ ������ �� D� ������� ��� )� *�� �� ������� 2���� �� �� 3��� ��� /���� �� +������������� "���� ��/+,�"�4004�� %�������� H�O�� .88. B�����������C�

52

Page 64: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

=4> (� %�+�� ��� H� $���� ��� $ ����������� ���� ����� �� �� ������� ������� �� )� "��� � ������ /������� �� (��������� /�� ������ 4004 �/(/�4004�� �777 )����� ���� � �� ������� .88. B�����������C�

=/8> "� %��������� B!)C�� �� ������� � ������ ��� ���������� ������������ ������ ��� ���� �� *� 9��� � ������ 2���� �� �� #������ �� +�� ��� ��� (������� ��� &����� ��8/+��400*�� ����� 00T10� ������O�������� (�� �� -$� .88/�

=//> )� % ��� ��� �� 9�� �� ��� %9. �������� � ������� &������.�������� 3A.0/T.23� /424�

=/.> -� -� %����� E������+��� ������� �� ��� ����� ����� ���� ����������� �� D���� �� ��� ,� (����������� ������� 2���� �� �� "������� +���� $�� /���� �� +������� ����������� �+++��99�� �����54T00� $$$� )����� &� ����� "!� /444�

=/3> -� -� %����� $������� �������� ������� ��� ������ �������� ���� �� ���� �� )� !��� �� ������ 2���� �� �� "����������� /���� �� &������ .������� ��/&.�4000�� ����� /54T/00� ������O�������� (�� "��������� %$� .888�

=/6> D� )� %������ (� H� ������ -� 9� ����� ��� ,� E�������� )����������� �����A � ���� � ������ � ������� �� D� D� '��������� ������2���� �� �� "����� ��� /���� �� -����� +��������� ����� /62T/56�!������� 7� ���� $������ ��� %��������� /421�

=/5> $� %������� *���� � ��� �� ����� ��� ������� �������� ,����//8A03T21� /424�

=/0> ,� ,������� ���������� ���������� ���������� �� �� ������ ������ �� ,� %����� � ,������ ��� "� ' ����� ������� $�� ����� ��' ���:����� ������ 3� ����� 65T01� �'������ � 9�� F���� /444�

=/1> ,� ,������ ��� 9� $���&����� ������������ �����A � �������� 2���� �� �� �((( ��� /���� �� "���� &�� ��� /����������� ��� /� ����� 304T316� �777 )����� &� ����� "!� /441�

=/2> ,� ,������ ��� "� $� '��+P� �+� 7�� ���� ���� �� ��++ � ��������� �� ����� � ����� ������ ������������� �� !� (������ ,� -�� ��,� '� ������ 7� %����)�+� �� )������ ��� �� *���� ������� 2������ �� ��� /���� �� -����� ��� (��������� /�� ����� �-(//'�400*�� ����� .44T385� ������O�������� (�� "��������� %$� .88/�

54

Page 65: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

=/4> ,� ,������� 9� �<������ ��� "� 9���� $������ ������ �����A� ��� �������� �������� E���� %(�8/�88. N������ .�8� %������(������ ,�������� ��� H������� �� ������� ������� �9� .88/�

=.8> !� 9� ,� %���� ��� D� ������� $������ ������ �����A � ���� ��������� � ����� ����������� �� !� $ ����� D� %�������� ��� %� "���������� +������� $����� $������ �� 2���� ,���������� ����� 01T26�H������� �� )��� �� H�O�� .88.�

=./> !� 9� ,� %���� ��� "� D� N�� K����� $������ ������ �����A ����� � � ����� �� ��� �������� �������� E���� ,%$�E� 8.I88� ,�������� �� %������ 7���������� ��� �������� $�������� (���� ��7 ������ ��� %������ 7����������� (�� H������� �� %��������()� *��+� � .888�

=..> O� $� ,� D���� -� � (������ ��� ,� "� '������ H���� ������ � �������� ��� ������ �������� &������ .�������� /3A/0/T/22� /443�

=.3> O� ,��� '����� � ������� �� �� ����� ������� �����+����� �����@� ������ ,������� �� 7���������� ��������� ��� H������� ��$ ������ ����� ����� $!� /424�

=.6> �� '� ,�������� ������� ������� ��������A ���� ������ ������������� +� &���:���� /2B6CA41T/30� /442�

=.5> E� ,��� ��� )� ���� 2���� ������������ ��� ����� �������� D���-� � U (���� 9�� F���� /413�

=.0> �� 7 ������E�� ��� D� (��� ��� �������� � ��� ������� ����������� ���� � ������� ��� ����� ����������� �������� E���� .888�/� ������ !������� E������� '����� ,������� �� %������ (��������H������� �� -��������� .888�

=.1> (� 7����� 9� ����� ��� O� F������ ������ � ������ ��� ���()��� 2���� �� �� �((( ��� /���� �� "���� &�� ��� /����������� ��� 6� ����� 3266T3264� �777 )����� (�� ,����� %$� /442�

=.2> D� ,� "������ 9� �� )������� ��� $� (� )��� ���� ��� ������ ������������� ��� ������� �������� 2����� %� ..A/21T.86� /420�

=.4> '� "� ���� %� )�++��� ��� '� (��++���� $ �� � �� ������ ������������������� � � ����������� �� -� *��+���� D� ,����� $� 7� 7����� � ��'��+��� N� �������� � D���� �� ��� E� 7� (���� ������� 2���� �� ��-����� ��� (��������� /�� ����� /����� �� ��� .� ����� /8/5T/8.8� ������O�������� &� ����� "!� /444�

08

Page 66: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

=38> (� "����� ��� (� $� ������� D��� �� ���@� ������� � ����A �� �������� ������ ����� )������� � �� "�������� �� � �� ����� ��D��� �� ���� /444�

=3/> (� "����� ��� (� $� ������� ������ �� �� ���������� ������������� !� $� (��� ��� �� E� %����� ������� %����� 2����� ��� ��� ������"���� ��� '��� %�������� +�������� "����� ������ /1� �����30/T322� &����� H������� )����� 9�� F���� .88/�

=3.> (� "������ (� $� ������� ��� $� (����<�� %������ ������ ���/������������ �� �� +/&� 68B/8CA22T40� /441�

=33> (� "������ *� D�������� E� 7� (���� ��� $� (� )��� ���� H���� ������� � ������� � ��� ��� ����� ���������� �� �� ������ �����(��������� /�� ������ /B3CA/4/T.//� /443�

=36> (� "������ $� (� )��� ���� !� $ ��� ��� E� %��������� $ �������������� � ������ �������� � �� ������ ����� (������ ��777 ����������� �� (������ 7����������� /445�

=35> (� "������ $� (� )��� ���� !� $ ��� ��� E� %��������� (� ������� �������������� �� � �������� �� 2���� �� �� *99; �((( "� ������� ,������� �� "����� ��� 2������ ����� .8.T./.� �777 )����� !��$ ������ %$� /446�

=30> F� "����� ��� E� 7� (�������� 7��������� ��� � ��� ������� � �������� �� !� (���� ������ 2���� �� �� �������� ��� /���� ��&������ .�������� ����� /62T/50� ������O�������� (�� "���������%$� /440�

=31> $� '����� ��� )� %� ���� "��� '$� � ������� ������ �����A��������� �������� �� ��� �������� �����+����� �� )� D� $���� ���� K� ���� ����+� � (���������� S� F��� ��� $� K� +� �� �������2���� �� �� /������� �� (��������� /�� ������ �� ��� 3� �����/254T/200� �777 )����� �L���� ��� � -�������� ,�%�� /444�

=32> ,� '� ������ -����� +�������� �� "����� ' ���:���� ��� &������.�������� $�������-�� �� E������� $� /424�

=34> E� $� '� ���� �� D� O���� ��� *� $� &������� <�� ����������-� �� "������ ��� %������ 9�� F���� 6� ������� .888�

=68> 7� ��� ��� )� E���� % ������� ������ ��� ��� � ������� ����������� �� 7� D� -� *����� (� %������� D� '� ���� 7� ���� )� !�

0/

Page 67: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

!��+�� '� E��� � E� 7� (���� ��� �� ��<���� ������� + �������� ��(��������� /�� ���� (��#������ 400*� ����� 346T683� (��������N�� ��� *�� ��� .88/�

=6/> (� $� ������� +� ������������� &���� �� %�������� %������ ����� + ������� � /�� ��� "������ )�, ������ ,������� �� %������� (������� H������� �� 9�� ������ $ ���������� 9 � /444�

=6.> (� $� ������� $� ����������� ���������� � �� ������ ������� !� $� (��� ��� �� E� %����� ������� %����� 2����� ��� ��� ������"���� ��� '��� %�������� +�������� "����� ������ /� �����3T.2� &����� H������� )����� 9�� F���� .88/�

=63> (� $� ������ ��� (� "������ ������ � ������A �� ������� ������� ����� �� -� *��+���� D� ,����� $� 7� 7����� � �� '��+���N� �������� � D���� �� ��� E� 7� (���� ������� 2���� �� �� -������ ��� (��������� /�� ����� /����� �� ��� .� ����� /.24T/.40� ������O�������� &� ����� "!� /444�

=66> (� $� ������ ��� (� "������ $��������� ��� �� ������� ����������� (��������� /�� ������ 2B6CA663T613� .888�

=65> D� �� �� ���� +�� ���� �� $����� ��� +������� "����� H��������� ������� )����� $�� $����� �� /410�

=60> D� �� �� ���� 7������� ��� �����A �� ������� ���� �� ������ ������� ������� � ������� ��� ��� � ���� � �� ������� ������ �� E� (� ���� ���� D� %������ � ��� �� � ���� � �������&������ .�������5+� +������� ����������� + ������ �� ��� .� ����� 543T0.3� ������O�������� !�� $ ��� %$� /420�

=61> D� �� �� ���� O� D� �� ���� E� 7� 9����� ��� )� �������� ���������5 2�������� �� ��������� .������� ��� %�������� �� )�����%��������� $� /420�

=62> (� ������ $� ������������ �����+���� ����� ��� �������� � ������� �� ����� ���������� ����� �((( ����������� �� 2���� %�������� /5B.CA166T164� .888�

=64> D� 7� ��� ��� ,� 7� %����� !������� ����� �� ������� ����������� 8������ �� $����� ��� /�� ��� + ��������� /4A/24T./.�/440�

0.

Page 68: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

=58> D� 7� ���� %� O���� ��� ,� 7� %����� ������+��� ������ ������ ��2���� �� �� �(( /��������� �� <�������� %������� ��� %�� &�������� ��� 6� ����� /T6� �77 )����� H�O�� /440�

=5/> E� ����� ��� E� '�� ����� EA � ������� ��� ��� ��� ��� ��� ���������� 8������ �� /�� ������� ��� -�� ����� "������� 5B3CA.44T3/6�/440�

=5.> $� O� D���� � 9� ��� ��� )� D� " ��� ,�� � �������A � �������+/& /�� ���� "������ 3/B3CA.06T3.3� /444�

=53> 9� O� D����� ��� ������ ����� "������� +�������� ..4B/CA5.T08�/413�

=56> 9� O� D����� ������� � ������ ���� �� �� ������ ����� +����������� ����� 2������� /.5%A313T314� /416�

=55> !� D��� ��� !� -���� $ ���� ������ � ������ ����� �� ��������� �((( ����������� �� "���� &�� ��� /��������� �� ��� 38������ 55.T50/� �777 )����� (�� ,����� %$� .888�

=50> )� O������� " ���� ��������� ������ �� )����� %��������� $�/422�

=51> D� E� O�+�� '����� ������������ �� D� '� -� ���� ��� $� O���������� (����� ���� �� /�� ��� "������ ��� ���������� �� ��� 34������ .4T63� ���� �,������ 9�� F���� /442�

=52> "� -� !�������� ���������� ,������� "����5 /������������ ������� ��� (��������� D��� -� � ��� (���� 9�� F���� .�� ������� /414�

=54> O� !���� 9���-�����A ������� � � �� ����� �� $� )������� ���(� E���� � ������� 2���� �� �� ������ ��� /���� �� &������ .���������/&.�9=�� ����� 33/T334� ������O�������� !��� ������ %$� /445�

=08> �� !��� -� !��� ��� F� (���� $ ���������� �� ��������� ������������ ���� ��� ������� ��� �� �������� � � ��� ��� � ����������� �������� &������ .�������� 68B3CA.83T..2� .888�

=0/> E� (� ���� ���� $ ���� ��� ������ �� �� �������� �������� +�������� ������������ .8B.CA///T/0/� /423�

=0.> � ���� � +� ���������� � -����� +��������� �� )����� %���������� $� /440�

03

Page 69: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

=03> �� � ���� � &������ .�������� �'������ � 9�� F���� /441�

=06> O� ���� � ��������� ��� �� "������ $������ ������ ��� ������������� � ������ ����� �� 2���� �� �� �((( ��� /���� �� "����� &�� ��� /��������� �� ��� 6� ����� 3233T3231� �777 )�����(�� ,����� %$� /442�

=05> �� ������� ��� H� $���� ��� $� ������� ������ ���� �� � ������������ ���� ��� ��� ����� �� D� ������ ��� )� *�� �� �������2���� �� �� 3��� ��� /���� �� +������� ������ "���� ��/+,�"�4004�� %�������� H�O�� .88. B����������C�

=00> "� 9���� $ ��� �� �� ���� �� ���������� ��� ���� �� ������ �������� �� 7� D� -� *����� (� %������� D� '� ���� 7� ���� )� !�!��+�� '� E��� � E� 7� (���� ��� �� ��<���� ������� + �������� ��(��������� /�� ���� (��#������ 400*� ����� 3/6T3.8� (��������N�� ��� *�� ��� .88/�

=01> ,� &��+ ��� E� �� ��� )��� �� ������ � ������A �� �������� ���� 8������ �� +������� ����������� ,�������� //A/04T/42� /444�

=02> ,� '� &������ ��� �������� �� *��� ���� ������ �������� �����/6B/CA36T31� /443�

=04> '� )�� ��� "� ���+��� (������A ��� �� ��� ��� ��� ���� ������� ���� +�������� +���� ��� &����+��� "����� 5B.CA../T..4�.88.�

=18> � )�++���� (��� ��� -���� ��� ���� ������� H%� E�������� �� ������ !������� ,�������� ,������� �� ����������� ��� %������ (�������� H������� �� %� �������� ������� %$�� 577���������������7 ������7&.,� ����������

=1/> � )�++��� ��� ,� *� ���� !������� ��� �������� ���� ���� ��A ������������� �� ��������� ��� ����� &������ .�������� .1A3/3T33/�/441�

=1.> � )�++���� D� �������� ��� ,� *� ���� (��� ��� -����A ���������� ��������� �������� �� -� D� % ���� ��� ,� -� �� ������� 2������ �� �������� +���� $�� /���� �� +������� ����������� �+++��9>�� �� ��� /� ����� 56T0/� $$$� )����� )�� ���� &E� /440�

=13> %� %� )��� ,������� B�� � ��C ���� �� �� �� *V���� ,� *� "��� � ���K� ���� ����+� ������� ��� ?������� �� (��������� /�� ����������� .6T33� &����� H������� )����� 9�� F���� /441�

06

Page 70: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

=16> �� )������ � ���������� � .����5 2�� �������� .����� )������ �� �9�� F���� 3�� ������� /441�

=15> � $� )��� ��� O� $� ,� D���� $ ���������� ����� ������ ��������� � ������� �����+����� �� F� ,������� �� (������ � ���E� V������ ������� 2������� 2������ "������ ���� $���� @ 22"$�9;� ����� .64T.51� (��������N�� ��� *�� ��� /446�

=10> � $� )��� ��� O� $� ,� D���� %��������� ����� ����A �� ����������� ��� ��� ���� �������� ������������� (��������� /�� ������� 2B/CA/T.4� .888�

=11> � $� )���� O� $� ,� D���� ��� D� D� '��������� $ ����� �������������� � ������� �������� �������� �� ��� �� !� 7��� ���� ������2���� �� �� "��� ��� /���� �� -����� +��������� ����� 300T31.� ������O�������� (�� "��������� %$� /445�

=12> � $� )��� ��� O� $� ,� D���� ��� ����� ���� �� ��������� ��� ������� �������� �� $� 7� 7����� �� *V���� � (���������� ��� �� (������ �������� 2���� �� �� 3��� ��� /���� �� 2������� 2������ "������ ����$���� �22"$�9)�� ����� 538T534� (��������N�� ��� $�������� /442�

=14> D� E� J��� ��� %���������� ,���� ���� .���� /��������� �� (��� ����7�������� H������� )����� H�O�� /414�

=28> D� E� J��� ��� �������� �� �������� ����� &������ .�������� /B/CA2/T/80� /420�

=2/> D� E� J��� ��� '�������� ��������� �� �� ���� �������� ����� ��D� �,����� ������ 2���� �� �� ���� ��� 8��� /���� �� +������������������� ����� 386T381� ������O�������� (�� ���� %$� /421�

=2.> �� E���������� %������� �� ���� ��� �� �� ���������� ���� ���!����� ����� ���� 9�� //..� E�� $������ 7��� ������� "������������ ������ H�O�� /405�

=23> %� ,� E���� ��� E� O� *� ��� ����� ��� ��������� ������ ����A������ �������� ���� ������� �� !� 7��� ���� ������ 2���� ���� "��� ��� /���� �� -����� +��������� ����� 313T328� ������O�������� (�� "��������� %$� /445�

=26> ,� 7� E��� ���� '� 7� ������ ��� E� D� -� ����� !������� ������ ������������ � ����� ����������� �� ,� 7� E��� ��� ��� D� !� �% � ���� ������� 2������� %�������� 2���������� ����� 3/2T30.� �� )����� %��������� $� /420�

05

Page 71: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

=25> D� (�� ������ /426 H���� (��� %����������� ����� ��������������� H%� E������� �� ������ !������� ,�������� ,�������� �� ���������� ��� %������ (�������� H������� �� %� ��������������� %$� � 577���������������7 ������7&.,� ����������

=20> �� (������ -� )�� � ��� �� O������ !������� � ��������� ����������� ��������� �� ,� E������� ,� *����� ��� �� !��������� �������2���� �� �� 3��� ��� /���� �� ��������� 6��� ��������� 4000� �����.6/T.61� $% )����� 9�� &� ����� !$� .888�

=21> E� 7� (���� (� "������ ��� $� (� )��� ���� )��� ���� ������� ���� ������ ���� ���� A ��� ������� ��� ������ ������� �� !� ,�-�� �� ������ 3��������� �� -����� +�������� 4� ����� /53T/05� ������O�������� (�� ���� %$� /443�

=22> E� 7� (���� (� "������ ��� $� (� )��� ���� (�������� ��� ������������������ ���� ����� ��� ������ � �������� (��������� /��� ������ /B.CA/.1T/64� /443�

=24> ,� (����� O� $� ,� D���� ��� $� (��� +� $ � ����� ���� ���� ��������� � ���������� ����� ���� ��� ������������ �� ���� �� ����� ���� �� )� "��� � ������ /������� �� (��������� /�� ����� 4004�/(/�4004�� �777 )����� ���� � �� ������� .88. B����������C�

=48> $� (����<�� (� $� ������� ��� (� "������ )������ �� �� � ������������� ����� �� �� ������ *� * �� �� � 7� K����� ��� %� �������� ������� &����� �� $�� "����� 2�������� *99A� ����� 15T2.�$% )����� !����� �� H�O�� /442�

=4/> O� %� ���� $� ��� �� �� !��� ��� %� � ����� ����� �� �� � ������������� � � ���������� �� �� ����� ������ ������������ �� )� "���� � ������ /������� �� (��������� /�� ����� 4004 �/(/�4004���777 )����� ���� � �� ������� .88. B����������C�

=4.> (� ������ D� *� �� 7� * ������� �� *����� *� %������ D� %�����O� $� ,� D���� (� ,+������� (� 7� "�� ���� ,� "������ E� �������O� O������� (� O� ��� �� O��������� D� O���+����� E� (� ���� ������ ���� � )� )�������+� F� E����� �� N������ -� N�� �� -� ���-� -��+� � D� -���� ��� D� K����� ��� &9O@� ���� ���A � ������������ ���������� �� ������� ������� � �������� �������� E����% H�%(�4/�/41� (���� �� %������ (������� %������� � �� H��������� )������� )$� /44/�

00

Page 72: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

=43> D� ������ ��� � 9�� � $ �������� ����� ������� ������ ������� ��� ��� ���� <���������!���� "����� /6A/./T/38� .88/�

=46> D� ������� � 9�� � ��� D� 7� ���� ,�� ��� ��� ����� ������� ������ ������ � ���� ��� ��� ��� O������ �������A ���� ������������� �� 2���� �� �� �((( ��� /���� �� "���� &�� ��� /���������� �� ��� 3� ����� 4..T4.1� �777 )����� ����� D����� /444�

=45> D� ������� � 9�� � ��� D� 7� ���� $� ������� ������ ���� ������ ��� ���� !�������� 5B/I3CA/63T/58� .888�

=40> (� ��������� (����� ��������� �� ������ �������� $�����38.A515T52/� /423�

=41> %� D� N�� E�<�������� ���������� ,�������� ,������� �� %������(������� H������� �� ' ������ H�O�� .�� ������� /414�

=42> "� N��� � ��� $� %������� (����� ��������� ������ �������� ��������� ����� /.A/54T/01� /44/�

=44> (� � -���� ��� %� $� O� �������� /�� ��� ����� �� ������ ������O�������� (�� "��������� %$� /44/�

=/88> F� F���� (� ( ���� ��� E� '����� $ ��� �� ���������� � �������������+����� 8������ �� ��������� ���������� "����� /2B.CA./4T.6/� .88.�

=/8/> *� K���� ��� F� (��� )������ �+�� ����������� � ����� ����� ������������� �������� + ���� +������� ������������ /5B1CA005T025� .88/�

01

Page 73: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

)������� )

)��������� �� ���

�� ��� �������� �������� ���� � ����'������ � ����� ��� � �� ���� ���� �������� ��� �� ���� ��� �� �� ��� ��������� �(��� )*�� )*�)*� ��� )*� ���� ��������� �� �� ���� � �� �� ���������� ��������� ��-����� �*�� ��� $���� )*� ����� �� ������� �� � ������� ��� ������� ��� ��� ���� ����������� $���� )*� �� ��� $���� �*� ����� ������� ��������� �� �� ������ � ���� ��� �� ���� ��������� ���� ��� ������� ����������� �� �� ������� � ���������� ��� �� '������ ��

02

Page 74: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������ ������� ������+� �������� 0�1 ������������ �2� �������� �������� ��+���� ����+��

/8 $�( 8�042 8�850 8�81.9*% 8�158 8�888 8�838

.8 $�( 8�048 8�861 8�8619*% 8�181 8�801 8�8/.

38 $�( 8�020 8�816 8�85/9*% 8�040 8�826 8�838

68 $�( 8�048 8�82/ 8�8369*% 8�024 8�850 8�831

58 $�( 8�046 8�//0 8�8609*% 8�023 8�/85 8�802

��� � $�/A ����� ��� �� ����������� ������

������ ������� ������+� �������� 0�1 ������������ �2� �������� �������� ��+���� ����+��

/8 $�( 8�025 8�828 8�8449*% 8�156 8�88. 8�834

.8 $�( 8�180 8�861 8�8859*% 8�00/ 8�845 8�823

38 $�( 8�020 8�850 8�8369*% 8�541 8�/31 8�/66

68 $�( 8�024 8�862 8�81.9*% 8�550 8�/55 8�/43

58 $�( 8�014 8�818 8�/809*% 8�5/0 8�/31 8�./4

��� � $�.A ��������� ��� �� ����������� ������

04

Page 75: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������ ������� ������+� �������� 0�1 ������������ �2� �������� �������� ��+���� ����+��

/8 $�( 8�085 8�805 8�8//9*% 8�50. 8�855 8�816

.8 $�( 8�058 8�823 8�8./9*% 8�548 8�80/ 8�841

38 $�( 8�006 8�856 8�83/9*% 8�08/ 8�800 8�846

68 $�( 8�014 8�821 8�8/69*% 8�0.6 8�800 8�845

58 $�( 8�1/1 8�845 8�8.69*% 8�064 8�813 8�//.

��� � $�3A ���� ��� �� ����������� ������

������ ������� ������+� �������� 0�1 ������������ �2� �������� �������� ��+���� ����+��

/8 $�( 8�136 8�818 8�8089*% 8�132 8�/36 8�85/

.8 $�( 8�1.5 8�80. 8�8689*% 8�0.1 8�/6. 8�/55

38 $�( 8�161 8�864 8�8659*% 8�00. 8�841 8�/.5

68 $�( 8�15/ 8�801 8�8/29*% 8�1.6 8�/86 8�81.

58 $�( 8�163 8�/80 8�8659*% 8�0.4 8�/53 8�/23

��� � $�6A ����� ��� �� ����������� ������

18

Page 76: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

0.90

0.92

0.94

0.96

0.98

1.00

classifier predictive accuracy

best classifier

0

1

2

3

4

5

classifier size

0.0

0.2

0.4

0.6

0.8

1.0

species 1 mean predictive accuracy

0.0

0.2

0.4

0.6

0.8

1.0

species 2 mean predictive accuracy

0.0

0.2

0.4

0.6

0.8

1.0

species 3 mean predictive accuracy

1 10 20 30 40 50 60 70 80 90 100

0.0

0.2

0.4

0.6

0.8

1.0

species 4 mean predictive accuracy

Generation

"����� $�/A 7�� ������ � ������ ������� B������� � ����������C

1/

Page 77: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

0.40 0.50 0.60 0.70 0.80 0.90 1.00

0

1

2

3

4

5

6

7

8

9

10

Predictive accuracy

Fre

quen

cy

mean

0.1

0.1

0.40 0.50 0.60 0.70 0.80 0.90 1.00

0

1

2

3

4

5

6

7

8

9

10

Predictive accuracy

Fre

quen

cy

mean

TY

PE

BIA

S0.

5

0.40 0.50 0.60 0.70 0.80 0.90 1.00

0

1

2

3

4

5

6

7

8

9

10

Predictive accuracy

Fre

quen

cy

mean

0.9

0.40 0.50 0.60 0.70 0.80 0.90 1.00

0

1

2

3

4

5

6

7

8

9

10

Predictive accuracy

Fre

quen

cy

mean

0.5GENERALITY BIAS

0.40 0.50 0.60 0.70 0.80 0.90 1.00

0

1

2

3

4

5

6

7

8

9

10

Predictive accuracy

Fre

quen

cy

mean

0.40 0.50 0.60 0.70 0.80 0.90 1.00

0

1

2

3

4

5

6

7

8

9

10

Predictive accuracy

Fre

quen

cy

mean

0.40 0.50 0.60 0.70 0.80 0.90 1.0

0

1

2

3

4

5

6

7

8

9

10

Predictive accuracy

Fre

quen

cy

mean

0.9

0.40 0.50 0.60 0.70 0.80 0.90 1.0

0

1

2

3

4

5

6

7

8

9

10

Predictive accuracy

Fre

quen

cy

mean

0.40 0.50 0.60 0.70 0.80 0.90 1.0

0

1

2

3

4

5

6

7

8

9

10

Predictive accuracy

Fre

quen

cy

mean

"����� $�.A N������� �� ������ � ��� ������ �� ���� B������� � ����������C

1.

Page 78: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

)������� �

�������������� ������� ���

�� �� ����

&�� ��$����������� �������

$ �� ���� ��� ����� �� � /�6'�+ $� �� !���� ���� ������� �� � ������ �� ���� ����� �� ����� ��� �.�45�3 ��� ��� . ����������� ��� ��� ����� ����� �� '9H '����� )�� �� !������� ��� ���������� ��������� ��'������� � ��� � ���� ������� �� �� �� !���� ��� � ���� �������� ����� ���� /�2'�+ )����� 6@� � �� ������� !����� &��� ��� ��� ������������ ��� ��� ����� �� � ������� ������� =5/>� ��� ����� � �� �������������� �� �� ���������� ���� � �� ��������� "������ ���� ������ ������ ��� ��� �� L������� ��� ���� ��� ���������� ��� ���� ������� !��7S .� ������� ���������� ���� ��� �� ����7S ��� ���������������� �������� ���� �� ��������� ��� ������ ��� ��� �������� � �� � ��� �����

��� �� �������� � ��� ������ ��� ���� ������� ��� $�( ������ ��������� �� ����� �� ��� ��������� ��� ��� ��������� � ��� ������� �������� ��� �� ��� ������ � ������ ��� � ������� ���� � �� ������ ����������� �� ������������������� ��� ����������� ��� ���� ��������� ��� ��������� � �� ��������� � ��� ��������� ��� ��������� � �� ������ �������� ��� ���� ��� �� ����� ���� ��� ������� �� ������� ������ ��� ����� ����� ���� ��� ��� �� ����������������� ��� ����������������� � ���� ������ ������� ������� ��� �� �� ! ������� � ���������� ������� ����� *������ � ������� �� ��� ������ �� ����!����������������� ��� ����!����������������� � 7���� �� �� ��� � ���� ������� ��� ���� ����� ����� �� ��������"���# ������ ��� �����# �$$���� ��������� ��������� ���� � ������� �� ���� � �������� ��'������� � ��� � ��������� �

13

Page 79: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��� ������ ������� ������ �������� ����� *������ � ������� ��� ������ ���� ��������� �� ��� � ����� �� ���������� �� �(�� �*�� ������� � �� �� ��<��� ��� ������ �������� �� ���� � ����� ��� �� ������� �� ������ ���� �������

����� ��������� ���

��� ������� ������ ������ ��� ���������%��� ������ �������������������� ����� ������� �������������������������� ������ �����������

�������&���� ������ ����� ���������������� ����� ��� �� ���������

��������"������ ����� ������� ������ �� ������������������������ ������ ������� �����������������

����!��������������� ����� *������ � ������� ����!�����������������

��� � *�/A ��� � ������

��� ���� ��� ���� � ������ ��������� �� ��������� �� �� ��������� �������� �� � ������ �� ������� ��������� �� ���� ���� ����� ����� ��� �������� � ��������� �� ��������� �� ���� �������� �������� � ������ �� ����� ���� �������� ��� ������ ����� �� '������� � ��� ������� ����������� ���� ���� ���� ���� �� �� /�6'�+ $� ������ ��� ���� ��� � ���� � �� ������ �� �� ���������� ������� ������ ����� �� �� � ����� �� ��������� ��� � �� ���� �� ��� �������������������� �� ����� � ������� �������� � ����������� ��� �� �� ������� ����� �������� ��� ������ ��� �������� ���� �������� ��� �������� ����� ��� ��� � ��������� �� ����� �� � ��������� �������� �� �������� ���� �� ���� �� ��� ����� ��� L���� �� (����� ���� ��� ������ ����� ���� �� �����@� ������ � ��� '((����������)���(�

16

Page 80: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

&�� "����� ����

"���� ����������������������

���������������������������������������������������������������������������������� � � � � � � � � � � ������ ������ ������ � � � �� � � �� � � ���� ���� �� � � � � � ��� ����� ������� � ����� ��� ���! � ��� ���� � � � � � � � ���� � � ��� ���� �� � ��� � � � � � � � � � � ����������������������������������������������������������������������������������

���������������������������������������������������������������������������������� � � � � � � � � � � � ����������� �� ����� ����� ��� � � � � � � � � � � � � �� ��� ��� ����������������������������������������������������������������������������������

�� ������������� � � � � � � ���������� � � � � ������������� � � � � � ��������� � � � � � � � ��������� ���� � ��������� � ���� � ��������� "#�����$������ � "�������� "%� � � �&��� � � ��# � � � � � � � � � � "

�� ��� ���� �������� '(%)*++) ��� �� ���� ���������� ,(-./$+$+% ��� �� ��0 � � � ����� �����

�� ���� � �� ���� � ��� �� ���� ��

�� ���� ���� ��� �� � � � 1./$+ � � � � � � � � 1� ��� � � � � � � � � ��� � � �� ���� 1

�� ���� ���� � � � � � � � � � ��� 2 � � ��� � � � ��� �� � � ����� � � ��� � � � 1�� ���� 2 � � ��� � � � ��� �� � � ����� � � ��� � � � 1� ��� � � � � � � � ��� � 1

�� ����� ����� � � � �� � � ���� 32 4 ��

� � � � �� " � � � � � � � � � � ���� � � � " �� �"5'/($* #6*+5* 7+%+'(5/8%* /%/5 &/(* 59:+ &/(* /%./$+ 8;5./$+��" 1

����� �+-/5 .(/$;'+� 1����� ��� �� � � � � � � 2 � � � � ���� < � = � 1���� ��� �� �� � � � � 2 � � � � ���� < � = � 1���� ��� �� ���� �� � � �� 2 � � � � ���� < ! = � 1

15

Page 81: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������ � � � �& � � � 2 � � � � ���� < > = � 1������ ����&��� 2 � � � � ���� < ? = � 1� � � � � � � � � � � � � 2 ��� � � � � � � � ���� < @ = � 1� � � � � � � � � � � � � 2 ��� � � � � � � � ���� < A = � 1

� � � � � �������� �"�" � 1 � � � � � �������� � ���� < � = � 1 � � � � � �������� �"�" � 1 � � � � � �������� � ���� < � = � 1 � � � � � �������� �"�" � 1 � � � � � �������� � ���� < ! = � 1 � � � � � �������� �"�" � 1 � � � � � �������� � ���� < > = � 1 � � � � � �������� �"�" � 1 � � � � � �������� � ���� < ? = � 1 � � � � � �������� � " � �� � �� " � 1

� � � � � � � 2 ���� � � � � � � ���� � � � � � � "�" � 1

�� � � � � � ���� ������ ������� �'(%)*++)� 1����>4 �'(%)*++)� 1

�� �� � � � � � � �� � � �)���*�� � ���*�� 2 ��� )���*�� � � � � � � � � 1��� �� "����� ��� � � � ��� �����" 1

� � � � � � � � � � � � � � � � "B�� B�! B�? B���� � B���� � B�!��" � �� � � � � � � � � � � � � � � ��� �� � � �� � � � � �& � � � � ����&��� � ����*���������$���� � 1

�� � � � � � � � � � � � � � � � � � � � � � �# � � � �� � � � � � �*� � � � � � � � � � � � � � �* � � 2 ��� #� � � �� � � � � � �*� � � ���*�� � �

�� � � � � � 1��� �� "����� � � � � � � � � � � � � � � � � � � �� � � �����" 1

�� � � � � � � �� ��� ����� ��� � � � � � � � � � �%� � � �&��� � � ��# � � � � � � � � � � �� � � �&��� � � ��# � � � � � � � � � 2 ��� �

%� �� �&��� � � ��# � � � � � � � � � � ���*���������$���� � 1

�� � � � � � � ������ � � � �� � �#�����$������ � ������$������ 2 ��� #�����$������ � � 1������$�����������.������6����$���� � ���*���������$���� � 1������$�������������)��� 2 � 1������$�������������*����� 2 � � � � � � � 1������$��������� � �7��� � � � � � �& �� � � � � � �& � � � � 1������$�����������)������5���&��� � ����&��� � 1������$������������ � � � � � � � � � 1��� �� "����� ������ � � � �� � � � � � � � � � � � � �����" 1

10

Page 82: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��� �� "����� ��������� " �� � � � � � � �� " � � � � � � �����" 1��� � � 2 � 1 � �2 � � � � � � 1 �CC��

� � � � � � � � � � � �* � ���������� � � 1��� �� "����� � � � � � � � � � � � � � ������ � � � �� � � �����" 1��� � � 2 � 1 � � �� � � � � 1 �CC��

��� �� "��� � � � � � " �� � �� " � � � � � � � � � � � � � � � " �� �� �� " �����" 1

�� � � � � � � � � � �������$��������� � � � � � � 1������$��������� � � � � � ��*� � 2 � � � � � � � � � � � �* � ���� � � � � � ��*� � < � = 1������$��������� � � � * � � 2 � � � � � � � � � � � �* � ���� � � � * � � < � = 1������$���������'���*������ � � 1

�� �� ��� � � � � � � � � � �������$��������� � � � �# � � � � � � � � � � ���� �� � � �� � 1

�� ����� ���� � � � � � � "��� � � � � � B���� � � �B���� � � �B�� �����" �

������$��������� � � � � � � � � � 5 � � � � � � �. � � � � � � � �������$��������� � � � � � � � � � 5 � � � . � � � � � � � �������$��������� � � � � � � � � � * � D � �� 1

� � � � � � � � � � � � � � � � "B���� � � �B���� � � �B����" �������$��������� � � � � � � � � � 5 � � � � � � �. � � � � � � � �������$��������� � � � � � � � � � 5 � � � . � � � � � � � �������$��������� � � � � � � � � � * � D � �� 1

������$��������������.��&���5������� � � 1� � � � � � � "��� � � � � � B���� � � �B���� � � �B�� �����" � �

������$����������� �8�5�� �� ���*�� � � � �������$������������8�5���*�� � � � �������$��������� � � �# � � � � � � � � �5 � � � � � � � * � D � �� 1

� � � � � � � � � � � � � � � � "B���� � � �B���� � � �B����" � �������$����������� �8�5�� �� ���*�� � � � �������$������������8�5���*�� � � � �������$��������� � � �# � � � � � � � � �5 � � � � � � � * � D � �� 1

������$��������������.��&���5��� � � 1� � � � � � � "��� � � � � B���� � � �B���� � � �B�� �����" � �

������$����������� �8�5�� �� ���*�� � � � �������$������������8�5���*�� � � � �������$��������� � � �# � � � � � � � � �5 � � � * � D � �

11

Page 83: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� 1� � � � � � � � � � � � � � � � "B���� � � �B���� � � �B����" � �

������$����������� �8�5�� �� ���*�� � � � �������$������������8�5���*�� � � � �������$��������� � � �# � � � � � � � � �5 � � � * � D � �� 1

�� � � � � � �� ��� ����� ��� � � � � � � � � � ��� � � �&��� � � ��# � � � � � � � � ���� � � � � � � � � � � � � � � � � �* � ���� � � � � � ��*� � < � = � 1� � � � � � � "��� ��� � � � � � B���� � � � � � � � B���� � �������" � �

�� � � �&��� � � ��# � � � � � � � � ���� � � � � � � � � � � � � � � � �* � ��� �� � � � � � ��*� � < � = � � � � � � �&��� � � ��# � � � � � � � � ���� � � � � �� � � � � � � � � � � �* � ���� � � � * � � < � = � �� 1

� � � � � � � � � � � � � � � � "B���� � � �B���� � ��" � ��� � � �&��� � � ��# � � � � � � � � ���� � � � � � � � � � � � � � � � �* � ��� �� � � � � � ��*� � < � = � � � � � � �&��� � � ��# � � � � � � � � ��� �� � � � � � � � � � � � � � � � �* � ���� � � � * � � < � = � �� 1

�� � � � � ��� � � � �� � � � � � � � � � � � � � 1

��

� � � � � � � � � � � � � � 1

�� ����� ���� � � � ���� � �� ���� � 1� � � � � � � "��� �� �B ������� � ���� ���" � �

����� ��� �� � � � � � � �� � �� �� ���� � � � � � � � � ��� � � @ � � � � � 1

����� �+-/5 *;##+**� 1�

12

Page 84: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

"���� ���������''� ����

���������������������������������������������������������������������������������� � � � � � � � � � � ������ ������ ������ � � � �� � � �� � � ���� ���� �� � � � � � ��� ����� ������� � ����� ��� ���! � ��� ���� � � � � � � � ���� � � ��� ���� �� � ��� � � � � � � � � � � ����������������������������������������������������������������������������������

���������������������������������������������������������������������������������� �� ��� ����������� �� ����� ����� ��� � � � � � � � � � � � � ��� ��� ����������������������������������������������������������������������������������

�� ������������� � � � � � � ���������� � � � � ������������� � � � � � ��������� � � � � � � � ��������� ���� � ��������� � ���� � ��������� "#�����$������ � "�������� "%� � � �&��� � � ��# � � � � � � � � � � "�������� ".������+0������ � "

�� ��� ���� �������� '(%)*++) ��� �� ���� ���������� ,(-./$+$+% ��� �� ��0 � � � ����� �����

�� ���� � �� ���� � ��� �� ���� ��

�� ���� ���� ��� �� � 1./$+ � � � � � � � � 1� ��� � � � � � � � � ��� � � �� ���� 1)���*�� � � � � � � � ��*� � � � � � � � * � � 1

�� ���� ���� � � � � � � � � � ��� 2 � � ��� � � � ��� �� � � ����� � � ��� � � � 1�� ���� 2 � � ��� � � � ��� �� � � ����� � � ��� � � � 1� ��� � � � � � � � ��� � 1

�� ����� ����� � � � �� � � ���� 32 E ��

� � � � �� " �� ������DD�� � " �� �"5'/($* 5'(/%/%7�*/F+ 7+%+'(5/8%* /%/5 &/(* 59:+ &/(* " �� �".6 $+%75G /%./$+ 8;5./$+��" 1

����� �+-/5 .(/$;'+� 1����� ��� �� � � � � � � 2 � � � � ���� < � = � 1���� ��� �� � � � � � � � � * � D � 2 � � � � ���� < � = � 1

14

Page 85: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

���� ��� �� ���� �� � � �� 2 � � � � ���� < ! = � 1������ � � � �& � � � 2 � � � � ���� < > = � 1������ ����&��� 2 � � � � ���� < ? = � 1���� ��� �� ��$���� 2 � � � � ���� < @ = � 1� � � � � � � � � � � � � 2 ��� � � � � � � � ���� < A = � 1� � � � � � � � � � � � � 2 ��� � � � � � � � ���� < 4 = � 1

� � � � � �������� �"�" � 1 � � � � � �������� � ���� < � = � 1 � � � � � �������� �"�" � 1 � � � � � �������� � ���� < � = � 1 � � � � � �������� �"�" � 1 � � � � � �������� � ���� < ! = � 1 � � � � � �������� �"�" � 1 � � � � � �������� � ���� < > = � 1 � � � � � �������� �"�" � 1 � � � � � �������� � ���� < ? = � 1 � � � � � �������� �"�" � 1 � � � � � �������� � ���� < @ = � 1 � � � � � �������� � " � �� � �� " � 1

� � � � � � � 2 ���� � � � � � � ���� � � � � � � "�" � 1

�� � � � � � ���� ������ ������� �'(%)*++)� 1����>4 �'(%)*++)� 1

�� �� ��� � � �.������+0������ � � � � �� � �+0 � ��� � � 2 ��� .������+0������ � � � � � � � � 1��� �� "����� ��� ��� ��� �� ����� �����" 1� � � �� � �+0 � ��� � ��������$���� 2 ��$���� 1

� � � � � � � � � � � � � � � � "B�� B�! B�? B���� � B���� � B�!��" � �� � � � � � � � � � � � � � � * � D � � � ��� �� � � �� � � � � �& � � � � ����&��� � ��$���� � 1

�� � � � � � � �� ��� ����� ��� � � � � � � � � � �%� � � �&��� � � ��# � � � � � � � � � � �� � � �&��� � � ��# � � � � � � � � � 2 ��� �

%� �� �&��� � � ��# � � � � � � � � � � ��$���� � 1

�� � � � � � � ������ � � � �� � �#�����$������ � ������$������ 2 ��� #�����$������ � � 1������$�����������.������6����$���� � ��$���� � 1������$�������������)��� 2 � 1������$�������������*����� 2 � � � � � � � 1������$��������� � �7��� � � � � � �& �� � � � � � �& � � � � 1������$�����������)������5���&��� � ����&��� � 1������$������������ � � � � � � � � � 1��� �� "����� ������ � � � �� � � � � � � � � � � � � �����" 1

28

Page 86: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��� �� "����� ��������� " �� � � � � � � �� " � � � � � � �����" 1��� � � 2 � 1 � �2 � � � � � � 1 �CC��

� � � �� � �+0 � ��� � ���������)���*�� � ��$���� � � � � � � � � � * � D � � 1� � � � � � ��*� � 2 � � � �� � �+0 � ��� � ���� � � � � � ��*� � 1� � � � * � � 2 � � � �� � �+0 � ��� � ���� � � � * � � 1

��� �� "��� � � � � � " �� � �� " �����" 1

�� � � � � � � � � � �������$��������� � � � � � � 1������$��������� � � � � � ��*� � 2 � � � � � � ��*� � 1������$��������� � � � * � � 2 � � � �* � � 1������$���������'���*������ � � 1

�� �� ��� � � � � � � � � � �������$��������� � � � �# � � � � � � � � � � ���� �� � � �� � 1

�� ����� ���� � � � � � � "��� � � � � � B���� � � �B���� � � �B�� �����" �

������$��������� � � � � � � � � �5 � � � � � � �. � � � � � � � �������$��������� � � � � � � � � � 5 � � � . � � � � � � � �������$��������� � � � � � � � � � * � D � �� 1

� � � � � � � � � � � � � � � � "B���� � � �B���� � � �B����" �������$��������� � � � � � � � � �5 � � � � � � �. � � � � � � � �������$��������� � � � � � � � � � 5 � � � . � � � � � � � �������$��������� � � � � � � � � � * � D � �� 1

������$��������������.��&���5������� � � 1� � � � � � � "��� � � � � � B���� � � �B���� � � �B�� �����" � �

������$����������� �8�5�� �� ���*�� � � � �������$������������8�5���*�� � � � �������$��������� � � �# � � � � � � � � �5 � � � � � � � * � D � �� 1

� � � � � � � � � � � � � � � � "B���� � � �B���� � � �B����" � �������$����������� �8�5�� �� ���*�� � � � �������$������������8�5���*�� � � � �������$��������� � � �# � � � � � � � � �5 � � � � � � � * � D � �� 1

������$��������������.��&���5��� � � 1� � � � � � � "��� � � � � B���� � � �B���� � � �B�� �����" � �

������$����������� �8�5�� �� ���*�� � � � �������$������������8�5���*�� � � � �������$��������� � � �# � � � � � � � � �5 � � � * � D � �� 1

� � � � � � � � � � � � � � � � "B���� � � �B���� � � �B����" � �

2/

Page 87: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������$����������� �8�5�� �� ���*�� � � � �������$������������8�5���*�� � � � �������$��������� � � �# � � � � � � � � �5 � � � * � D � �� 1

�� � � � � � �� ��� ����� ��� � � � � � � � � � ��� � � �&��� � � ��# � � � � � � � � ���� � � � � � � � � � � � ��*� � � 1� � � � � � � "��� ��� � � � � � B���� � � � � � � � B���� � �������" � �

�� � � �&��� � � ��# � � � � � � � � ���� � � � � � � � � � � ��*� � � � ��� � � �&��� � � ��# � � � � � � � � ���� � � � � � � � � * � � � � 1

� � � � � � � � � � � � � � � � "B���� � � �B���� � ��" � ��� � � �&��� � � ��# � � � � � � � � ���� � � � � � � � � � � ��*� � � � ��� � � �&��� � � ��# � � � � � � � � ���� � � � � � � � � * � � � � 1

�� � � � � ��� � � � �� � � � � � � � � � � � � � 1

� � � � � � � � � � � � � � 1

�� ����� ���� � � � ���� � �� ���� � 1� � � � � � � "��� �� �B ������� � ���� ���" � �

����� ��� �� � � � � � � �� � �� �� ���� � � � � � � � � ��� � � @ � � � � � 1

����� �+-/5 *;##+**� 1�

2.

Page 88: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

"���� ������!�������������������������������������������������������������������������������������� � � � � � � � � � � ������ ������ ������ � � � �� � � �� � � ���� ���� �� � � � � � ��� ����� ������� � ����� ��� ���! � ��� ���� � � � � � � � ���� � � ��� ���� �� � ��� � � � � � � � � � � ����������������������������������������������������������������������������������

���������������������������������������������������������������������������������� � � � � � � � � � � � � � � � � � ����������������������������������������������������������������������������������

������� #$(**/./+' G������� #$(**/./+' G

�� ������������� � � � � ������������� � � � � � �

�� ��� ���� �������� *+$. � �� � � � � � � � � �������� %8%*+$. � �� �� � � � � � � � � �������� ,(*H6($;+ � �� ���I �� ���

���� � � �� � � � � � � �������� )�������

������ J)������ � ���� ���� ��� �� � ���� � 1)������ J J K )������ ����� � 1

���� ��� �� � ���� 1 �� ����� � � � � � � � ��� � ����� ��� �� � �� ��� 1 �� ��� � � �� ��� ������� � � � � � 1 �� � � �� � � � �� � ����� ��� �� ���� 1 �� � � �� � � ����

���� ���� �./$+ � �����*����� � 1 �� ���� � ���������� � ������ � � ���� � � ��� � 1 � 1 �� ����� � ����

� 1

������

23

Page 89: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

"���� ������!�����

���������������������������������������������������������������������������������� � � � � � � � � � � ������ ������ ������ � � � �� � � �� � � ���� ���� �� � � � � � ��� ����� ������� � ����� ��� ���! � ��� ���� � � � � � � � ���� � � ��� ���� �� � ��� � � � � � � � � � � ����������������������������������������������������������������������������������

���������������������������������������������������������������������������������� � � � � � � � � � � � � � � � � � ����������������������������������������������������������������������������������

�� ������������� " # � � � � � � � � � � "

���� � � �� � � � � � � � ��� � � � ��� ���

�� ��� � ��� � � � � � � � � � � � � � � � � � � ��� ����� � � ���� � � � � � � �)������ J J )������ � ���� ���� ��� �� � ���� ��

����� ���� 2 ����� 1� � � � � 2 � � � 1�� ��� 2 ��� ���� ��� �� < � ���� = 1���� 2 � 1

�� � � � � � � � �)������ J J K )������ ����� ��

����� < = �� ��� 1�

�� ���� � �������� �����*����� � ������ � ���� ����� )������ J J ���� �./$+ � �����*����� ��

�� ���� ���� ��� �� � 1

� � � � � � � � �����*����� � �"B�! B���� � B����" � �� ���� � �� � � � � � ����� �� 1

��� � � 2 � 1 � � � ���� 1 �CC�

26

Page 90: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� � � � � � � � �����*����� � "B�� " � �� ��� < � = � 1� � � � � � � � �����*����� � "��" � 1

� � � � � � �����*����� � 1�

25

Page 91: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

"���( �� ���%��� ����

���������������������������������������������������������������������������������� � � � � � � � � � � ������ ������ ������ � � � �� � � �� � � ���� ���� �� � � � � � ��� ����� ������� � ����� ��� ���! � ��� ���� � � � � � � � ���� � � ��� ���� �� � ��� � � � � � � � � � � ����������������������������������������������������������������������������������

���������������������������������������������������������������������������������� ������ � � � �� � � � � � � � � � ����������������������������������������������������������������������������������

������� #8%#+:5$+('%+'G������� #8%#+:5$+('%+'G

�� ������������� "+���� �����(��� �� � � "�������� " # � � � � � � � � � � "�������� ")���*�� � "�������� � � � � � �

�� ��� ���� �������� )+. *:+#/+* */F+ ��� �� � � �� � � � � � � � � � � � D �������� )+.,(- .+(5;'+6+#58'$+%75G �?@ �� � � �� � � ��0 � � � �� � � ��� � � � ��������� )+. ,(- #$(**/./+' */F+ �� �� � � �� � � ��0 � � � � � � � � � � � � D �

���� ������ � � � �� � � � � � � �������� #�����$�������

������ J#�����$������ � ���� ���� ��� �� � � � � � � � * � D � 2 )+. *:+#/+* */F+ � �

���� ���� ��� �� ��0.������6����$���� 2 �)+.,(- .+(5;'+6+#58'$+%75G� ����� ���� ��� �� ��0# �� � � � � � � � * � D � 2 )+. ,(- #$(**/./+' */F+ � 1

K#�����$������ ����� � 1

���� ��� �� ��0# �� � � � � � � � * � D � 1���� ��� �� ��0.������6����$���� 1

������ � �� � � � � � � �& � � � 1������ ������5���&��� 1��� ���� ��� �� �����)��� 1 �� ����� ��� � � � � � � � � � � 1 � � 2 ��./$+ � �����*����� 1 �� ������ � ����� ��� �

���� ��� �� � ������6����$���� 1���� ��� �� � � � � � � � * � D � 1

20

Page 92: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������ ������5 ��� � 1���� ��� �� ������#��� � ������7������ ��� 1������ � � �� � � �5 �� � � 1���� ��� �� ����� ��#��� � � � �� � � �7����� � � �� 1

������ � � � � # � � � � � � � � � 5 � � � � � � �. � � � � � � 1

���� ��� �� ���*������ 1 �� ��� � �� � ������ � � � � � � � ����� ��� �� � � � � � � � � � � * � D � 1 �� ��� � �� � � � � � � � � � � � � � D ����� ��� �� � � � �# � � � � � � � � �5 � � � � � � � * � D � � � � � �# � � � � � � � � �5 � � � * � D � 1

������ � � � � � � � � � �5 � � � � � � �. � � � � � � � � � � � � � � � � � 5 � � � . � � � � � � 1������ � � � �# � � � � � � � � �5 � � � � � � �. � � � � � � � � � � �# � � � � � � � � �5 � � �. � � � � � � 1���� ��� �� � � � � � : � � � � � � � � � � � � �%��� � � � � � 1

*��� � � � �� ������ 1 �� ������ ������ ��*��� � � � �� � � � 1 �� � � � ������ ��)���*�� � � � � � � � ��*� � 1)���*�� � � � � � * � � 1

���� � � � � �# � � � � � � � � � � ���� ���� ��� �� ���� �� � � �� 2 � � 1������ ��� �8�5�� �� ���*�� � � 1������ ����8�5���*�� � � 1���� ���� �./$+ � �����*����� � 1���� ����+���� ��)��� �./$+ � �����*����� � 1���� ����+���� ��)��� �./$+ � �����*����� � ���� ���� ��� �� ���0 � 1���� �'���*������ ����� � 1���� � � � � � ����� � 1���� ������.��&���5������� ����� � 1���� ������.��&���5��� ����� � 1���� � � �7��� � � � � ��& � � � � ���� ������ � �� � � � � � � �& � � � � 1���� ���)������5���&��� � ���� ������ ������5���&��� � 1���� ���.������6����$���� � ���� ���� ��� �� � ������6����$���� � 1���� � � � �# � � � � � � � � � �./$+ � �����*����� � 1���� � � � � � �+� � � � # � � � � � � � � � ����� � 1���� � ������ � � ���� � � ��� � 1 � 1���� � �+������)��� ����� � � ����+���� ��)��� � ���� � 1 � 1���� � �+������)��� � ���� ���� ��� �� ���0 �

� ����+���� ��)��� � ���� � ���0 � 1 � 1

������ J*��� � � � �� � � � � � � � � � � � � � � � � � � � 1)������ �� ���� � � 1���� ��� �� � � � � � � �(� � � � � � � 17���� �� ����5�������7���� 17���� �� ����5���7���� 1

���� ��������##( ����� � 1���� ��� � �� � �*�� � � � � � ���� ���� ��� �� ���0 � 1

21

Page 93: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

���� ����##(����� � 1���� ����*��� � � � � ���� ���� ��� �� ���0 � 1���� ����##(*������������� � 1���� �����*�������*������ ����� � 1���� ��� �� � � � � � � � � � .������6���� � � � � �� ��6�� � � � 1���� ����:����� ��� ����� �

� *��� � � � ����� 2 ������ 1 ������ 2 � � � 1 � � � 2 ��� 1 � 1� 1

������

22

Page 94: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

"���) �� ���%��� �����

���������������������������������������������������������������������������������� � � � � � � � � � � ������ ������ ������ � � � �� � � �� � � ���� ���� �� � � � � � ��� ����� ������� � ����� ��� ���! � ��� ���� � � � � � � � ���� � � ��� ���� �� � ��� � � � � � � � � � � ����������������������������������������������������������������������������������

���������������������������������������������������������������������������������� ������ � � � �� � � � � � � � � � ����������������������������������������������������������������������������������

�� ������������� "#�����$������ � "�������� � � � � ������������� � � � � ������������� � � � � � ��������� � � � � � � � ��������� ���� � ��������� � � � � � � � � �

���� ������ � � � �� � � � � � � � ��� � � � ��� ���

�� ��� � ��� � � � � � � � � � ������ � � � �� � ��� � � � � � � � * � D � � ��0 ��� � � � � � � � �#�����$������ J J #�����$������ � ���� ���� ��� �� � � � � � � � * � D � � �

���� ���� ��� �� ��0.������6����$���� � ����� ���� ��� �� ��0# �� � � � � � � � * � D � �

��� ���� ���� ��� �� � 2 ��0# �� � � � � � � � * � D � 1

����� � � � � � � * � D � 2 �� � � � � � * � D � 1������0.������6����$���� 2 �������6����$���� 2 ��0.������6����$���� 1������0# �� � � � � � � � * � D � 2 ��0# �� � � � � � � � * � D � 1

�� � � � � � � � � � �� � � � � � � � � � * � D � 2 ���*������ 2 � 1� � � � # � � � � � � � � � 5 � � � � � � �. � � � � � � 2 � � � 1� � � � � � � � � �5 � � � � � � �. � � � � � � 2 � � � � � � � � � � 5 � � � . � � � � � � 2 � � � 1� � � �# � � � � � � � � �5 � � � � � � �. � � � � � � 2 � � � �# � � � � � � � � �5 � � �. � � � � � � 2 � � � 1� � � �# � � � � � � � � �5 � � � � � � � * � D � 2 � � � �# � � � � � � � � �5 � � � * � D � 2 � 1

�����)��� 2 � 1

������5 ��� � 2 ���� � � �5 ��� � 2 � � ��� 1������7������ ��� 2 ���� � � �7����� � � �� 2 ������#��� 2 ����� ��#��� 2 � 1

24

Page 95: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� �� � � � � � � �& � � � 2 � � ? 1������5���&��� 2 � � ? 1

�� � � � � � � � ����������� 2 ��� *��� � � � � < ��0# � � � � � � � � � * � D � = 1� � � 2 ��� *��� � � � � < ��0# � � � � � � � � � * � D � = 1 � � � � � � 2 ��� )������ � < ��0# � � � � � � � � � * � D � = 1 � � � � � �(� � � � � � � 2 ��� ���� ��� �� < ��0# � � � � � � � � � * � D � = 1����5�������7���� 2 ��� 7���� � < ��0# � � � � � � � � � * � D � = 1����5���7���� 2 ��� 7���� � < ��0# � � � � � � � � � * � D � = 1���� � �����

������ < � = 2 ��� *��� � � � � � � � � � � � * � D � � ��0.������6����$���� � 1� � � < � = 2 ��� *��� � � � � � � � � � � � * � D � � ��0.������6����$���� � 1� � � � � � < � = 2 ��� )������ � ��0.������6����$���� � 1����5�������7���� < � = 2 ��� 7����� ��0.������6����$���� � 1����5���7���� < � = 2 ��� 7�������0.������6����$���� � 1

��

�� � � � � � � � �#�����$������ J J K #�����$������ ����� ��

�� ���� ���� ��� �� � 2 ��0# �� � � � � � � � * � D � 1

���� � �����

����� ������ < � = 1����� � � � < � = 1����� ���� � � < � = 1����� ����5�������7���� < � = 1����� ����5���7���� < � = 1

������ < = ����5���7���� 1����� < = ����5�������7���� 1����� < = � � � � � �(� � � � � � � 1����� < = � � � � � � 1����� < = � � � 1����� < = ������ 1

�� �� ��� ������ � � � �� � ��� ���� �� � � �� � ���� �� � � � � �� ��� � ����� #�����$������ J J � � � � �# � � � � � � � � � � ���� ���� ��� �� ���� �� � � �� ��

�� ���� ���� ��� �� � 2 � 1�� ���� ���� ��� �� ����� 2 ������ � � �� 1�� ���� ��� ���� ��� �� � � � � 2 �����)��� 1

48

Page 96: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� ����� ��� � � � � � � � � � �"B�>� �B���� � � �B���� � � �B��� �B���� � � �B��� �B���� � � �B����" � �

� � � � � � � � � � � �5 � � � � � � �. � � � � � � � � � � � � � � � � � 5 � � � . � � � � � � � �� � � � � � � � � � * � D � � �� � � �# � � � � � � � � �5 � � � � � � �. � � � � � � � � � � �# � � � � � � � � �5 � � � � � � � * � D � � �� � � �# � � � � � � � � �5 � � �. � � � � � � � � � � �# � � � � � � � � �5 � � � * � D � � 1

�� ����� ��� � � � ��� � � �� � � � � � � �

����+���� ��)��� � �����*����� � � � 1

�� �� ��� ������ � � 2 � 1 � �2 ����� 1 �CC��

�� ����� ��� � � � � � � � � � �"B�>� �B���� � � �B���� � � �B��� �B���� � � �B��� �B���� � � �B����" � �

� � � � � � � � � � � � 5 � � � � � � �. � � � � � � � � � � � � � � � � � 5 � � � . � � � � � � � �� � � � � � � � � � * � D � � �� � � �# � � � � � � � � �5 � � � � � � �. � � � � � � � � � � �# � � � � � � � � �5 � � � � � � � * � D � � �� � � �# � � � � � � � � �5 � � �. � � � � � � � � � � �# � � � � � � � � �5 � � � * � D � � 1

�� ���� �������##( � � 1

�� ���� ��� � ������ � � ����##(*�������� � � 1

�� ����� ��� � � � ��� � � �� � � � � � � �

����+���� ��)��� � �����*����� � � � 1�

�� � � � � � � � � � � � � � � � � � � �������� � ������ � � � �� � � � � � � � � � �� � � ������� #�����$������ J J � � � �8�5�� �� ���*�� � ��

�� ���� ���� ��� �� � 2 � � � � � � � � � � * � D � � ��� � �� � � ���� 1

�� � � � � � � � � � � � � � � � � � � � � ����� � ����

� � � � � �(� � � � � � � < � = 2 � 1

�� � � � � � � � � ��� � � � � � � �� �0������� � 2 ���� 2 � 1� 2 � � � � � � ��*� ���� � D � 1���� � ����

4/

Page 97: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� � � � ��� 2 � � � � � � � � � � � � � � � ��*� ���� � � �� ��6�� � � < � = � � 3 2 � � � � � � ��*� ��� ���� � �# �� � � < � = �

�� � ���� 22 ��

����CC1����

� � �CC1�

����� ������� � � � � � � � ��*� ���� � D � � � � � � ���� � � ������ � � � � � � � ��*� ���� � D � � � 1�

�� � � � � � � � � � � � � � � � � � � �������� � ������ � � � �� � � � � � � � � � ������� #�����$������ J J ����8�5���*�� � ��

�� ���� ���� ��� �� � 2 � � � � � � � � � � * � D � � ��� � �� � � ���� 1

�� � � � � � � � � � � � � � � � � � � � � ����� � ����

� � � � � �(� � � � � � � < � = 2 � 1

�� � � � � � � � � ��� � � � � �0������� � 2 ���� 2 � 1� 2 � � � � * � ���� � D � 1���� � ����

� � � � ��� 2 � � � � � � � � � � � � � * � ���� � � �� ��6�� � � < � = � � 3 2 � � � � * � ��� ���� � �# �� � � < � = �

�� � ���� 22 ��

����CC1����

� � �CC1�

����� ������� � � � � � * � ���� � D � � � � � � ���� � � ������ � � � � � * � ���� � D � � � 1�

�� ���� ������ � � � �� � � � ���������� #�����$������ J J ���� �./$+ � �����*����� ��

� � � � � � � � �����*����� � �"B�! B�! B�! B�! B��? � B�! B�! B��? � B�� B�� B��? � B�� B����" � ����*������ � �� � � � � � � � � � * � D � � ���0# �� � � � � � � � * � D � � ���0.������6����$���� � �� �� � � � � � � �& � � � � �� ������6����$���� � �� � � � � � � * � D � � �

4.

Page 98: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������5 ��� � � �������7������ ��� � �������#��� � �� � �� � � �5 �� � � � �� � �� � � �7����� � � �� � ������ ��#���� 1

�� ���� �� �� � � � ��� � ���������� #�����$������ J J ����+���� ��)��� �./$+ � �����*����� ��

�� ���� ���� ��� �� � 1

� � � � � � � � �����*����� � �"B���� � B���� � B�� B���� � B�� B���� � B�� B���� � ��" � �� � � � � � � � � � 5 � � � � � � �. � � � � � � �� � � � � � � � � � 5 � � � . � � � � � � � �� � � � � � � � � � * � D � � �� � � �# � � � � � � � � �5 � � � � � � �. � � � � � � � �� � � �# � � � � � � � � �5 � � � � � � � * � D � � �� � � �# � � � � � � � � �5 � � �. � � � � � � � �� � � �# � � � � � � � � �5 � � � * � D � � �� � � � # � � � � � � � � � 5 � � � � � � �. � � � � � � �� 1

��� � � 2 � 1 � � ���*������ 1 �CC��

� � � � � � � � �����*����� � �"B�>� �B�!� �B���� � � �B������ � ��" � �� � ������� < � =�� � � � � � � � / � � � � � � � � ������� < � =������� < ������ < � =�� � � � � � � � / � � � � � � � =�� � � � � � � � � ������� < � =������*��� ���.� ����� �� 1

� � � � � � �����*����� � 1�

�� ���� �� �� � � � ��� ��� ���0 � ���������� #�����$������ J J ����+���� ��)��� �./$+ � �����*����� � �

���� ���� ��� �� ���0 ��

� � � � � � � � �����*����� � "B�> " � ���0 � 1����+���� ��)��� � �����*����� � 1

�� � � ��� ���� �� � � � � �

43

Page 99: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

���� #�����$������ J J �'���*������ ����� ��

�� ���� ���� ��� �� � 1

�� � � � � � � � �� ��0���� �� � � � � � � � D �� � � ���*������ � ��0# �� � � � � � � � * � D � ��

�� � ��� ������ � � � � � � ������� < ���*������=��������� � � 1���*������CC1��� � �� � �*�� � � � � � ���*������ � � � 1

�� ����� � � � � � � � � � �� 2 ���*������ 1���� � ����

������ < � =������� < ������ < � =�� � � � � � � � / � � � � � � � =�� �� � �)���� � � � � � � � � � < � = � 1

� � � � � � � � � � * � D � 2 ���*������ 1

�� � � � � � � � � � � � � � � � � � � � � � � � �� �� � � � � � � � �� � � � � � � � � � 5 � � � . � � � � � � 2 ����8�5���*�� � � 1� � � � � � � � � � 5 � � � � � � �. � � � � � � 2 ����8�5�� �� ���*�� � � 1

�� ���� � � � � � � � � � �� ������ � � ����� � � � � � � � � � � � � � 5 � � � � � � �. � � � � � � � � � � �# � � � � � � � � �5 � � � � � � �. � � � � � � � � � �

� � � � � � � � � � � � 5 � � � � � � �. � � � � � � 22 �� � �# � � � � � � � � �5 � � � � � � �. � � � � � � � LL �� � � � � � � � � � � * � D � � � � � �# � � � � � � � � �5 � � � � � � � * � D � � � �

��� ���� �� ���� � � � � � � � � � � � � � � �� � � �� � � �# � � � � � � � � �5 � � � � � � �. � � � � � � 2 � � � � � � � � � � 5 � � � � � � �. � � � � � � 1� � � �# � � � � � � � � �5 � � � � � � � * � D � 2 � � � � � � � � � � * � D � 1� 2 � � � � � � � � � � * � D � 1���� � �����

����5�������7���� < � =�����7���� � ������ < � =�� ������ < ������ < � =�� � � � � � � � / � � � � � � � = � 1

��� � � � � � � � � � � � � � 5 � � � . � � � � � � � � � � �# � � � � � � � � �5 � � �. � � � � � � � � � �

� � � � � � � � � � � � 5 � � � . � � � � � � 22 �� � �# � � � � � � � � �5 � � �. � � � � � � � LL �� � � � � � � � � � � * � D � � � � � �# � � � � � � � � �5 � � � * � D � � � �

��� ���� �� ���� � � � � � � � � � � � � � � �� � � �# � � � � � � � � �5 � � �. � � � � � � 2 � � � � � � � � � � 5 � � � . � � � � � � 1� � � �# � � � � � � � � �5 � � � * � D � 2 � � � � � � � � � � * � D � 1� 2 � � � � � � � � � � * � D � 1���� � �����

����5���7���� < � =�����7���� � ������ < � =�� �

46

Page 100: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

����� < ������ < � =�� � � � � � � � / � � � � � � � = � 1�

��

�� � � � � � ������ � � � �� � ����� #�����$������ J J � � � � � ����� ��

� � � � � � � � � � * � D � 2 ���*������ 2 � 1� � � � # � � � � � � � � � 5 � � � � � � �. � � � � � � 2 � � � 1� � � � � � � � � �5 � � � � � � �. � � � � � � 2 � � � � � � � � � � 5 � � � . � � � � � � 2 � � � 1� � � �# � � � � � � � � �5 � � � � � � �. � � � � � � 2 � � � �# � � � � � � � � �5 � � �. � � � � � � 2 � � � 1� � � �# � � � � � � � � �5 � � � � � � � * � D � 2 � � � �# � � � � � � � � �5 � � � * � D � 2 � 1������#��� 2 ������7������ ��� 1����� ��#��� 2 ���� � � �7����� � � �� 1

�� � � � � � � � � � � � � � � � � � ��� ���� � � � � � � � � � � � � � �� � � � � � � ����� #�����$������ J J ������.��&���5������� ����� ��

�� ���� ���� ��� �� � 2 � � � �# � � � � � � � � �5 � � � � � � � * � D � 1

���� � ��������5�������7���� < � =�� � � �)���� � � � � � � � � � < � = � 1

� � � � � � � � � � * � D � 2 � � � �# � � � � � � � � �5 � � � � � � � * � D � 1�

�� � � � � � � � � � � � � � � � � � ��� ���� � � � � � � � � � � � � � � � � � ����� #�����$������ J J ������.��&���5��� ����� ��

�� ���� ���� ��� �� � 2 � � � �# � � � � � � � � �5 � � � * � D � 1

���� � ��������5���7���� < � =�� � � �)���� � � � � � � � � � < � = � 1

� � � � � � � � � � * � D � 2 � � � �# � � � � � � � � �5 � � � * � D � 1�

�� � � � � � � � � � � � � � � �� ����� #�����$������ J J � � �7��� � � � � ��& � � � � ���� ������ � �� � � � � � � �& � � � ��

�� ���� ���� ��� �� � 2 ��0# �� � � � � � � � * � D � � � 1

�� � � � � � � � � ����������� �� � � � � � � �& � � � 2 ���� � � � � � �& � � � 1���� � �����

� 2 � � � � � � � * � D � 1���� � ����

45

Page 101: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������� < � =������� < � =��� �� � � � � � � �& � � � 2 �

� � � < � =������� < � =��� �� � � � � � � �& � � � 2 ���� � � � � � �& � � � 1�����5�������7���� < � =��� �� � � � � � � �& � � � 2 ���� � � � � � �& � � � 1����5���7���� < � =��� �� � � � � � � �& � � � 2 ���� � � � � � �& � � � 1

�� � � � � � � � � � ���� � �� ����� #�����$������ J J ���)������5���&��� � ���� ������ ������5���&��� ��

�� ���� ���� ��� �� � 2 ��0# �� � � � � � � � * � D � � � 1

�� � � � � � � � � ����������������5���&��� 2 ������5���&��� 1���� � �����

� 2 � � � � � � � * � D � 1���� � �����

������ < � =������� < � =������&��� 2 �� � � < � =������� < � =������&��� 2 ������5���&��� 1

�����5�������7���� < � =������&��� 2 ������5���&��� 1����5���7���� < � =������&��� 2 ������5���&��� 1

�� � � � � � � �� � � ��� � � � ���� ���� #�����$������ J J ���.������6����$���� � �

���� ���� ��� �� � ������6����$���� ��

�� ���� ���� ��� �� � 2 ��0# �� � � � � � � � * � D � � � 1

����� ������6����$���� 2 �������6����$���� 1�� � � � � � � � � ���������� � �����

� 2 � � � � � � � * � D � 1���� � �����

������ < � =������� < � =���������$���� 2 �� � � < � =������� < � =���������$���� 2 �������6����$���� 1

������ < � =������� < � =�� � � D � 2 � � � ������6����$���� C �� � � < � =������� < � =��� ��� �$���� 1

� � � < � =������� < � =�� � � D � 2 � � � ������6����$���� C �

40

Page 102: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� � � < � =������� < � =��� ��� �$���� 1�����5�������7���� < � =���������$���� 2 �������6����$���� 1����5���7���� < � =���������$���� 2 �������6����$���� 1����5�������7���� < � =�� � � D � 2 � � � ������6����$���� C �

����5�������7���� < � =��� ��� �$���� 1����5���7���� < � =�� � � D � 2 � � � ������6����$���� C �

����5���7���� < � =��� ��� �$���� 1�

�� ���� � � � � � � � � � � � ���������� #�����$������ J J � � � �# � � � � � � � � � �./$+ � �����*����� ��

�� ���� ���� ��� �� � 1

��� � � 2 � 1 � � ���*������ 1 �CC������� < � =������� < ������ < � =�� � � � � � � � / � � � � � � � =������ � �����*����� � 1

��� � � 2 � 1 � � � � � �# � � � � � � � � �5 � � � � � � � * � D � 1 �CC�����5�������7���� < � =������ � �����*����� � 1

��� � � 2 � 1 � � � � � �# � � � � � � � � �5 � � � * � D � 1 �CC�����5���7���� < � =������ � �����*����� � 1

�� � � � � � � � � � � � � � � � � ��� � � � � �� ��� � � � � � � � � � ����� #�����$������ J J � � � � � �+� � � � # � � � � � � � � � ����� ��

�� ���� ���� ��� �� � 2 ���*������ 1

���� � ���������� < � =������� < ������ < � =�� � � � � � � � / � � � � � � � =�� � � �)���� � � � � � � � � � < � = � 1

� � � � � � � � � � * � D � 2 ���*������ 1�

���� ������ � � � �� � � � � � � � � � � � � � � ��� ���

�� ��� ��� � � ������ � � � �� � ����� #�����$������ J J ��������##( ����� ��

�� ���� ���� ��� �� � � � . � � � � � � / � � � � � � � 1

�� ��� ��� � � � � � � � � �� 2 ���*������ 1���� � �����

�� ���� ��� � � � � � � � �� � � � � � � � ����� ���� ����

41

Page 103: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� . � � � � � � / � � � � � � � 2 ������ < � =�� � � � � � � � / � � � � � � � 1� �� � �� � �*�� � � � � � � � 1� � � < � =�� � � � � � � � / � � � � � � � 2 ������ < � =�� � � � � � � � / � � � � � � � 1������ < � =�� � � � � � � � / � � � � � � � 2 � . � � � � � � / � � � � � � � 1

� 2 ���*������ 1���� � �����

�� ��� ��� � � � � � � � �� � � � � � � � � � � � � � � � � � ���� � � � � � � � � ������� < � =�� � � � � � � � / � � � � � � � 2 � � � < � =�� � � � � � � � / � � � � � � � 1������ < � =������� < ������ < � =�� � � � � � � � / � � � � � � � =�� � � �)���� � � � � � � � � � < � = � 1

�� � � � � � � � � � * � D � 2 ���*������ 1

�� � � � � � � � � � � � � � � � � � � � � � � � �� �� � � � � � � � �� � � � � � � � � � 5 � � � . � � � � � � 2 ����8�5���*�� � � 1� � � � � � � � � �5 � � � � � � �. � � � � � � 2 ����8�5�� �� ���*�� � � 1

�� ���� � � � � � � � � � �� ������ � � ����� � � � � � � � � � � � � �5 � � � � � � �. � � � � � � � � � � �# � � � � � � � � �5 � � � � � � �. � � � � � � � � � �

� � � � � � � � � � � � 5 � � � � � � �. � � � � � � 22 �� � �# � � � � � � � � �5 � � � � � � �. � � � � � � � LL �� � � � � � � � � � � * � D � � � � � �# � � � � � � � � �5 � � � � � � � * � D � � � �

��� ���� �� ���� � � � � � � � � � � � � � � �� � � �� � � �# � � � � � � � � �5 � � � � � � �. � � � � � � 2 � � � � � � � � � � 5 � � � � � � �. � � � � � � 1� � � �# � � � � � � � � �5 � � � � � � � * � D � 2 � � � � � � � � � � * � D � 1� 2 � � � � � � � � � � * � D � 1���� � �����

����5�������7���� < � =�����7���� � ������ < � =�� ������ < ������ < � =�� � � � � � � � / � � � � � � � = � 1

��� � � � � � � � � � � � � � 5 � � � . � � � � � � � � � � �# � � � � � � � � �5 � � �. � � � � � � � � � �

� � � � � � � � � � � � 5 � � � . � � � � � � 22 �� � �# � � � � � � � � �5 � � �. � � � � � � � LL �� � � � � � � � � � � * � D � � � � � �# � � � � � � � � �5 � � � * � D � � � �

��� ���� �� ���� � � � � � � � � � � � � � � �� � � �# � � � � � � � � �5 � � �. � � � � � � 2 � � � � � � � � � � 5 � � � . � � � � � � 1� � � �# � � � � � � � � � 5 � � � * � D � 2 � � � � � � � � � � * � D � 1� 2 � � � � � � � � � � * � D � 1���� � �����

����5���7���� < � =�����7���� � ������ < � =�� ������ < ������ < � =�� � � � � � � � / � � � � � � � = � 1

��

42

Page 104: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� ��� ��� � � � � � � � � � ��� ���0 � ���0 � � � � � � � � � ��� ��� � ����� #�����$������ J J � � � � �� � �*�� � � � � � ���� ���� ��� �� ���0 ��

�� ���� ���� ��� �� � � � ��.� � � � � � /� � � � �� � 1�� ���� ������ �� � � / � � � � �� �. � � � � � � � � � � � / � � � � �� �. � � � � � � 1�� ���� ������ ����*��� ���.� ����� � ���� �� �*�� ��.���� ��*�� 1�� ���� ������ � � � � � � � � . � � � � � � 1

�� � � � � � � � � � � � � � � � � � ��� � � � � � �� ����.� � � � � � /� �� ��� � 2 ������ < ���0=�� � � � � � � � / � � � � � � � 2 � 1� 2 ���*������ 1���� � ����

������ < � =������� < ������ < � =�� � � � � � � � / � � � � � � � =�� � � �)���� � � � � � � � � � < � = � 1� � � � � � � � � � * � D � 2 ���*������ 1������ < ���0=�������<�=�� � � � � � � � 2 �

����*��� ���.� ����� 2 ��� � � / � � � � �� �. � � � � � � 2 �� � � / � � � � �� �. � � � � � � 2 ���� �8�5�� �� ���*�� � � 1

� 2 � � � � � � � * � D � 1������� � ��

������ < ���0=������� < � =�� � � �)���� � � � � � � � � � < ���0 = � 1������ < ���0=������� < � =�� � � � � � � � 2 � � � � � � � � . � � � � � � 2 �

��� �8�5�� �� ���*�� � � 1� � � � � � � � � � � . � � � � � � �2 �� � � / � � � � �� �. � � � � � � ��

���.� � � � � � /� �� ��� � 2 � 1� � � � / � � � � �� �. � � � � � � 2 � � � � � � � � . � � � � � � 1

�����

� � � � � � � � � � � . � � � � � � � �� � � / � � � � �� �. � � � � � � �� � � � / � � � � �� �. � � � � � � 2 � � � � � � � � . � � � � � � 1

����*��� ���.� ����� C2 � � � � � � � � . � � � � � � 1������� < ���0=�� � � � � � � � / � � � � � � � 2 ���.� � � � � � /� � � � �� � 1

�� � � � � � � � � � � � � � ������� < ���0=������*��� ���.� ����� 2 ����*��� ���.� ����� 2 �

����*��� ���.� ����� � ������ � � � � � � � � * � D � � 1���� �� �*�� ��.������*�� 2 � � � 1� 2 � � � � � � � * � D � 1���� � �����

�� � � � � � � � � ��� � � ���� � � � � � � � ��� � � � � � � �� ���� ���� � � ������ < ���0=������� < � =�� � � � � � � � 22 �� � � / � � � � �� �. � � � � � � ��

������ < ���0=������� < � =�� � � � � � . � � � � � � 2 � � � 1

44

Page 105: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������� 1�� � � ������ < ���0=������� < � =�� � � � � � � � 22 �� � � / � � � � �� �. � � � � � � ��

������ < ���0=������� < � =�� � � � � � . � � � � � � 2 � � � 1���� �� �*�� ��.������*�� C2 ���1������� 1

�� � � ������ < ���0=������� < � =�� � � � � � � � 22 ����*��� ���.� ����� ��

������ < ���0=������� < � =�� � � � � � . � � � � � � 2 � � � 1���� �� �*�� ��.������*�� C2 ���1������� 1

�� � � ������ < ���0=������� < � =�� � � � � � � � � ����*��� ���.� ����� ��

������ < ���0=������� < � =�� � � � � � . � � � � � � 2 � � � C � �� ������ < ���0=������� < � =�� � � � � � � � � �����*��� ���.� ����� � � �� � � � � / � � � � �� �. � � � � � � � �����*��� ���.� ����� � �� 1

���� �� �*�� ��.������*�� C2 ������ < ���0=������� < � =�� � � � � � . � � � � � � 1������� 1

������� < ���0=������� < � =�� � � � � � . � � � � � � 2 � � � � � �

� ����*��� ���.� ����� � ������� < ���0=������� < � =�� � � � � � � � � � �� ����*��� ���.� ����� � ��� � � / � � � � �� �. � � � � � � � �� 1

���� �� �*�� ��.���� ��*�� C2 ������ < ���0=������� < � =�� � � � � � . � � � � � � 1������� < ���0=������ �� �*�� ��.����� �*�� 2 ���� ���*�� ��.���� ��*�� 1

�� ���� ��� � �� � ������ ������ ������ #�����$������ J J ����##(����� ��

�� ���� ���� ��� �� � 2 ���*������ 1

�� ���� ��� � �� � � � � � � � �� � � � � � � �� � � � # � � � � � � � � � 5 � � � � � � �. � � � � � � 2 � � � � � � � � � �5 � � � � � � �. � � � � � � 1

�� � � � � � �� � I��� ���� � � � � � �� ����� � �����

� � � < � =�������<�=�����7���� � ������ < � =�� ������ < ������ < � =�� � � � � � � � / � � � � � � � = � 1

/88

Page 106: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� � � < � =�� � � � � � � � / � � � � � � � 2 � 1�

� 2 ���*������ 1���� � ����

� � ��*��� � � � � � � 1

�� ��I� � � � ������ �� ��� ������ ������ �� �� ��� ��� � �����:����� ��� � � 1��������##( � � 1

�� ���� � � � � � � � ��� ���0 � ���0 � � � � � � � � � �������� #�����$������ J J � � � �*��� � � � � ���� ���� ��� �� ���0 ��

�� ���� ���� ��� �� � 2 � � � � � � � * � D � 1�� ���� 7���� � ������� � � ������� 1

�� � � � � � � � � � � ��������� � ��

�� � � � � � � � �������� 2 ������ < ���0=��.:*����� �� � � 1������� 2 ������ < ���0=��.:*����� �� � � 1�� � � � � � � �� � � < ���0=������� < � =����� ���#������ � ������� � ������� � 1�� �������� � � < ���0=������� < � =��������&����� � � 1

��

�� ���� � � � � � � � �� � � � � � � � � ������� � � � � � � ����� #�����$������ J J ����##(*������������� ��

�� ���� ������ � � � � � � � * � � � 1

�� � � � � � � � � � � � � � � � � � � �� � � � � � � � � �� � � � � � � * � � � 2 ���� � � � � � � � � � � � 5 � � � � � � �. � � � � � � � �

� � � � # � � � � � � � � � 5 � � � � � � �. � � � � � � � 1

�� ���� ������ � � ������� � � � � � � �� � � � � � � � � � * � � � � ������5 ��� � ��

� � � ������#��� �������#�����1

����

��� ��������

/8/

Page 107: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�����*�������*������ � � 1������#��� 2 ������7������ ��� 1

������

�� �� ��������������#��� 2 ������7������ ��� 1

�� ���� � � � � � � � � ��� �� � � � � �� � � � � � � � � � * � � � � � � �� � � �5 �� � � ��

� � � ����� ��#��� ������ ��#�����1

����

��� ���������'���*������ � � 1����� ��#��� 2 ���� � � �7����� � � �� 1

������

�� �� ������������� ��#��� 2 ���� � � �7����� � � �� 1

�� ����� �������� � � � � � � ����� #�����$������ J J �����*�������*������ ����� ��

�� ���� ���� ��� �� � 2 ���*������ � � 1�� ���� ��� ���� ��� �� � � � � 2 � 1

�� � � ��� � � � � � � ����� � �����

�� ��� � � ��� �� � � � � � � � � � � �� � � ���*������ 22 ��

����� 1

�� ����� � � � � � � � � �� � � � � � �� � � 3 � � � � � �(� � � � � � � < � = ��

��� � � 2 � 1 � � � � � � � � � � � � * � D � 1 CC � ������� < � =�����*��� ��� � ������ < � C � = � 1

���*��������1� � � � 2 � 1

���� � � � � � � � � � ������ � � � � � � �

/8.

Page 108: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��� ����� � � � � � � � � � �� 2 ���*������ 1���� � ����

������ < � =������� < ������ < � =�� � � � � � � � / � � � � � � � =�� �� � �)���� � � � � � � � � � < � = � 1

� � � � � � � � � � * � D � 2 ���*������ 1

�� � � � � � � � � � � � � � � � � � � � � � � � �� �� � � � � � � � �� � � � � � � � � � 5 � � � . � � � � � � 2 ����8�5���*�� � � 1� � � � � � � � � � 5 � � � � � � �. � � � � � � 2 ����8�5�� �� ���*�� � � 1

�� ���� � � � � � � � � � �� ������ � � ����� � � � � � � � � � � � � � 5 � � � � � � �. � � � � � � � � � � �# � � � � � � � � �5 � � � � � � �. � � � � � � � � � �

� � � � � � � � � � � � 5 � � � � � � �. � � � � � � 22 �� � �# � � � � � � � � �5 � � � � � � �. � � � � � � � LL �� � � � � � � � � � � * � D � � � � � �# � � � � � � � � �5 � � � � � � � * � D � � � �

��� ���� �� ���� � � � � � � � � � � � � � � �� � � �� � � �# � � � � � � � � �5 � � � � � � �. � � � � � � 2 � � � � � � � � � � 5 � � � � � � �. � � � � � � 1� � � �# � � � � � � � � �5 � � � � � � � * � D � 2 � � � � � � � � � � * � D � 1� 2 � � � � � � � � � � * � D � 1���� � �����

����5�������7���� < � =�����7���� � ������ < � =�� ������ < ������ < � =�� � � � � � � � / � � � � � � � = � 1

��� � � � � � � � � � � � � � 5 � � � . � � � � � � � � � � �# � � � � � � � � �5 � � �. � � � � � � � � � �

� � � � � � � � � � � � 5 � � � . � � � � � � 22 �� � �# � � � � � � � � �5 � � �. � � � � � � � LL �� � � � � � � � � � � * � D � � � � � �# � � � � � � � � �5 � � � * � D � � � �

��� ���� �� ���� � � � � � � � � � � � � � � �� � � �# � � � � � � � � �5 � � �. � � � � � � 2 � � � � � � � � � � 5 � � � . � � � � � � 1� � � �# � � � � � � � � �5 � � � * � D � 2 � � � � � � � � � � * � D � 1� 2 � � � � � � � � � � * � D � 1���� � �����

����5���7���� < � =�����7���� � ������ < � =�� ������ < ������ < � =�� � � � � � � � / � � � � � � � = � 1

��

��

�� � � � � � � � � � � � � �� � � ��� � ����� ��� �� #�����$������ J J � � � � � � � � � .������6���� � � � � �� ��6�� � � ��

�� ���� ���� ��� �� � 2 � � � � � � � � � � * � D � � � � ���I&��� � ���� ���&��� 1�� ���� ������ � � � � � � � � 1

/83

Page 109: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� � � ��� � � �� � ����� � �����

�� ���� ��� � ���� ��� ������I � � � ����I&��� 2 ���� ���&��� 2 � 1� 2 ���� � � < � =�� � ���� 1���� � �����

� � � � � � � � � < � =���� ��� < � = 22 ,(*H6($;+����I&���CC1

����

� � � � � � � � � < � =���� ��� < � = 22 ��� ����6�� � ����� ��� < � = ����� ���&���CC1

��� � � � � � � � � � � � � � � � � �� � � � � � � � � < � =�� � ���� 22 ���I&��� �

� � � � � � � � 2 � � � 1����

� � � � � � � � 2 ������ � ���� ���&��� � � ������ � � � � � � � < � =�� � ���� �� ���I&��� � 1

� � � � � � � � � � � � ���� � � < � =�� � � � � � ��

�� � ���� � � � � � �(� � � � � � � < � =CC1� � � � � � � � � < � =������ 22 *+$.�

����� �*+$. � 1����

����� �%8%*+$.� 1�

��� � ���� ����� �*+$. � 1

/86

Page 110: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

"���* +���&�������������������������������������������������������������������������������������� � � � � � � � � � � ������ ������ ������ � � � �� � � �� � � ���� ���� �� � � � � � ��� ����� ������� � ����� ��� ���! � ��� ���� � � � � � � � ���� � � ��� ���� �� � ��� � � � � � � � � � � ����������������������������������������������������������������������������������

���������������������������������������������������������������������������������� ��� � � � � � � � � � � ����������������������������������������������������������������������������������

������� )(5(*+5G������� )(5(*+5G

�� ������������� � � � � � � ���������� � � � � � �

���� � � � �� � � ��� � � � � � � �������� .������6�����

������ J.������6���� � ���� ���� ��� �� � ���� � 1K.������6���� ����� � 1

���� ��� �� � ���� 1 �� ��� � � � ���� ���� ��� �� � �� ��� 1 �� ��� � � �� ��� �

���� ���� �./$+ � �����*����� � 1 �� ���� � ���������� � ������ � � ���� � � ��� � 1 � 1 �� ����� � ����

� 1

���� ��� � � � � � � � �������� )���*���

������ J)���*�� � ���� ���� ��� �� � � D � � ���� ���� ��� �� �����$���� � 1)���*�� � � � � � � � � � � � � � � � 1K)���*�� ����� � 1

���� ��� �� � � D � 1 �� ��� � ����������� ��� �� �����$���� 1 �� ������ ��� � � � ���� .������6���� �� � � � �� ��6�� � � 1 �� ������ � � � � � �� � � � � � �� � � � ����� 1 �� � � � ������ � ����� ����������� ��� �� � ��� � �# �� � � 1 �� ��� � � � � � � � � �

/85

Page 111: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

���� ���� �./$+ � �����*����� � 1���� � ������ � � ���� � � ��� � 1 � 1���� ���*����� � )���*�� � ���*�� � ���� ���� ��� �� ���/��0 � �

���� ���� ��� �� �/��0 � 1���� ����*����� � )���*�� � ���*�� � ���� ���� ��� �� ���/��0 � �

���� ���� ��� �� �/��0 � 1���� � � � � � � )���*�� � ���*��� � )���*�� � ���*��� � �

���� ���� ��� �� ���*� ��* � D � � 1���� ������� ����� � 1

� 1

���� � � � � � � � � � � � � � � � � � � � �������� #� � � �� � � � � � �*� ��

������ J# � � � �� � � � � � �*� � � )���*�� � ���*�� � ���� ���� ��� �� �� � � � � � 1

���� ��� �� �� � � � � 1 �� ��� � � � � � � � � � � � � � � � � �)���*�� �� � � � � � � ��*� � � � � � � � � * � � 1

���� ������� ����� � 1� 1

������

/80

Page 112: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

"���, +���&�����

���������������������������������������������������������������������������������� � � � � � � � � � � ������ ������ ������ � � � �� � � �� � � ���� ���� �� � � � � � ��� ����� ������� � ����� ��� ���! � ��� ���� � � � � � � � ���� � � ��� ���� �� � ��� � � � � � � � � � � ����������������������������������������������������������������������������������

���������������������������������������������������������������������������������� ��� � � � � � � � � � � ����������������������������������������������������������������������������������

�� ������������� ")���*�� � "�������� � � � � ������������� � � � � ������������� " # � � � � � � � � � � "

�� ��� ���� �������� ,(-$/%+$+% ���� �� ��0 ����� � � � � �����

���� � � � �� � � ��� � � � � � � � ��� � � � ��� ���

�� ��� � ��� � � � � � � � � � � � � �� � � ��� � ��� ����� � � ���� � ��� � �.������6���� J J .������6���� � ���� ���� ��� �� � ���� ��

�� ��� 2 ��� ���� ��� �� < � ���� = 1����� ���� 2 ����� 1

�� � � � � � � � �.������6���� J J K .������6���� ����� ��

����� < = �� ��� 1�

�� ���� � ���������� .������6���� J J ���� �./$+ � �����*����� ��

�� ���� ���� ��� �� � 1

� � � � � � � � �����*����� � "B�>" � � ���� � 1��� � � 2 � 1 � � � ���� 1 �CC�

� � � � � � � � �����*����� � " B��" � �� ��� < � = � 1� � � � � � � � �����*����� � "��" � 1

/81

Page 113: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� � � � � � �����*����� � 1�

���� ��� � � � � � � � � ��� � � � ��� ���

�� ��� � ��� � � � � � � � � � ��� � � ��� � � D � � ��� � � � � � � � �� ��� � � ��� �����$���� � � �� � � � � �� � � � � � � � �)���*�� J J )���*�� � ���� ���� ��� �� � � D � � ���� ���� ��� �� �����$���� ��

�� ���� ���� ��� �� � 1

����� � D � 2 � � D � 1���������$���� 2 �����$���� 1� �� ����6�� � � 2 ��� .������6���� � < � � D � = 1� � � � �# �� � � 2 ��� ���� ��� �� < � � D � = 1� 2 � � D � 1���� � ����

� �� ����6�� � � < � = 2 ��� .������6���� � �����$���� � 1�

�� ��� � ��� � � � � � � � � � ��� � � � ��� ����� � � � �)���*�� J J )���*�� � � � � � � � � � � � � � � ��

�� ���� ���� ��� �� � � � � � � � � � 2 � � �������6����$���� 1��� � � � � <,(-$/%+$+% = 1� � � � � � �� � �������� 2 ��� � � � � � � �� � � 1 1

������������� � � � � � � ���� � � � � � � 1

�� ���� ��� � � � � � ������������ � � � � � � � � � � � � ,(-$/%+$+%� 1� ������6����$���� 2 �����$���� 2 � � � � � � � � � � � � � � 1���� � ����������� � � � � � � � � � � � � ,(-$/%+$+%� �

� � � � �CC1����������� � � � � � 1

�� � � � � � � � � � � ������ �� ����6�� � � 2 ��� .������6���� � < � � D � 2 � � � � � = 1� � � � �# �� � � 2 ��� ���� ��� �� < � � � � � = 1

�� ��� �� ���������������� � � � � � � ���� � � � � � � 1��� � � 2 � 1 � � � � � � � 1 �CC��

����������� � � � � � � � � � � � � ,(-$/%+$+%� 1�� ���� � � � � � � � ���

/82

Page 114: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��� � �# �� � � < � = 2 � � � � � � � � C �������6����$���� � 1

� �� �� ��6�� � � < � = 2 ��� .������6���� � � ������6����$���� � 1� 2 �������6����$���� 1���� � �����

� � � � < � C � = 2 M � � M 1� �� �� ��6�� � � < � =���� ��� < � = 2 � � � � � � � � C � � 1

��

����������� � � � � � 1����� �������� 1

�� � � � � � � � �)���*�� J J K )���*�� ����� ��

�� ���� ���� ��� �� � 2 � � D � 1

���� � ��������� � � � �� ��6�� � � < � = 1

����� < = � � � � �# �� � � 1����� < = � � � �� ��6�� � � 1

�� ���� � ���������� )���*�� J J ���� �./$+ � �����*����� ��

�� ���� ���� ��� �� � 1

� � � � � � � � �����*����� � �"B�! B�?��" � �� � D � � ������$���� �� 1

��� � � 2 � 1 � � � � D � 1 �CC�� � � � � � � � �����*����� � "B�� " � ��� � �# �� � � < � = � 1

� � � � � � � � �����*����� � "��" � 1

��� � � 2 � 1 � � � � D � 1 �CC�� �� ����6�� � � < � =������ � �����*����� � 1

� � � � � � �����*����� � 1�

�� ��� ������ ��� �� ��� �� � � ��� ��

/84

Page 115: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� ���*�� � ��� �� � � ��� ����� ���/��0 � ���0 � ������ �� ��� ��� � � ��� �/��0 � ���0 � ������ � ��� ����� )���*�� J J ���*����� � )���*�� � ���*�� � ���� ���� ��� �� ���/��0 � �

���� ���� ��� �� �/��0 ��

�� ���� ���� ��� �� � 2 ���*���������$���� 1

� �� ����6�� � � < �/��0=�� � ���� 2 ���*����� � � �� ��6�� � � < ���/��0=�� � ���� 1���� � ����

� �� ����6�� � � < �/��0=���� ��� < � = 2 ����*����� � � �� ��6�� � � < ���/��0=���� ��� < � = 1

� � � � �# �� � � < �/��0 = 2 ���*������� � �# �� � � < ���/��0 = 1�

�� ���� ������� ������� ��� �� � ��� ���*�� � ��� �� � � ��� ����� ���/��0 � ���0 � ������ �� ��� ��� � � ��� �/��0 � ���0 � ������ � ��� ����� )���*�� J J ����*����� � )���*�� � ���*�� � ���� ���� ��� �� ���/��0 � �

���� ���� ��� �� �/��0 ��

�� ���� ���� ��� �� � � ���$���� � ���6����#���� 1

���$���� 2 ��� ����6�� � � < �/��0=�� � ���� 1���6����#���� 2 ��� � �# �� � � < �/��0 = 1���� ��� �� � ���6���� 2 ��� ���� ��� �� < ���$���� = 1� 2 ���$���� 1���� � ����

���6���� < � = 2 � �� ����6�� � � < �/��0=���� ��� < � = 1

���*����� � ���*�� � ���/��0 � �/��0 � 1�����$���� 2 ���*���������$���� 1

���*����� � � �� ��6�� � � < ���/��0=�� � ���� 2 ���$���� 1���*������� � �# �� � � < ���/��0 = 2 ���6����#���� 1� 2 ���$���� 1���� � ����

���*����� � � �� ��6�� � � < ���/��0=���� ��� < � = 2 ���6���� < � = 1

����� < = ���6���� 1�

�� � � � � � � �� � � ����� )���*�� J J � � � � � � )���*�� � ���*��� � )���*�� � ���*��� � �

���� ���� ��� �� ���*� ��* � D � ��

�� ���� ���� ��� �� � � ���0 1�� �� ���� ��� �� � ��� 2 ��� ���� ��� �� < � � D � = 2 ��� 1

//8

Page 116: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

���*������ � D � 2 ���*� ��* � D � 1���*����������$���� 2 �����$���� 1���*������ � D � 2 � � D � � ���*� ��* � D� 1���*����������$���� 2 �����$���� 1

�� � � � � � � ���� � �� � � � �� � � �� 2 ���*� ��* � D � 1���� � �����

��

���0 2 �� � ������� � ��� � � � � � � D � � � ������ �'(%),(- C � � � � � 1���� � ��� < ���0 = � 1���*��������*����� � �� � ���0 � � � 1��� < ���0 = 2 � 1

� 2 � � D � 1���0 2 � 1���� � �����

� � � 3 ��� < � = ����*��������*����� � �� � � � ���0CC�1

��� < � = 2 � 1�

���*������������ � � 1���*������������ � � 1

�� ������� ��� � � ����� )���*�� J J ������� ����� ��

�� ���� ���� ��� �� � 2 � � D � 1

���� � ��������*����� � �� � �� � ������� � ��� � � � � � � D � � � ������ �'(%),(- C � � � � � � �

�� � ������� � ��� � � � � � � D � � � ������ �'(%),(- C � � � � � � 1�

���� � � � � � � � � � � � � � � � � � � � � ��� � � � ��� ���

�� ��� � ��� � � � � � � � � � � � � � � � � � � � � � � � ��� ���*�� � ��� �� � � � � � � � � ����� �� � � � � � ��� � � � � � � � � � � � � � � � � � � � � � � � �#� � � �� � � � � � �*� � J J # � � � �� � � � � � �*� � � )���*�� � ���*�� � �

���� ���� ��� �� �� � � � � �

///

Page 117: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

��� ���� ���� ��� �� � � *�D� � ����*�D� � � � � � * � � � � � ����+� 1�� ���� ���� ��� �� ���/��0 � � � � � /��0 � � �� �� ��� /��0 1

������ � � � � 2 �� � � � � 1����*�D� 2 ���*����� � D � � �� � � � � 1*�D� 2 ����*�D� C ���*����� � D � � ����*�D� � �� � � � � 1

� � � � � � ��*� � 2 ��� )���*�� � < � � � � � � = 1� � � � * � � 2 ��� )���*�� � < � � � � � � = 1

� � � � � � � � � 22 ���

� � � � � � ��*� � < � = 2 ��� )���*�� � ���*����� � D � � ���*���������$���� � 1� � � � * � � < � = 2 ��� )���*�� � ���*����� � D � � ���*���������$���� � 1���/��0 2 ���*����� � D � 1���� � ���/��0����

� � � � � � ��*� � <�=�� � � � �� ��6�� � � < ���/��0 = 2 ��� .������6���� �����*���������$���� � 1

� � � � � � ��*� � <�=�� ���*����� � ���*�� � ���/��0 � ���/��0 � 1� � � � * � � <�=�� � � � �� ��6�� � � < ���/��0 = 2 ��� .������6���� ��

���*���������$���� � 1� � � � * � � <�=�����*����� � ���*�� � ���/��0 � ���/��0 � 1

������

�� � � � � � ��*� � < � = 2 ��� )���*�� � ���*����� � D � � *�D� � �

���*���������$���� � 1� � � � * � � < � = 2 ��� )���*�� � *�D� � ���*���������$���� � 1� � � � /��0 2 ��� �� ��� /��0 2 ���/��0 2 � 1���� � ���/��0 � *�D� ��

� � � � * � � <�=�� � � � �� ��6�� � � < � � � � /��0 = 2 ��� .������6���� �����*���������$���� � 1

� � � � * � � <�=�����*����� � ���*�� � ���/��0CC� �� � � � /��0CC�1

����� � ���/��0 � ���*����� � D � ��

� � � � � � ��*� � <�=�� � � � �� ��6�� � � < � �� �� ��� /��0 = 2 ��� .������6���� �����*���������$���� � 1

� � � � � � ��*� � <�=�� ���*����� � ���*�� � ���/��0CC� �� �� �� ��� /��0 CC�1

��

��� � � 2 � 1 � � �� � � � � 1 �CC�

//.

Page 118: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� � � � � � ��*� � < � = 2 ��� )���*�� � ���*����� � D � � ����*�D� � �

���*���������$���� � 1� � � � * � � < � = 2 ��� )���*�� � ����*�D� � ���*���������$���� � 1� � � � * � � � � 2 *�D� C � � � � � � ����*�D� 1����+� 2 � � � � * � � � � C ����*�D� 1� � � � /��0 2 ��� �� ��� /��0 2 ���/��0 2 � 1���� � ���/��0 � � � � � * � � � � ��

� � � � � � ��*� � < � =�� � � � �� ��6�� � � < � �� �� ��� /��0 = 2 ��� .������6���� �����*���������$���� � 1

� � � � � � ��*� � < � =�����*����� � ���*�� � ���/��0CC� �� �� �� ��� /��0 CC�1

����� � ���/��0 � ����+� ��

� � � � * � � < � =�� � � � �� ��6�� � � < � � � � /��0 = 2 ��� .������6���� �����*���������$���� � 1

� � � � * � � < � =�����*����� � ���*�� � ���/��0CC� �� � � � /��0CC�1

����� � ���/��0 � ���*����� � D � ��

� � � � � � ��*� � < � =�� � � � �� ��6�� � � < � �� �� ��� /��0 = 2 ��� .������6���� �����*���������$���� � 1

� � � � � � ��*� � < � =�����*����� � ���*�� � ���/��0CC� �� �� �� ��� /��0 CC�1

��

������� � � 1�

�� ������� ��� � � � � �� � � � � � � � � �� � � � � � � � � � � � � � � ����� #� � � �� � � � � � �*� � J J ������� ����� ��

�� ���� ���� ��� �� � � � � ���0� � ���0� 1�� ���� ��� ���� ��� �� � � � � � �� 1)���*�� � � � �� � � � � �� 1

� 2 �� � � � � � � � � � � � � ��*� � <�=�� � � D � C � � � � * � � <�=�� � � D � � 1���� � �����

� � � ���>4 � � � � � ? �� � �� 2 � � � � � � ��*� � < �� � ������� � ��� � � � � �� � � � � � � �

������ �'(%),(- C � � � � � = 1����

� � �� 2 � � � �* � � < �� � ������� � ��� � � � � �� � � � � � � ������� �'(%),(- C � � � � � = 1

//3

Page 119: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� � � ���>4 � � � � � ? �� � �� 2 � � � � � � ��*� � < �� � ������� � ��� � � � � �� � � � � � � �

������ �'(%),(- C � � � � � = 1����

� � �� 2 � � � �* � � < �� � ������� � ��� � � � � �� � � � � � � ������� �'(%),(- C � � � � � = 1

���0� 2 �� � � ������ � ��� � � � � � � ����� � D � � � ������� �'(%),(- C � � � � � 1

���0� 2 �� � � ������ � ��� � � � � � � ����� � D � � � ������� �'(%),(- C � � � � � 1

� � ��������*����� � � � �� � ���0� � ���0� � 1�

�� 2 � 1� 2 �� � � � � 1���� � �����

� � � � 2 � � � � � � ��*� � < � =����� � �# �� � � < � = 1� 2 � � � � � � ��*� � < � =�� � � D � 1������� � �

� � � � � � � 32 � � � � � � ��*� � < � =����� � �# �� � � < � = ������ 1

� � � 3 � ��

�� 2 � 1����� 1

��

� � � �� �������� � � 1

//6

Page 120: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

"���- �������� ��������������

���������������������������������������������������������������������������������� � � � � � � � � � � ������ ������ ������ � � � �� � � �� � � ���� ���� �� � � � � � ��� ����� ������� � ����� ��� ���! � ��� ���� � � � � � � � ���� � � ��� ���� �� � ��� � � � � � � � � � � ����������������������������������������������������������������������������������

���������������������������������������������������������������������������������� ��� �� � � �� ��� �� � � ���� � ��� � � � �� � � � � � ����������������������������������������������������������������������������������

������� +68$;5/8%('9($78'/5G,G������� +68$;5/8%('9($78'/5G,G

�� ������������� " # � � � � � � � � � � "�������� � � � � � �

���� ����� � � � � �������� 7�����

������ J7���� � ���� ���� ��� �� � ���� � 1K7��������� � 1

���� ��� �� � � D � 1 �� ��� � ��������� ��� �� � � ��� 1 �� � � � �� ��� ����� ��� �� ���� 1 �� ����� ���������� ����� ��:����� � � �� 1������ � � � � � � �: ���� � � � � � 1������ � � � � � � � � � � � � � . � � � � � � 1���� ��� �� � ��� �$���� � �������$���� 1������ � �� � � � � � � �& � � � 1������ ����&��� 1

���� ���7���� �7���� � ����� � 1���� ��� ���#������ �7���� � ������ � 7���� � ������ � 1���� ������&����� ����� � 1���� �������&����� ����� � 1���� ���� �./$+ � �����*����� � 1���� � � �)���� � � � )������ � ���� � � � 1���� � ������ � � ���� � � ��� � 1 � 1

� 1

���� � � � � � � � � � � � �

//5

Page 121: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

������� *��� � � ��

������ J*��� � � � � ���� ���� ��� �� � � � � � � � * � D � � ���� ���� ��� �� �����$���� � 1K *��� � � � ����� � 1

���� ��� �� � � � � � � � * � D � 17���� ������� 1 �� ������ �� � � � � � � ����� ��� �� � � � � � � � / � � � � � � � 1������ ���� �� �*�� ��.����� �*�� 1������ ����*��� ���.� ����� 1

7���� � .:*����� �� ����� � 1���� ������� ����� � 1���� ���� �./$+ � �����*����� � 1���� ���*��� ��� � *��� � � � � � � � � � � � � 1���� � ������ � � ���� � � ��� � 1 � 1

� 1

������

//0

Page 122: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

"����. �������� ���������������

���������������������������������������������������������������������������������� � � � � � � � � � � ������ ������ ������ � � � �� � � �� � � ���� ���� �� � � � � � ��� ����� ������� � ����� ��� ���! � ��� ���� � � � � � � � ���� � � ��� ���� �� � ��� � � � � � � � � � � ����������������������������������������������������������������������������������

���������������������������������������������������������������������������������� ��� �� � � �� ��� �� � � ���� � ��� � � � �� � � � � � ����������������������������������������������������������������������������������

�� ������������� "+���� �����(��� �� � � "�������� � � � � � � � �

���� ����� � � � � � ��� � � � ��� ���

�� ��� � ��� � � � � � � � � � ������� ����� � � ���� � �����7���� J J 7����� ���� ���� ��� �� � ���� ��

� ��� �$���� 2 4 1�������$���� 2 ����� 1� � D � 2 � ��� �$���� C � � �������$���� 1� ��� 2 ��� ���� ��� �� < � � D � = 1����� ��:����� � � �� 2 � � � � ������ � � � D � � 1� � � � � � �: ���� � � � � � 2 � � @ 1� �� � � � � � � �& � � � 2 ����&��� 2 � � ? 1� � � � � � � 2 � � � 1���� 2 � 1

�� � � � � � � � �7���� J J K7��������� ��

����� < = � ��� 1�

�� ��� ������� ����� � ����� � ��� ������� 7���� J J ���7���� �7���� � �������

�� ���� ���� ��� �� � 2 � � D � 1�� ���� ���� ��� �� � ��� 2 �������� ��� 1�� ���� ���� ��� �� � � 2 ���� 1

//1

Page 123: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

���� � ����� < � = 2 ��� < � = 1

����� ��:����� � � �� 2 ������������ ��:����� � � �� 1� � � � � � �: ���� � � � � � 2 �������� � � � � � �: ���� � � � � � 1� � � � � � � 2 �������� � � � � � � 1� � � � � . � � � � � � 2 �������� � � � � . � � � � � � 1� �� � � � � � � �& � � � 2 �������� �� � � � � � � �& � � � 1� � D � 2 �������� � D � 1�������$���� 2 ��������������$���� 1� ��� �$���� 2 �������� ��� �$���� 1���� 2 ����������� 1

�� ������ � � � � � � ��� ������ � ������ � ����� � � � � � � � ������� 7���� J J ��� ���#������ �7���� � ������ � 7���� � ������ ��

�� ���� ���� ��� �� � 2 � � D � 1�� ���� ���� ��� �� � ���� 2 ��������� ��� 1�� ���� ���� ��� �� � ���� 2 ��������� ��� 1�� ���� ���� ��� �� � � 2 ���� 1�� ���� ������ �� 2 � � � � � � �: ���� � � � � � 1

���� � �����

� � � ���>4 � � � �� �� < � = 2 ���� < � = 1

����

� < � = 2 ���� < � = 1�� � � ���>4 � � � �� �

���� 2 ������������ 1����

���� 2 ������������ 1�

�� ������ � � �� � � � � ����������� 7���� J J ������&����� ����� ��

�� ���� ���� ��� �� � 2 � � D � 1�� ���� ���� ��� �� � � � � 2 ���� 1�� ���� ������ �� 2 ����� ��:����� � � �� 1

���� � ����� � � ���>4 � � � ���

� � � < � = 2 � � � � � < � = 1� � � ���>4 � � � ���

���� 2 � � ���� 1�

//2

Page 124: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� ������� ������ ��������� 7���� J J �������&����� ����� ��

�� ���� ���� ��� �� ���0 � � 1

���0 2 � 1

� 2 � ��� �$���� 1���� � ����

� ��� < ���0CC= 2 �� � ������� � ��� � � � � � � � � � ������ �'(%),(- C � � � � � 1� 2 �������$���� 1���� � ����

� ��� < ���0CC= 2 �� � ������� � ��� � � � � � � � � � ������ �'(%),(- C � � � � � 1� 2 �������$���� 1���� � ����

� � � ���>4 � � � � �� � � � � � � �& � � � �� ��� < ���0CC= 2 �1

����

� ��� < ���0CC= 2 �1� � � ���>4 � � � ����&��� �

���� 2 *+$.1����

���� 2 %8%*+$.1�

�� ���� � ���������� 7���� J J ���� �./$+ � �����*����� ��

�� ���� ���� ��� �� � 1)������ � ���� � � 2 ��� )������ � �������$���� � 1

� � � � � � � � �����*����� � �"B�! B�! B�! B�� B��� � B��� � B��� � B��� � B��� � B��� � ��" � �� � D � � �� ��� �$���� � ��������$���� � ����� � �� � � � � � � � �� � � � � . � � � � � � � ������ ��:����� � � �� � �� � � � � � �: ���� � � � � � � �� �� � � � � � � �& � � � � �����&��� �� 1

��� � � 2 � 1 � � � � D � 1 �CC�� � � � � � � � �����*����� � "B�� " � � ��� < � = � 1

� � � � � � � � �����*����� � "��" � 1

//4

Page 125: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� � �)���� � � � � � � � � � � 1� � � � � ������� � �����*����� � 1

����� ���� � � 1

� � � � � � �����*����� � 1�

�� � � � � � � � � � � � � ��� ������� � ��� � � � ���� � � � � � � � � ����� 7���� J J � � �)���� � � � )������ � ���� � � ��

�� ���� ���� ��� �� � � � � � 2 � � ��� � � � � � $ � � 1

�� � � � � � � � � � � � � � �� � ��� ���� ���� � � � �� � � ������� 2 � � � �$ � � 2 ���� < � � � CC=1���� � � � � � � ��� �$���� ��

��� 2 ���� �� � � � � � � � � $ � � N � ��� < � � � = � 1� � � � $ � � 2 ���� < � � � CC=1

����� � ���� � � � � 2 ������ � ��� � � � ? ? � � 1 � � 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3��� � � 2 � 1 � � �������$���� 1 �CC�

� ��� � ����� ��� < � = 2 ���� < � � � CC=1��� � � 2 � 1 � � �������$���� 1 �CC�

� � � 3 � ��� < � � � CC=�� � � � � ����� ��� < � = 2 ,(*H6($;+1

� � �� � ������� 2 ���� 1� � � � � ���� ���� 2 �������$���� 1

���� � � � � � � � � � � � � ��� � � � ��� ���

�� ��� � ��� � � � � � � � � � � � � � � � ��� �����$���� � � ���� � � � � � � � � � � M ������*��� � � � J J *��� � � � � ���� ���� ��� �� � � � � � � � * � D � � �

���� ���� ��� �� �����$���� ��

�� ���� ���� ��� �� � 2 � � � � � � � * � D � 1

����� � � � � � � * � D � 2 �� � � � � � * � D � 1� � � � � � � / � � � � � � � 2 � 1���� ���*�� ��.������*�� 2 ����*��� ���.� ����� 2 � � � 1����� 2 ��� 7���� � < � � � � � � � * � D � = 1���� � ����

/.8

Page 126: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

����� < � = 2 ��� 7���� � �����$���� � 1�

�� � � � � � � � �*��� � � � J J K *��� � � � ����� ��

�� ���� ���� ��� �� � 2 � � � � � � � * � D � 1

���� � ��������� ����� < � = 1

����� ����� 1�

�� � � � � � � � � ��� � � ���� � � � � � � � �7���� � *��� � � � J J .:*� ���� �� ����� ��

�� ���� ���� ��� �� � 2 � 1�� ���� ������ ���� � ���� 1

���� 2 ���>4 � � � ���� �� �*�� ��.���� ��*�� 1���� 2 � � � 1���� � � � � � � � � � � � * � D � � LL ������ 2 ���� C ����� < � =�� � � � � � . � � � � � � � �

� ���� � ��CC1

����� � � � � � � � � � � � * � D � � O ����� < � = J ����� < � � � = � 1�

�� ������� � � � � � � � � � ����� *��� � � � J J ������� ����� ��

�� ���� ���� ��� �� � 2 � � � � � � � * � D � 1

���� � ��������� < � =���������&����� � � 1

�� ���� � ���������� *��� � � � J J ���� �./$+ � �����*����� ��

� � � � � � � � �����*����� � �"B�> B�> B�?��� � B���� � ��" � �� � � � � � � * � D � � �� � � � � � � / � � � � � � � � ����� �� �*�� ��.������*�� � �����*��� ���.� ����� �� 1

����� < � � � � � � � / � � � � � � � =������ � �����*����� � 1

/./

Page 127: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� � � � � � �����*����� � 1�

�� ��� � � � � � � ��� � � � � � � � � � � � � � � � � ��� ������� *��� � � � J J ���*��� ��� � *��� � � � � � � � � � � � ��

�� ���� ���� ��� �� � 2 � � � � � � ���� � � � � � � * � D � 1

� � � � � � � * � D � 2 � 1���� � ����

����� < � =�����7���� � � � � � � � �������� < � = � 1� � � � � � � / � � � � � � � 2 �� � � � � ���� � � � � � � / � � � � � � � 1���� �� �*�� ��.������*�� 2 �� � � � � ������� �� �*�� ��.���� ��*�� 1����*��� ���.� ����� 2 �� � � � � �������*��� ���.� ����� 1

/..

Page 128: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

"����� �������������������������������������������������������������������������������������������������� � � � � � � � � � � ������ ������ ������ � � � �� � � �� � � ���� ���� �� � � � � � ��� ����� ������� � ����� ��� ���! � ��� ���� � � � � � � � ���� � � ��� ���� �� � ��� � � � � � � � � � � ����������������������������������������������������������������������������������

���������������������������������������������������������������������������������� � � � �� � � �0 � � � � � � � � � � � � � ����������������������������������������������������������������������������������

������� .+(5;'++-5'(#58'G������� .+(5;'++-5'(#58'G

�� ������������� � � � � � � ���������� ")���*�� � "�������� � � � � � �

�� ��� ���� �������� ./+$) *+:+'(58' M � M �� � �� � � � � � � � � � � � �����

������� *+$. � �� � � � �������� %8%*+$. � �� �� � � � �

������� ,(-6+#58'$+%75G �?@ �� � � �� � � ��0 ��� � � � ��������� ,(-P8')* ����� �� � � �� � � ��0 ���������� ,(-)8#;,+%5* ��� �� � � �� � � ��0 �������

���� � � � �� � � �0 � � � � � � � � � � �������� .������+0�������

������ J.������+0������ � � � � � � � � � � � � � � � �

���� ���� ��� �� ��06����$���� 2 ,(-6+#58'$+%75G� ����� ���� ��� �� ��0P�� 2 ,(-P8')*� ����� ���� ��� �� ��0)������� 2 ,(-)8#;,+%5*� 1

K .������+0������ ����� � 1

���� ��� �� ���)������� 1���� ��� �� ���P�� 1���� ��� �� �����$���� 1���� ��� �� ��06����$���� � ��0P�� � ��0)������� 1���� ��� �� ���*��� � ���%����� 1���� ��� �� ���5�������+0������ � ���5�������*�� � � ���5�������%����� 1� � � � � � �� ������.������� 1� � � � � � ��������%���1

/.3

Page 129: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

���� ��� �� � ������#���� 1)���*�� � ���*�� 1)���*�� � � � � � � � ��*� � 1)���*�� � � � � � * � � 1

� � � � � � ���� 1���� ��� �� ����5���� 1��� �� � � �$ � � � 1���� ��� �� � ��$�� �$���� 1���� ��� �� � � �� �� ���6�� � � 1���� ��� �� � ��������P�� 1

�� ��� � � � � � � � � � � � � ����� ��� �� � ��� � �� � � � ������ 1������ �*� � � � �%���� � 1������ � �:������ � � �(����� 1���� ��� �� � � � � � � � � * � � � � � ��� � �� �%��� � � 1���� ��� �� � �� � �� �* � � � � � ������%��� � � 1������ � �*� � �:�� � �� � � � �%��� � �:������ � � �*�� �(����� � � �%�����(����� 1������ /* 1 �� / �*������� �+/7 1 �� +��� * ���� ���� ��� �� � � � � � 1���� ��� �� �� � �� �� ���*� � /��0 1

���� ������)���*�� � ���� ���� ��� �� �����$���� � ����� ���� ��� �� ���5�������+0������ � 1

���� ������)���*�� � ���� ���� ��� �� �����$���� � ����� ���� ��� �� ���5�������+0������ � ����� ��� �� � ��������+0������ � 1

���� ���� �./$+ � �����*����� � 1���� � ������ � � ���� � � ��� � 1 � 1���� � � �� � �5�� �� ���*� � � � ���� ���� ��� �� ��*��� � 1���� ������.��5�������*�� � ���� ���� ��� �� � � � � 1

������ J�� �*��$��� � ��� ��� � 1���� � � � � � � � � � * � � � � � � � � � ����� � 1

� 1

������

/.6

Page 130: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

"����� �����������������

���������������������������������������������������������������������������������� � � � � � � � � � � ������ ������ ������ � � � �� � � �� � � ���� ���� �� � � � � � ��� ����� ������� � ����� ��� ���! � ��� ���� � � � � � � � ���� � � ��� ���� �� � ��� � � � � � � � � � � ����������������������������������������������������������������������������������

���������������������������������������������������������������������������������� � � � �� � � �0 � � � � � � � � � � � � � ����������������������������������������������������������������������������������

�� ������������� ".������+0������ � "�������� � � � � ������������� � � � � � ��������� ���� � �

�� ��� ���� �������� ,(-$/%+$+% ���� �� ��0 ����� � � � � �����

�� � � � � �� � � ��� � � � �������� )+.*58:$/*5$+% 4��� �� ��� � � � �� � � * � �$ � � � <)+.*58:$/*5$+%= 2 � "PPP" � "G5,$" � "G55:" � "7/." �"+);" � "(%)" � "G'+." � "5G+" � "/,7" � "*'#" � ".8'" � ".8%5" � "#8," � "($/7%" � "($5" �"*/F+" � "/%)+-" � "G5," � "5/5$+" � "78:G+'" � "8'7" � "%(,+" � "5G/*" � "P+&" � "98;" �"G8,+" � "(&8;5" � "/%5+'%+5" � "P/)5G" � ":(7+" � ".5:" � "&8)9" � "('+" � "$/*5" �"%+5" � "G+/7G5" � "$/%H*" � "%+P*" � ".'8," � "G+()" � "*5'8%7" � "P+$#8,+" � "P/5G" �"58:" � ",(/$58" � "98;'" � "7/.*" � "&8558," � ",(/$" � "#7/" � "5G(5" � "&/%" � "($$" �"#+%5+'" � "P;*5$" � "7)&" � "786" � "85G+'" � "(%9" � "G(*" � "%85" � "58#" � "7%%" �"P/#" � "*+'6+'" � "(6(/$(&$+" � "/&#" � "())'+**" � "/%.8',(5/8%" � "G+'+" � "#(%" �"PG(5" � ",8'+" � "8;'" � "P/$$" � "G(6+" � "#8,,+%5*" � "PG8" � ":$+(*+" � "($*8" � 1

�� ����I � � �� ��� ������������ � �� � � � � � � � � 22 � � � � O � � � � � J � � � � � � � � � � � � � � � �������� ����� � � � � � � � � � � � � � O � � � � � � � � � J � � � �

���� � � � �� � � �0 � � � � � � � � � � � ��� � � � ��� ���

�� ��� � ��� � � � � � � � � � � � � �� � � �0 � � � � � ��� � � � � � � � ����� � � � �.������+0������ J J .������+0������ � � � � � � � � � � � � � � � �

���� ���� ��� �� ��06����$���� � ���� ���� ��� �� ��0P�� � ����� ���� ��� �� ��0)������� �

��� ���� ���� ��� �� � � � � � � � � � � � ��� 1��� � � � � <,(-$/%+$+% = 1

/.5

Page 131: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� ���� ��� � 1�� ���� ��� ���� ��� �� � � � � 1� � � � � � �� � �������� 2 ��� � � � � � � �� � � 1 1

�� ���� ��� � � � � � �������������� � � � � � � ���� � � � � � � 1� � � � � 2 � 1���� � ����������� � � � � � � � � � � � � ,(-$/%+$+%� �

� � � � �CC1����������� � � � � � 1

�� � � � � � � � � � � ����� �� � � � � � � � � � ����)������� 2 � � � � � 1���P�� 2 �����$���� 2 ���*��� 2 ���%����� 2 � 1������06����$���� 2 ��06����$���� 1������0P�� 2 ��0P�� 1������0)������� 2 ��0)������� 1���5�������+0������ 2 ���5�������*�� � 2 ���5�������%����� 2 � 1

������.������� 2 ��� � � � � � � � < ���)������� = 1������%��� 2 ��� � � � � � � � < ���)������� = 1������#���� 2 ��� ���� ��� �� < ���)������� = 1���*�� 2 ��� )���*�� ����)������� � ��06����$���� � 1� � � � � � ��*� � 2 ��� )���*�� ����)������� � ��06����$���� � 1� � � � * � � 2 ��� )���*�� ����)������� � ��06����$���� � 1

�� 2 ��� � � � � � � � < ��0P�� = 1��5���� 2 ��� ���� ��� �� � < ��0)������� = 1� � � �� ���*� � /��0 2 ��� ���� ��� �� � < ��0)������� = 1� 2 ��0)������� 1���� � �����

��5���� < � = 2 ��� ���� ��� �� < ��0P�� = 1� � � �� ���*� � /��0 < � = 2 ��� ���� ��� �� < ��0)������� = 1

�� � �$ � � � 2 � � �� � � * � �$ � � � 1� ��$�� �$���� 2 )+.*58:$/*5$+%1� �� �� ���6�� � � 2 ��� ���� ��� �� < ��0)������� = 1��� �����P�� 2 ��� ���� ��� �� < ��0P�� = 1

� � � � �� � 2 ��� ���� ��� �� < ��0P�� = 1������ 2 ��� ���� ��� �� < ��0P�� = 1/* 2 �*� � � 2 �%���� � 2 � � � 1�:������ 2 ��� ������ < ��0P�� = 1�(����� 2 ��� ������ < ��0P�� = 1� � � � � � � * � � � 2 ��� ���� ��� �� < ��0P�� = 1� � � � �� �%��� � � 2 ��� ���� ��� �� < ��0P�� = 1�� � �� �* � � � 2 ��� ���� ��� �� < ��0P�� = 1������%��� � � 2 ��� ���� ��� �� < ��0P�� = 1

/.0

Page 132: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�*� � �:�� � �� � 2 ��� ������ < ��0P�� = 1�%��� � �:������ 2 ��� ������ < ��0P�� = 1�*�� �(����� 2 ��� ������ < ��0P�� = 1�%�����(����� 2 ��� ������ < ��0P�� = 1+/7 2 ��� ������ < ��0P�� = 1����� � � � 2 ��� ��� ���� ��� �� < ��0P�� = 1

�� � � � ��� � ����� � � � � � � ��� 2 � � � � � ���� � � � � � � � � M � M � C � 1��� �� ���� ��"��" 1

�� ��� �� � � � � ���������������� � � � � � � ���� � � � � � � 1��� � � 2 � 1 � � ���)������� 1 �CC��

����������� � � � � � � � � � � � � ,(-$/%+$+%� ./+$) *+:+'(58'� 1������.������� < � = 2 ��� � � � � � � �� � � � � � � � � � � ��� � 1������.������� < � =������� � � � � � � 1����������� � � � � � � � � � � � � ,(-$/%+$+%� ./+$) *+:+'(58'� 1���� � ������ � � � � � � " � " � ��

���� � J������#���� < � = 2 *+$. 1���*���CC1����� 1

������ J������#���� < � = 2 %8%*+$.1���%�����CC1����� 1

������������ � � � � � � � � � � � � ,(-$/%+$+%� 1������%���< � = 2 ��� � � � � � � � � � � � � 1

������������ � � � � � 1

�� � � � � � � �� � �� � ����P�� 2 � 1��� � � 2 � 1 � � ���)������� 1 �CC��

������������� � ������.������� < � =�� � � � � � � � 1� � � � 2 � 1���� � � � � � ��

���� � � � � 2 ������������� � � � 3 2 +8.� LL 3 � � � � � � � � � �1

� � � � 22 +8.�� � � � 2 � 1

����

/.1

Page 133: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� 2 � 1���� � � � 32 +8.� LL � � � � � � � � � ��

� � � � < � CC= 2 ������ � � � 1 �� ������ � ����� ����� 2 ������������� � � 1

�� � � � < � = 2 M � � M 1� � � �*��$��� � � � � � � �

������� 1��� � � 2 � 1 � � ���P�� 1 �CC�

� � � ������ ��� < � =�� � � � � � � � � � � � � 22 ���

��5���� < � = < � =CC1����� 1

�� � � � 22 ���P����

�� < ���P�� = 2 ��� � � � � � � � � � � � � 1��5���� < � = < ���P��CC=CC1

��

������������ � � � � � 1

����� �������� 1�

�� � � � � � � � �.������+0������ J J K .������+0������ ����� ��

�� ���� ���� ��� �� � 1

����� ���*�� 1����� � � � � � � ��*� � 1����� � � � � * � � 1

����� < = ������#���� 1����� < = � � � �� ���6�� � � 1����� < = ��� �����P�� 1

����� < = � � � � �� � 1����� < = ������ 1����� < = �:������ 1����� < = �(����� 1����� < = � � � � � � � * � � � 1����� < = � � � � �� �%��� � � 1����� < = � � � �� �* � � � 1

/.2

Page 134: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

����� < = ������%��� � � 1����� < = �*� � �:�� � �� � 1����� < = �%��� � �:������ 1����� < = �*�� �(����� 1����� < = �%�����(����� 1����� < = +/7 1����� < = � � � � 1

� 2 ��0P�� 1���� � ����

����� �� < � = 1����� < = �� 1

� 2 ��0)������� 1���� � �����

����� ������%��� < � = 1����� ������.������� < � = 1����� < = ��5���� < � = 1

������ < = ��5���� 1����� < = ������.������� 1����� < = ������%��� 1

�� � � � � � � ��� � � ��� �����$���� � � ���� � � � � �� � � � � � � � � � �0 � � � � ����� .������+0������ J J � �����)���*�� � ���� ���� ��� �� �����$���� � �

���� ���� ��� �� ���5�������+0������ ��

�� ���� ���� ��� �� � � � � ���0 1�� ���� ��� ���� ��� �� � � � � 1

�������5�������+0������ 2 ���5�������+0������ 1���������$���� 2 �����$���� 1

�� � � � � � � ���� � �� � � � �� � � ����5�������*�� � 2 ���5�������%����� 2 � 1� 2 ���5�������+0������ 1���� � � ��

��

�� � � � 2 � 1���0 2 �� � ������� � ��� � � � � ���)������� � � ������ �'(%),(- C � � � � � 1� 2 ���5�������+0������ � � 1���� � ����

� � � � �� �� ���6�� � � < � = 22 ���0 ��

/.4

Page 135: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� � � � 2 � 1������� 1

�� ���� � � � � � � 1� �� �� ���6�� � � < ���5�������+0������ � � = 2 ���0 1� � � ������#���� < � �� �� ���6�� � � < � = = 22 *+$.�

���5�������*�� �CC1����

���5�������%�����CC1���1

� � � � � � � � � * � � � � � � � � � � � 1�

�� � � � � � � ��� � � ��� �����$���� � � ���� � � � � �� � � � � � � � � � �0 � � � � ��� ��������+0������ � � � � � � � � � � � � � � �� �0������ � � � � � � � ��� � � � ������� .������+0������ J J � �����)���*�� � ���� ���� ��� �� �����$���� � �

���� ���� ��� �� ���5�������+0������ � ����� ��� �� � ��������+0������ �

��� ���� ���� ��� �� � 1

�������5�������+0������ 2 ���5�������+0������ 1���������$���� 2 �����$���� 1

�� � � � � � � ���� � �� � � � �� � � ����5�������*�� � 2 ���5�������%����� 2 � 1� 2 ���5�������+0������ 1���� � �����

� �� �� ���6�� � � < � = 2 ��������+0������ < � = 1� � � ������#���� < � �� �� ���6�� � � < � = = 22 *+$.�

���5�������*�� �CC1����

���5�������%�����CC1�

� � � � � � � � � * � � � � � � � � � � � 1�

�� ���� � ���������� .������+0������ J J ���� �./$+ � �����*����� ��

�� ���� ���� ��� �� � � � 1

� � � � � � � � �����*����� � �"B�! B�? B�! B�! B�? B�! B�! B�! B�! B�! B�! B��� � B��� � B��� � ��" � �

/38

Page 136: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

���)������� � ����P�� � ������$���� � ���06����$���� � ���0P�� � ���0)������� � ����*��� � ����%����� � ����5�������+0������ � ����5�������*�� � � ����5�������%����� � ��*� � � � ��%���� � � �/* �� 1

��� � � 2 � 1 � � ���)������� 1 �CC�� � � � � � � � �����*����� � �

"B�! B�!�� B�!�� B����" � �� � �������.������� < � =�� � � � � � � � �������%��� < � =�� � � � � � � � �������#���� < � = �� 1

��� � � 2 � 1 � � ���5�������+0������ 1 �CC�� � � � � � � � �����*����� � "B�!��" � � �� �� ���6�� � � < � = � 1

��� � � 2 � 1 � � �����$���� 1 �CC�� � � � � � � � �����*����� � �

"B�! B�?��" � �� � ���������P�� < � = �� 1

��� � � 2 � 1 � � ���P�� 1 �CC��

� � � � � � � � �����*����� � �"B�! B���� B���� � B�! B�! B�! B�! B�! B�! B���� � B���� � " � �� � ��� < � =�� � � � � � � � �+/7 < � = � ���� � �� � < � = � ������� < � = � �� � � � � � � * � � � < � = � ��� � �� �* � � � < � = � ���� � �� �%��� � � < � = � �������%��� � � < � = � ��:������ < � = � ��(����� < � = �

/3/

Page 137: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� 1� � � � � � � � �����*����� � �

"B���� � B���� � B���� � B���� � ��" � ��*� � �:�� � �� � < � = � ��*�� �(����� < � = � ��%��� � �:������ < � = � ��%�����(����� < � = �� 1

��� � � 2 � 1 � � ���)������� 1 �CC��

� � � � � � � � �����*����� � "B�? " � � � 1��� � � 2 � 1 � � ���P�� 1 �CC�

� � � � � � � � �����*����� � " B�!" � ��5���� < � = < � = � 1� � � � � � � � �����*����� � "��" � 1

� � � � � � � � �����*����� � "B�?" � � ��$�� �$���� � 1��� � � 2 � 1 � � � ��$�� �$���� 1 �CC�

� � � � � � � � �����*����� � " B���� " � � � �$ � � � < � = � 1� � � � � � � � �����*����� � "��" � 1

� � � � � � �����*����� � 1�

�� �0 � � � � � � � � � � � �� � � � ��� ��*��� � ��� � � � � � � � �� � � � � � � � � � � ����� .������+0������ J J � � �� � �5�� �� ���*� � � � ���� ���� ��� �� ��*��� ��

�� ���� ���� ��� �� � � ���0 1�� ���� ���� ��� �� � � � � * � � * � D � � � �� �� ���*� � /��0 � ����%��)������� 1�� ���� ���� ��� �� �/��0 � ���6���� 1

� � � � * � � * � D � 2 �� � ���)������� � ��*��� � 1����%��)������� 2 � � � � * � � * � D � � ��*��� 1���5�������+0������ 2 � � � � * � � * � D � � � ��*��� � � � 1

� 2 ����%��)������� 1���� � ����

� �� �� ���6�� � � < � = 2 � 1

� 2 ����%��)������� 1���� � �����

�/��0 2 �� � ������� � ��� � � � � ����%��)������� � � ������� �'(%),(- C � � � � � 1

���6���� 2 ��� �� ���6�� � � < � = 1� � � �� ���6�� � � < � = 2 � �� �� ���6�� � � < �/��0 = 1

/3.

Page 138: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� �� �� ���6�� � � < �/��0 = 2 ���6���� 1�

� 2 ��*��� 1���� � �����

� �� �� ���*� � /��0 2 ���0 2 � 1�/��0 2 � � � � � � * � � * � D � 1���� � �/��0���

����� �� �� ���*� � /��0 < � = < � � � �� ���*� � /��0 CC= 2 �� �� �� ���6�� � � < ���0CC=1

���0 C2 � � � � * � � * � D � 1�/��0 2 � ��*��� � � � � � � � � � � * � � * � D � 1���� � �/��0���

����� �� �� ���*� � /��0 < � = < � � � �� ���*� � /��0 CC= 2 �� �� �� ���6�� � � < ���0CC=1

��

�� � � � � � � ��� � � � ��� � � � � � � �� � � ��� � � � � � � � � � � �� � � � ���0���� .������+0������ J J ������.��5�������*�� � ���� ���� ��� �� � � � ��

������)���*�� � �����$���� � ���5�������+0������ � � �� �� ���*� � /��0 < � � � = � 1�

���� � � � �� � � �0 � � � � � � � � � � � � � � � � � � ��� ���

�� � ��I � � �� � ��� � � � ��� .������+0������ J J �*��$��� � ��� �����

�� ���� ���� ��� �� � 2 ���$�� �$���� 1

���� � ����� � � ������ � � � �$ � � � < � = � ��� 22 ��

����� � � � 1����� � � � 1

�� � � � � � � � � � � � � � � � � � � � � � � �� � � ����� .������+0������ J J � � � � � � � � � * � � � � � � � � � ����� ��

�� ���� ���� ��� �� � � � � I 1�� ���� ��� ���� ��� �� � � � � 1�� ���� ������ �������&���+/7 � ����&���+/7 1�� ���� ���� ��� �� �������&���+/7/��0 � � �� �� ��� /��0 � � � � � /��0 1

/33

Page 139: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� � � � � � � � � � � � � � � � � � � ��* � � � 2 ������ � ���5�������*�� � � � ������ � ���5�������+0������ � 1�%���� � 2 ������ � ���5�������%����� � � ������ � ���5�������+0������ � 1/* 2 �� �� � � �* � � � � � �� � �*� � � � C �%���� � � � �� � �%���� � � � 1

�� � � � � � � � � � � � � � � �� 2 ���P�� 1���� � �����

��� � �� � < � = 2 ������ < � = 2 � � � � � � � * � � � < � = 2 �� � �� �* � � � < � = 2 ���� � �� �%��� � � < � = 2 ������%��� � � < � = 2 ����� � � � < � = 2 � 1

+/7 < � = 2 �:������ < � = 2 �(����� < � = 2 �*� � �:�� � �� � < � = 2 ��%��� � �:������ < � = 2 �*�� �(����� < � = 2 �%�����(����� < � = 2 � � � 1

��� � � 2 � 1 � � ���5�������+0������ 1 �CC���� � � 2 � 1 � � ���P�� 1 �CC�

� � � ������#���� < � �� �� ���6�� � � < � = = 22 *+$.��

� � � ��5���� < � �� �� ���6�� � � < � = = < � = ��

� � � � � � � * � � � < � =CC1��� � �� � < � =CC1

�����

��� � �� �* � � � < � =CC1������ < � =CC1

������

�� � � ��5���� < � �� �� ���6�� � � < � = = < � = ��

��� � �� �%��� � � < � =CC1��� � �� � < � =CC1

�����

�������%��� � � < � =CC1������ < � =CC1

��

��� � � 2 � 1 � � ���5�������+0������ 1 �CC���� � � 2 � 1 � � ���P�� 1 �CC��

� � � � � � � �� � < � = ��

/36

Page 140: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�:������ < � = 2 ������ � � � � � �� � < � = � � ������ � ���5�������+0������ � 1�*� � �:�� � �� � < � = 2 ������ � � � � � � � � * � � � < � = � � ������ � � � � � �� � < � = � 1�%��� � �:������ < � = 2 ������ � � � � � �� �%��� � � < � = � � ������ � � � � � �� � < � = � 1

�� � � ������ < � = ��

�(����� < � = 2 ������ � ������ < � = � � ������ � ���5�������+0������ � 1�*�� �(����� < � = 2 ������ � �� � �� �* � � � < � = � � ������ � ������ < � = � 1�%�����(����� < � = 2 ������ � ������%��� � � < � = � � ������ � ������ < � = � 1

+/7 < � = 2 /* C �:������ < � = � � �*� � �:�� � �� � < � = � �� �� � �*� � �:�� � �� � < � = � C ��%��� � �:������ < � = � � �� � �%��� � �:������ < � = � � C ��(����� < � = � � �*�� �(����� < � = � � �� � �*�� �(����� < � = � C ��%�����(����� < � = � � �� � �%�����(����� < � = � � 1

����&���+/7 2 ��� � � 1�������&���+/7/��0 2 � 1��� � � 2 � 1 � � �����$���� 1 �CC��

�������&���+/7 2 ������1��� � � 2 � 1 � � ���P�� 1 �CC�

� � � �+/7 < � = � �������&���+/7 � �LL �+/7 < � = �2 ����&���+/7 � �LL 3 ����� � � � < � = �

�� � � � 2 � 1��� � I 2 � 1 I � ���5�������+0������ 1 ICC�

� � � ��5���� < � �� �� ���6�� � � < I = = < � = 3 2 � ��

� � � � 2 � 1����� 1

�� � � � � � � ��

�������&���+/7 2 +/7 < � = 1�������&���+/7/��0 2 � 1

��

�� � � � � � ���������P�� < � = 2 �������&���+/7/��0 1����� � � � < �������&���+/7/��0 = 2 � 1����&���+/7 2 �������&���+/7 1

� � � � � � ��*� ���� � D � 2 ���5�������+0������ 1� � � � * � ���� � D � 2 ���)������� � ���5�������+0������ 1

/35

Page 141: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

� � � � � � ��*� ��������$���� 2 � � � �* � ��������$���� 2 �����$���� 1���*���������$���� 2 �����$���� 1� �� �� ��� /��0 2 �� � � /��0 2 � 1��� � � 2 � 1 � � ���)������� 1 �CC��

��� � � 2 � 1 � � �����$���� 1 �CC�� � � ��5���� < � = < ��� �����P�� < � = = �

���*����� � � �� ��6�� � � < � =���� ��� < � = 2 � 1����

���*����� � � �� ��6�� � � < � =���� ��� < � = 2 � 1���*������� � �# �� � � < � = 2 ������#���� < � = 1���*����� � � �� ��6�� � � < � =�� � ���� 2 �����$���� 1

� � � � 2 � 1� 2 ���5�������+0������ 1���� � ����

� � � � 22 ��� �� ���6�� � � < � = ��

� � � � 2 � 1����� 1

�� � � � � � � ��

��� � � 2 � 1 � � �����$���� 1 �CC�� � � ��5���� < � = < ��� �����P�� < � = = �

� � � � � � ��*� ���� � � �� ��6�� � � < � �� �� ��� /��0 =���� ��� < � = 2 � 1����

� � � � � � ��*� ���� � � �� ��6�� � � < � �� �� ��� /��0 =���� ��� < � = 2 � 1� � � � � � ��*� ������ � �# �� � � < � �� �� ��� /��0 = 2 ������#���� < � = 1� � � � � � ��*� ���� � � �� ��6�� � � < � �� �� ��� /��0 =�� � ���� 2 �����$���� 1� �� �� ��� /��0CC1

�����

���� � � 2 � 1 � � �����$���� 1 �CC�

� � � ��5���� < � = < ��� �����P�� < � = = �� � � � * � ���� � � �� ��6�� � � < � � � � /��0 =���� ��� < � = 2 � 1

����

� � � � * � ���� � � �� ��6�� � � < � � � � /��0 =���� ��� < � = 2 � 1� � � � * � ������ � �# �� � � < � � � � /��0 = 2 ������#���� < � = 1� � � � * � ���� � � �� ��6�� � � < � � � � /��0 =�� � ���� 2 �����$���� 1� � � � /��0CC1

��

/30

Page 142: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

"����� /����"������ ������!����

���������������������������������������������������������������������������������� � � � � � � � � � � ������ ������ ������ � � � �� � � �� � � ���� ���� �� � � � � � ��� ����� ������� � ����� ��� ���! � ��� ���� � � � � � � � ���� � � ��� ���� �� � ��� � � � � � � � � � � ����������������������������������������������������������������������������������

���������������������������������������������������������������������������������� ����� ����� ��� � � � � � � � � � � � � � � � � � ����������������������������������������������������������������������������������

������� %(/6+&(9+*/(%#$(**/./+' G������� %(/6+&(9+*/(%#$(**/./+' G

�� ������������� ")���*�� � "

���� �� ��� ����� ��� � � � � � � � � � � � � � � �������� %� �� �&��� � � ��# � � � � � � � � ��

������ J%� � � �&��� � � ��# � � � � � � � � � � ���� ���� ��� �� � � � � � � � � � � * � D � � 1K %� � � �&��� � � ��# � � � � � � � � � ����� � 1

���� ��� �� � � � � � � � � � � * � D � 1

���� ��� �� � � � � � � � � � � � � � � � 1 �� � � � � � � � � � �� � � � ������� � � � � � � ����� � � 1 �� � � � � � � � � � � � ����� ��� �� � ��� � �� � � � ������ 1���� ��� �� � � � � � � � � � � � � � � � � � � 1���� ��� �� � � � � ��� � � � � � � ������� � � 1������ � � � � � � � � � � � � ��� � � � � � � � � � � � � � � � � � � � � ����� � � ��� 1������ � ����� � � ���� 1

���� � � � � � � )���*�� � ���*�� � 1������ � � � � � )���*�� � ���*�� � 1

� 1

������

/31

Page 143: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

"����� /����"������ ������!�����

���������������������������������������������������������������������������������� � � � � � � � � � � ������ ������ ������ � � � �� � � �� � � ���� ���� �� � � � � � ��� ����� ������� � ����� ��� ���! � ��� ���� � � � � � � � ���� � � ��� ���� �� � ��� � � � � � � � � � � ����������������������������������������������������������������������������������

���������������������������������������������������������������������������������� ����� ����� ��� � � � � � � � � � � � � � � � � � ����������������������������������������������������������������������������������

�� ������������� "%� � � �&��� � � ��# � � � � � � � � � � "�������� " # � � � � � � � � � � "

�� ��� � ��� ���� � � � � � � � �� ��� ����� ��� � � � � � � � � � �%� � � �&��� � � ��# � � � � � � � � � J J %� � � �&��� � � ��# � � � � � � � � � � �

���� ���� ��� �� � � � � � � � � � � * � D � ��

����� � � � � � � � � � * � D � 2 � � � � � � � � � � * � D � 1

� � � � � 2 ����� � � 2 � � � 1� � � � � � 2 � � � � � � � � 2 � 1� � � � � � � � � 2 ��� ������ < � � � � � � � � � � * � D � = 1� � � � � � � � 2 ��� ������ < � � � � � � � � � � * � D � = 1��� � � � � � � � � 2 ��� ������ < � � � � � � � � � � * � D � = 1����� � � ��� 2 ��� ������ < � � � � � � � � � � * � D � = 1

� � � � �� � 2 ��� ���� ��� �� < � � � � � � � � � � * � D � = 1������ 2 ��� ���� ��� �� < � � � � � � � � � � * � D � = 1� � � � � � � � 2 ��� ���� ��� �� < � � � � � � � � � � * � D � = 1� � � ��� � � � � 2 ��� ���� ��� �� < � � � � � � � � � � * � D � = 1� � � � � � � 2 ��� ���� ��� �� < � � � � � � � � � � * � D � = 1�� ����� � � 2 ��� ���� ��� �� < � � � � � � � � � � * � D � = 1����� 2 ��� ������ < � � � � � � � � � � * � D � = 1���� 2 ��� ������ < � � � � � � � � � � * � D � = 1

�� � � � � � � � �%� � � �&��� � � ��# � � � � � � � � � J J K %� � � �&��� � � ��# � � � � � � � � � ����� ��

����� < = � � � � � � � � � 1����� < = � � � � � � � � 1����� < = ��� � � � � � � � � 1����� < = ����� � � ��� 1

����� < = � � � � �� � 1����� < = ������ 1

/32

Page 144: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

����� < = � � � � � � � � 1����� < = � � � ��� � � � � 1����� < = � � � � � � � 1����� < = �� ����� � � 1����� < = ����� 1����� < = ���� 1

�� � � � � � �� ��� ����� ��� � � � � � � � � � ��� ���*�� � ��� �� � � � � � � � ����� %� �� �&��� � � ��# � � � � � � � � � J J � � � � � � )���*�� � ���*�� ��

�� ���� ���� ��� �� � � � 1

� � � � � � 2 � � � � � � � � 2 � 1� 2 � � � � � � � � � � * � D � 1���� � �����

��� � �� � < � = 2 ������ < � = 2 � � � � � � � < � = 2 ������� � � < � = 2 � � � � � � � � < � = 2 �� � � ��� � � � � < � = 2 � 1

� 2 ���*����� � D � 1���� � �����

���� � ���*������� � �# �� � � < � = ��

���� *+$.J� � � � � � CC1����� 1

������ J� � � � � � � �CC1����� 1

��

� � � � � 2 ������ � � � � � � � � � ������ � ���*����� � D � � 1����� � � 2 ������ � � � � � � � � � � � ������ � ���*����� � D � � 1

� 2 ���*����� � D � 1���� � �����

� 2 � � � � � � � � � � * � D � 1���� � �����

���� � ���*����� � � �� ��6�� � � < � =���� ��� < � = ��

���� � J

/34

Page 145: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

���� � ���*������� � �# �� � � < � = ��

���� *+$.J� � � � � � � < � =CC1����� 1

������ J�� ����� � � < � =CC1����� 1

���� � �� � < � =CC1����� 1

���� � J���� � ���*������� � �# �� � � < � = ��

���� *+$.J� � � � � � � � < � =CC1����� 1

������ J� � � ��� � � � � < � =CC1����� 1

������� < � =CC1����� 1

������ J����� 1

��

� 2 � � � � � � � � � � * � D � 1���� � �����

����� < � = 2 ������ � � � � � �� � < � = � � ������ � ���*����� � D � � 1���� < � = 2 ������ � ������ < � = � � ������ � ���*����� � D � � 1� � � � � � � �� � < � = ��

� � � � � � � � � < � = 2 ������ � � � � � � � � � < � = � � ������ � � � � � �� � < � = � 1��� � � � � � � � � < � = 2 ������ � � � � ��� � � � � < � = � � ������ � � � � � �� � < � = � 1

�� � � ������ < � = ��

� � � � � � � � < � = 2 ������ � � � � � � � � < � = � � ������ � ������ < � = � 1����� � � ��� < � = 2 ������ � ������� � � < � = � � ������ � ������ < � = � 1

��

/68

Page 146: An Immune System Approach to Document Classification · Document Classification Jamie Twycross Information Infrastructure Laboratory HP Laboratories Bristol HPL-2002-288 October 23rd

�� � � � � �� ��� ����� ��� � � � � � � � � � ��� ���*�� � ��� �� � � � � � � ��� �� �� ��� � � � � � � � � � �������������� %� �� �&��� � � ��# � � � � � � � � � J J � � � � � )���*�� � ���*�� ��

�� ���� ���� ��� �� � 2 ���*����� � D � � � 1�� ���� ���� ��� �� � � � � � � 2 � 1�� ���� ������ � � � � � � � � � � � � � � � � � 1

� � � � � � 2 � 1���� � �����

� � � � � � � 2 � � � � � 1� � � � � � � � � 2 ����� � � 1� 2 � � � � � � � � � � * � D � 1���� � �����

� � � � � � � �2 �� ���*����� � � �� ��6�� � � < � =���� ��� < � = � O � � � � � � � � � � < � = � J �� � � � � � � � � < � = � � 1

� � � � � � � � � �2 �� ���*����� � � �� ��6�� � � < � =���� ��� < � = � O �� ��� � � � � � � � � < � = � J � ����� � � ��� < � = � � 1

�� � � � � � � � � � � �� � � � � � � � ��

� � � ���*������� � �# �� � � < � = 22 *+$.�� � � � � �CC1

�����

� � � ���*������� � �# �� � � < � = 22 %8%*+$.�� � � � � �CC1

����� ������� � � � � � � � � � ������ � ���*����� � D � � � 1�

/6/