IBM Haifa Research Lab – Event Processing
© 2008IBM Corporation
������������� ������������������������
�����������
�����������������
������������������ �!
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
"���������������������!��#
�������$�$���������������������������������� ���%���� ����&��'()�������&&�������*����+�� ����������������*�
��, ���������������&*�$�������������!��,-������$������ �!���������������., ��*�� ���$�������+������������������$��������!������������$������ �
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
����&��*��������$�����������������$������
���+������ ������� ����� �����������
���������/��������������
���������������-$�������������� . &�����
"�0���������������������
��*�����+�+�����!�����������
����������������������������$$������*
������$������ ��������$��������
"�0���������+�����������
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
� ����
����������������� ��������� ������������
������������������������ �������������
���������������������������
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
������������� ����������������� �������
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
1��$����������2������+
Ev
en
t Flo
wEvent
SensorsBusiness Processes
Services &Applications
Event Producer
Event Consumer
Event
Processing
Network
Event Bus
Event Consolidator
Event Handler
State Machines
Event Actuators
Business Processes
Services &
ApplicationsState
Machines
Ev
en
t Secu
rity S
erv
ices
Ev
en
t Mo
nito
ring
an
d A
naly
tic In
frastru
ctu
re
Three major building blocks:
• Event Producers,
• Event Processing Network• Event Consumers
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
��3����������
� ������������� �3��+�4���������������������������������+�� �����3������ ��$��5�6�789�:�+����;
� � 6�<��� ��� ��� ��=(�
� �����������������������*$��>�
� ������ �������1���&��9�
� ������ �������������9�
� ������ �������������� �� ���>
�� ������ �������1������(
� � 6�<7�9�:�?�7� � 7� � �:�� ��� ��:�� 7� � ���� ��� 7��� �::=(
� ������������������$��������������$�������� ����������� ��(�������� �������!��+��������������������$�����������������������9�������������������������������&��9����������$������ �� ���������������������9������������������������������$������ �� ���(
����;��5�*������9�2$������%���@ ������������� �3��+�4�,����������&$��&�������9������*���&��A�����9�BC7�:9�����9�D�'@DDB
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
g
��3���E�&$��
Producers AgentsConsumers
If a customer sends three requests within three hours on the same topic and
the first two requests have been handled, notify immediately to the “unhappy
customers officer” and include count of “unhappy” detections for this customer in the last year
Detect Pattern
Enrich
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
g
��3���E�&$��
Producers AgentsConsumers
If a customer sends three requests over the last day on the same topic and the
requests have been handled, notify immediately to the “unhappy customers
officer” and include count of “unhappy” detections for this customer in the last year
Detect Pattern
Enrich
������3��
1���&��3��
� ���3��
�����3��
1������3��
�����$�$�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
"����������� ���
� ��� �����������+�4����������������35 ��������$������ �$�������
+����������35 �����E��
� �����*$�
� ���1����
���������F�*�
� �����$�(
F������������������ ����$����&�
�����$����������������
� �����$����&�
���������������������������������������� ���� ���
��$���$�$� 2��$���$�$�
������������� ������&���
�����������
������������$���$�$�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
�E�&$���';�/���$$*�1���&��
� �������-����$$*����&��. �E�&$���+�������4�� ������$�����������G��������������������&���������������$�(
� �����*$�
� ���1����
���������F�*�
� �����$�(
���������������
�� �*�1���&��
1���&��;���&����$�;�1���@�����&!����*;���$@B@���C
��$���$�$�;��G���������7 �������%��
�����:�
2��$���$�$�;�� �*�1���&��
������������� �;�D���G��������H��G�������!&�����9���G������������I+��������*�J���&����������
1���&���
����������;/$��������&��������������$$*@
���
��$���$�$�;��G��������������
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
�E�&$�����, �������� �*����&��
� �����&�����@ ������� ���&!���������$$*��������������������*���
� �����*$�
� ���1����
1���E��������
� �����$�(
�����&���
�������� �*����&��
1���&��;���&����$�;�1���@�����&!����*;���$@B@���C
��$���$�$�;
�� �*����&���
2��$���$�$�;�� �*�1���&��K
������������� �;L���� ���/���$$*@���M
1���&���
����������;������������&������$$*@���
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
1���������E�&$���
1�������3�&�
����� �
1���E��$��������
�����������*
��G�������!&�����
��������*@!�����
1���&��9��$�9���*$�$�;
�&������G������!&������
2��$����$�$�;��G�������!&�����
'�*����
1����������
$�$�;��������G������!&�����
$�$�;�N�E���G�����
��!&������
����������;��������������
�������
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
��&$���������������� �@ N�������
N������� ���������������� �����������������������(�����������&���&&��� ���9��������������� �� ��������!������G������!*�&��*��$$�������(
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
��&$���������������� �@ �����
��������*@!����������
��!���$���@!����������
������� ���������
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
���������������������� �@ �������&����
���������;� �����������&�������������������
� �� ���;������������� �� ��������������� �������9����!�������������� �����������������������(���*�!��������+�4��� �(�
�$������;� �$��������������&����$���������
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
���������������������� ��@ �����&���
�������;� �����������������������������&����������������������!����9��$����������9��&����&���� ��9���E����������((�
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
1&$��E�������������� �, $��������������
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
1�������
� -������. ��������������+�4�@ &������!��+����������*$��������
� ������*$��1�������#��7$�����:
� "�*������ ��������� ��$��#��@ &����$�������������&����$������4�9�+����&�4������*$��@ ��$�(
� 1��������������;
� �����
� ��������������������������$������$������
� 1��������������������������%����������������� ���
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
��������$�
������������������������������+�� ���&�������&���������������&�����4�
� ��$�����!�������*����������$�������*�������
� ��$�����!��������������!�����������+��������� ����������*$��7����@�*$��$�$�:
� 7���!��!��������*��������������� ��@�*$�:(
� ��&&��������$�$�������������������&�@@ ������9���� ����*$�9���&�@���������������7�������+���������������&����������:
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
������������������������ �������������
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
������������������ ����������������
� �����
������������������������������� ������������ ���� ���������� !����!�������� ��������� !"��
�������������#� #�� �$%����������������������#���������� !"
��� ����� ������������&����' ��������� !(&���)�������'���� ������#������������##����������������$%�������)"�
����� ������� ��� �������*������������������ ����#��������������������� #��+%%�%%%�+��������������������,����������������������������&������#��������������+����������-"
Event-Id Time-Stamp Quote Volume
E1 9:00 33.23
E2 9:10 33.04 320,000
E3 9:20 33.11 280,000
E4 9:30 33.01 400,000
E5 9:40 32.90 315,000
E6 9:50 33.04 320,000
E7 10:00 33.20 303,000
E8 10:10 33.33 219,000
E9 10:20 33.11 301,000
E10 10:40 33.00 210,000
E11 10:50 32.78 400,000
E12 11:00 32.70 176,000
�How many times the trade programming is triggered ;
�Which arguments are used in each triggering?
"�*�������� �$����������������������*#���������+���������������$�������&�����
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
��1��������� ��,������������
� ��������������������@��G���������!�*@��G�����������&��������������*$�9��������$����������&�������&�
� ����$������ �����+�����������������&�������� ����&����� �$�����1������������������$�������!�*@��G�������������@
��G�������������;� ����������7��������&����� :���� ���� ���&������� �������������� �����
+����&�E�&�&��������������������� 7��������&����� �����������:���������� +����������*�����&����� ���������� �������������� ������ 3�����������������������!��4�$��, ������������������&$�����9������@ ��G����������&����������� �������������9�������������������������� ����������������������&��&�E�&��@���������������������&�����������(���3��;������&���&�*���������������G��������������&�������9���������$$���������������������� �������G����9�����������&������G�����������������������&���������������G����(�������&���&�*��������������G�����!������������������������(
� ����&����� ������������;
�����������������4���+�������������4@������������!�*�� ����!�*���������4���+�������������4@������������������ ����!�*��0��&�E�&��@$����I�����������0��&���&��@$��� ����!�*��0��G������*�I6�������0��G������*( ���������������������@���������;�����!�*���������������������������&����
����!*������(
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
��&���������� ��������
�. ������$��/����������������#� ���������� ���0�. �������1��2�����������������������#���0�. �������+��/�����#� �#���������#���� �#�����0
�. ������3��/����������������4 ��������� �������0�. ������5"��/����&��������������#���� �������������������� �0
�. ������6�������� �����#�������( �����#0�. ������7����������������#�����������0
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
����������������;�
1���E��
��$����������
���������*$���
���������
��&���������� �$������
���������������
�����������������������$������E����� ���� �� ��, ������������� �����$����&���@��� �� �����$��������������*
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
�E�&$��
� 1���E�
� ��$���������
� ���������*$�
� ���������
� ��&���������� �$�����
� ���������������
����� �����!�"�#��$���%
��$������$��!�&$���
����!� �����'��(�(
��(�)�$����) ����*�+�#*�)�$����) �����'��(�(*�,�-*
�$��������$����+��.�$�/����(���
�������.�������$�����$����!����������$�����+����$�������������$�����+� �$��0 -����!��$�%��$����)�������.�������$��:
��������&�������������� ��G������+�������������������������&���$����������������
�+���G�����������!�����������9�����*��&&�������*��������-����$$*����&���������.�����������������-����$$*. ���������������������&���������������*���
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
1���E��, +�����������&����#
�������������������&����������������������&�����+��������������!�����������
�������+����,����&����������$�����������1������+;�������������
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
1���E��, ���� �&����� ��
"���#
"����#
"���������#
"�#
��&�����������������������!*;�<�����9��49���������&������=��������&�������!*;�<�����9��49���������&������9��������������������=�, ������������&����$������������7�( (���������������9�$�������49�&����$���������=
�$��������&������O��!��������
��������*���������������������������������&��������$�����������������E�
������������$$����+�����&�������������������
�E�&$���;�LP;����9��� �*@���&��@�����M9�L�� �*@���&��@�����9�J'����M9�L��G�����, ������9���G����M��
�������!������ ��9��������*9�+������'F����&������7 �����5����������:
1����������&��9�����&���J�����9����� ������Q
�������A�&9����������9������������4��
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
1���E�������$�$�����
� "������$$����+���������E�����$��9���������$���� ����������������&�����E���������������� ����7�( (������������������� �*@���&��@���������������&�����&��:�#
� ����!���$�����;
� ��������������E���������
� � ����������+���
� �+������������+����, +������+���������4�� �-���E�����&������. $�������(
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
��$���������
���������������� ���
��$����������������+�� ���$�$��
7�����&��������&�@�������$�$�:(�
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
���������*$��
� �����������2�������� ���������2�������� ��&�������� 1���E�����&������� ���������2�������
�������������������$����������4�����&�������������������� �� ���, ���&�*����!��&$����9�!������������������������������������&��������������������������
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
�����������2�������
�3��7�'9((9��:
2��7�'9((9��:
�������������������+���������������������������������<�'9((9��=����
�������������������+�����������������������������*���<�'9((9��=����
3��������������&��������������E��9��������������������������!*�$������
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
���������2�������
1����7<�'9((9��=9�����9���������9�L<+'9Q9+�=:
<&��9�&�E9������ �=�7�9�����9�����9����������:
������������������������������3��������������9������������$������*��+�� ������������+�� ����������$$����(�����$������������������+���������������������������������� 7�����*��������;�<�G9���9� �9� �9���9���=:��+�������� �������������
�������������������+��������� �� �������������������� �����!�������������������������������� +�������� �������������
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
��&��������@ ��&$���
��G������7�'9Q9��:
������7�9�����9������@�*$�:
����������������������������������������'9((�����������������������������
���������������������+����������&����������������!*���4�� ����������!�������� ���������
3����������&$����$������������&�����������9����������&�*�!�������������������&�������������&��7����$�����:�
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
��&��������@ �$������O��$���@��&$���
���������7�'9���9��������9�L�������M:
���� �7�9��������:
����������������������������������������'9���+����������������������$������*���������������������6�<39��9�"9��9�3�9�3"9���9��"=
���������������������+��������������������!�����������&��&����������������������, ��&�E��(�
������������*���&$��������$�����������$���@��&$����$�������(�
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
1���E�����&������
�!������7�'9Q9��:
3�@��������7�'9Q9��:
������������������������������������������'9((�������������+�������������E�
���������������������+�����������������7�����:���������������7�E����:���������������E����������������$��������7$�����������&������*���������$������:��
1���E��&�*�!�����&�������+���������������&�����������������
N����O�E������7�:
���������������������+�����������������������������������<�'9Q9��=�������������!������������!*���*�$������
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
�����������������
"�������������������������������������������������� �����&����&$��
� �����0��$������;
� �����
� �����
� 2�����$�
� ������
� �����
� N�������
� �G���
7�����������������:(
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
���������
� $�������������� ���������������������� �-������. $�����������&$���������$������
��������1�������������$��������������������������!�������&�&����$����������*$��9��( (��
�����@��G����(������I����*@��G����(������
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
��&���������� ��������7�:
�������*��*&�����*
��������, ����������������������$��������9����*��*&������������
����� �������������������G����;��N�����L�!�����M�@ ����������������������7����� ������������&�: ����L�!�����M@ @���������������������L�������M ����@ ���������������������
����� ���������E$������; �� ����7�����!���@�����: �&��������7�����!���@�����:
�!������66���4�������������O������!�����9�����+����, �����O������������������������$�������
2�����$��*
2������@��&�;���G��������$$����������������������@��&�;����&����&$��������*��������*���&��
��������!�����������5�!���$��*�
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
1���������*�$��*��� ���, �����������$������E�F�������@ �$���F����������$������E�/���&�����, ����$���!������������$������E��L�������M�
2�������@ ���������������9����!����@�����������������E��������2�1���&��, L�������M��������������������-���&��. ���������!����@�������2�������3���&���@ �������������������!����@��������3���&��9�+�����3����!�����������
���E$������������(
�������&�*�!�����������, �(�(�����������������������������������$�����
1���&$����$��*
��&���������� ��������7��:
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
����������&��
�&&�������, +����$����������������������������, ������E�����&������
� �������
� �����������E�����&���������*� �����������������������7����������������������!����&$�����:� ���������
���������������������
��&���������� ��������7���:
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
���������������
� ������������$��������������&$������������+������������������������������������������$�����$������������������(���E�&$��;����G�����7�'9���:�&�*���������������&$�����������<�'B9���)=�
� ��������������$�����������������&����������������������������������&$����������
� �&���������*$��;
� �E����������������, ���������������������������*�����&�������&�����&$�����������, ����������� ���� �
� 1���E�����������, ���������������������*��������E������, �������$�����$���� �������
� 1����;������������&$����������
� 2�����&��������������������������������� ����������������� �&�������� ��$���!*� ��$�� ��������
� ��������������������������� ��$���!*� ��$�� ��������(�
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
������������������&����� ��E�&$���7�:
� 1���E�
� 1���E�������$�$�����
� ��$���������
� ���������*$�
� ���������
"���� 6�L�����@�����9������@���M�>�+��6����&
������+
��*@��G����9�����@��G����
�3�
7��E@�����H�6����@����:�����7��*��@���4�� @����������I�6���*��@���4�� :�����7������@���4�� @����������I6�������@���4�� :�����77��������@���������:���*��@ ������������!*�
������@ ����:�
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
������������������&����� ��E�&$���7��:
� ��&���������� �$�����
� ���������������
�*��*&�;�N�����7����@��G����:9��N����� �� ����71����&��@��*@��G����(���E@����:�
2����;�������@��&�1���������*;�����&����1���&$���;����&�����������&��;���������1�������������;�����������
� �����7�������&���:� ��������������������������
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
��������� ���&���������� ��������
�. ������$��/����������������#� ���������� ���0�������
�. �������1��2�����������������������#���0� �������������������� ��
�. �������+��/�����#� �#���������#���� �#�����0��.����������#�����
�. ������3��/����������������4 ��������� �������0����#������ �����
�. ������5"��/����&��������������#���� �������������������� �0�2 ��� �������
�. ������6�������� �����#�������( �����#0�����������������
�. ������7����������������#�����������02 ��� �������
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
������������������������ ��������
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
�����������$$�����������������������
�����������@��������$����
�����������������&$�����
������������� � �� �� ��7�( (�����������:
����������� ����������������������&�@��������$����
����������� ������������������
�������������������
��� ��
������������ ��
���������� ��
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
�E�&$������$�������������
� N������$������� ��&$���������$������� �����@��������$������� ���@��������������$������
�������������� �������
� �����������������
��� ���������
���������
����� ���� ��
����� �� �
����� ������ �
������������
��� �
������� ���
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
N�������������
Ignore Orders for
Customer John Galt
1���;
�����
N�&�4�*+�����
���
��������&
����������
1��������E�
�����!������&���������������
���������
8�����
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
��&$���������$������
sales
When recent
Untypically High
Salt
of ice-scrapers
is
Raise Price
of
1���;
�����N�&�4�*+����� ���
��������&����������
1��������E�
3�&�������
���������8�����
�
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
��������������$������
More than OrdersWhen
Wait for service With the same
15
agent
Assign help to agent
1���;
�����N�&�4�*+����� ���
��������&�����O�����*�����
1��������E�
�����!������&���������������
���������8�����
3�&�������
1������������
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
����2���������������������
More than Stock
quotes
When
from the list
50%
BMC, EMC, CA,
HP, CHKP
Apply program
trade
is up by
with
symbol
value
1% Within
the last
30 minutes
70
1���;
�����N�&�4�*+����� ���
��������&����������
1��������E�
�����!������&���������������
���������8�����
3�&�������
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
���� � ������!�������� ��������������
��������
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
���+������ ������� �$�������
� �������*�, &!������������&$���������!����$��������!�������$������
� /������������$�������������� �������
��
IBM Haifa Research Lab – Event Processing
IBM Haifa Research Lab – Event Processing © 2008 IBM Corporation
����+�*����������������&&����*7�����&�9�!����$��������������������:
A��������
� ��������
����� �����