an integrated framework for interactive multimedia

2
An Integrated Framework for Interactive Multimedia Presentations in Distributed Multimedia Systems Ramazan Savas ¸ Ayg¨ un Department of Computer Science and Engineering State University of New York at Buffalo [email protected] Advisor: Aidong Zhang ABSTRACT 1. INTRODUCTION 2. MULTIMEDIA SYNCHRONIZATION 3. VIDEO PROCESSING

Upload: others

Post on 18-Dec-2021

4 views

Category:

Documents


0 download

TRANSCRIPT

An Integrated Framework for Interactive MultimediaPresentations in Distributed Multimedia Systems �

Ramazan Savas AygunDepartment of Computer Science and Engineering

State University of New York at Buffalo

[email protected]: Aidong Zhang

ABSTRACT������������ ������������������������� �!�#"$#���� ����%&������ ��!��"'�$���(������)������*�������!�� +"',!"'�#�-��.������#"�"',!����/��%0����1� 2���%0�3%�45������� 6"'�$�� 0��"#7�!�#���%���#"$"$����89������� :4;%0�3�#%&���#���$*<(= �"$��>���$���#�0 0�? 0�=�>��%�@A*(� 0���!@5���!�/?�$�� ���"$����"$"$��%&�B%2��C�D����E@�%0�FG7H ��=����"$��D�������$4I 0�#A4;%0��������� ��������8J�?�����������!�K L���#"$#���� 2���%0��"#MON /�P�G%�@ ��Q%04�"',��!*��/��%0����1� 2���%0�R��%H�����"���"A�������������%��/�S"',!����/��%&����1� ����%&�+"$�G#�#��*T �� ����%0��"U ��=�V��"$C�W�������� 0�C���%0��"#M�XY����%0�G%&"$� 0�Z#����H�$*<(� 0"$��"',!���C/!�%&����1� 2���%&�[��%H����\�/� ��]�� 0�[/� 0������B������*<(= 0"$#�Y 0�����%0��"@5/������#�� 0(�������8)��"$��\���H�C�� 0�����%&��"�����F�A(= ��CF�@ ����� 0���?"$FH���^M`_�%��Cab#�������Q�$�� ���"$����"$"$��%&�J%04U���������������� Z�� 2�� !7D�/�Q���������������� �� ��� R��#���")�%V(G��!�#���%��#�"$"$��cMRN /�6"$������68&#����� ����%0�d 0�=���%2�H����8�%&(He'����" "$#80��#���� ����%&�f�� 0�����!���#5�/�5��.���������(� 0�=�H*@5���H�/g"$��80��� T �� ������,�MhXYP���%0�G%&"$L J����/�%H�:4I%��V�?���������"$%0*���!���%0�["$������B@5/�����/3@5����� 0����%�@O�#�!�%H���������%&�Y%�4A�/���H����#%V 2��!��ab��#���?�#"$%0�������%&��"#MdN /�f%&(He'#�C��"$#8&����H�� 2���%&�[@5�����5(Gf�iH*�$�� ������)(�,W80#��C�� ������8� �#��%&"$#��(G%0������ ��$,�4I%��j�/�\%0(!eE#����M\kH�����#�/�6�!���!#%V�� 2�� R�6 #,Y ���"$%Z�i!��"'�����Y R�#%&���!�#"$"$��34I%���6 ���7l@� ���"$%L�!�%&�G%&"$f�%Z�iH�$�� 0�������@h4I� 2����#"�4;�%&�m�/�6�#%0�����#"$"$���H�����%�M�XY]@5�����`�#%0��"$���������%&������"$"$��L�� ��� ��/= 2�)��"U8&#����� ��#�(�,)nW��"$�C���Ao�%0"$����AN^�� ���"'4I%���Opqn�o N5rb@5/����C/]/= �"j(G#�����"$��)���sRt\uDv *�w07 sRt\uDv *'x�7 sRt\u�v *<y+z {2|l ��=�6})x�~&�!M�w0M�N /�U��"$C� @5�����(GA�!�%2�!���!��? W/���8&/�*<��#�������"$��\�������$4I 0�#A�%) ��#�##"$"\�/� ��%&���#���"%�4`�/�)����"$#���� ����%&�cM XY)@5�����j�#"'���/���"5�����#8��� ����Q4K�� 0���@�%0�F%0�V����"'�� ����#)��!���� 2���%&�R�!�%�eE#���S%��&��A�/�U������������M

1. INTRODUCTION���]�/���"`��%����%��� 0�H�/�#"$��"#7&@�5 0�����%W 0��/���#����/�D4;%&����%2@5����8]80%� ���"#�

� �%]���%2�H�K�!U �"',!����/��%&����1� ����%&�f��%H�����@5/�����/f@5�����c���i!��(���,"$�����G%0�$�Q�������� ��������P�?�����������!�K Y�!�#"$#���� ����%0��"R���g����"'*�$���(��!���+���������������� �"',�"'����"#7

� �%: 0��/���#��Y�W�= 0�����E,�%046kH���H���#�p<�W%�k�r6��.���������#���"Q(�,�������%��##"$"$����8U�?�����������!�� ��� ��� 5@5/����C/]�����#������#"l�/��8&���*

� N /���"A�#"$� ����/R��"�"$�����G%��$���+(�,6�Uk�_Y80�� ����S�$�'kH*������&�&�0�&�HM

��� ����%&��%�4!�/�`(= 0��FH80�%0���=�) ��=�W�/�\Ci!�$�� ������%&��%04!��%2�H����8%&(He'#���"#7

� �%)���%2�H�K�!� �/���8&/�*<��#�������"$C���������$4q ��#54I%0���#%&���#���$*<(= �"$�� 0�#�#�"$"S%�4��?�����������!�� ?�� 2�� !M

2. MULTIMEDIA SYNCHRONIZATIONN /�C�]/� 0"5(G##�Q�6 0��,f��%H��#��"5���%0�G%&"$��+4;%0�S�?�����������!�� ����C*"$#���� ����%0��"]z �H7b��7=y0|�M�N /�)�6 �e'%��W�H�� #@5(= 0��Ff%04��/��"$)��%H��#��"5��"�/���� 0��F�%04j"$�����G%��$��4;%0�A�So�����"$C�A���H�C�� 0�����%&��"A����F&W(= ��CF�@ ���� 0���L"$FH���L@5/�����/Y 2����#��#"$" ��$,Z4I%��� 0���������# ����%&��"�����F���!��"'�� ����#��!���� 2���%0�R%2����5����E@�%0�F+ 0�=�f"$�G%0�$�"� 0���������� ����%0��"#M�N /���"S%����8&��*�= 2�#"l4;�%0���/� ���!4I%0��6 2���%&��@5/����C/���"`"$�G#��� T ��]4;%0�`�/�\4I%��$@A ��������"$#���� ����%&�f(�,B�/�S��"$��A(�,�"'�� 2�����8��/�����K 2���%&��"$/�����"� 0��%0��8"'�$�� ���"+ �"+����z�wC|<M�XYV���%0�G%&"$V�%Y/� 0�=�!��V"',����C/!�%&����1# ����%&���.������#����H�"S(�,3��0�=���H�$���������0�q�����J���!���C�5@5/����C/P 2�B�#%&���G%0"$��%04�#�&#���"#7`�#%&���������%&��"? 0���[ 0�����%&��"B����F� u o � �����#"#MZX36@5����� 0��"$%f�#%&��"$������S/�%�@�"',!���C/!�%&����1� 2���%&�R�����#"W ���8&������ 2���R4;�%&�k s �E¡Y�i!���#"$"$��%0��"#M u 0��/V"',����C/!�%&����1# ����%&�V��������"S"$��������] ��=����\��"`� �"$����D�%U����!���#A���@d�����#"�4;�%0���/�#"$ ������"`4;%0�\�/� (� 0��F�*@A 2�����!�#"$#���� ����%&�cM`�[�������������4I%��D���#���"� 0���� ������%&��"\/� ���D�%(G�80#��C�� ����)�%S/� 0���������"$����������� 0�����%0��"l����F��"$FH���� 0�=�)��/= ���8&�����#�C���%0�^M�¢W������%H��#��z ~2|b��"5 ��+���#���$*<(= 0"$#�6��%H�!#��@5/�����/f�� 0� 0��"$%]/= ��=����5������*<(= 0"$#�B%&�G��� 2���%0��"#M`�<� /= �"Sw�r`�#�#����&��"D�%]��C*�#����#�&#���"#7Gx0rA��%&���$�%&������"S�%?�C/�#�CFf�#%0�=�������%&��"� 0�=�Q��r5 0���%��"�%QCi���#���� ������%&��"#Mf�£80#����� ��D�� #,�%0����%04��/�B�#%0���G%&��#���"U%04�/�W"',����C/!�%&����1# ����%&�R��%H�!#�c��"��!#���������f���V_l��8&���Bw0M

3. VIDEO PROCESSING��45�/�Q�� ��� P ��+�$�� ���"$�����$���Y%2����?�����@ %��Fb7`�/�+(� 0��F!8��%&���=�8&������ 2���%0�¤ 0���g�/�[Ci!�$�� ������%&��%�4���%2�H����8¥%0(!eE#���"P�� 0���C*�����#L�/�3 ���%&���H�Q%04?�� 2�� d�%:(GP�$�� ���"$�����$����"$��8&��� T �� 0�����,�M��4\�/������������������ ��� 2�� + 2�?�#%0�����#"$"$#�c7G4I# ������"W@5/�����/Z@5������������ 0"$��/�6 0��%&������%045���%���#"$"$����8Z��##�L�%R(Gf����C���������cMs %&"'�f%�4U�/�R�!�#�H��%&��"6�H����#%L"'�$�� 0��"6 2�V�#%&���!�#"$"$��J��"$����8nU��"$�����?o�%&"$����BN^�� ���"'4I%���¦pqn�o N5rCMcN /���0 0����]%�4\n�og�#%�C§B*�#��#����7H�/�S�!���?(G��D%04j��%0��*<1#��%���o:�#%��§�������H�"5 ��=���/�����=��Ci%04��/�) 0(�"$%&�������0 0����W%04��/�W/���8&/�#"'�S�So��#%�C§��#��#���S ���8&%�%H�4I# ������"?�%Z�#%&���� ����E@�%P(���%��CFH"#M3N /�f"$���¨%04��/�f 0(�"$%&������0 0����#"5%�4l�/�U/���8&/��"'�W��o��#%��§B�#��#���"S���=�!���� ��#"A�/�U�i!��"'�#���#%04) L(G%&���=�� ��$,d���:�/�Q(���%���FGM�N /�Q/���8&/�#"'�6�#%��§�������H�"f ���"$%���=�!���# ��U�/�U��,!�GU%04��/�U(G%&���=�� 2�$,f����F��pq�&��$����� 0�q7=/�%0���1#%0�H�� ��Kr@5/�����/� ��A"'������H�$���A 24;���D�� 0��C�� S%&�GC�� ����%&��"D����F�A�= ���������8U ��=�����������8�M

N /�)(� 0��FH80�%&���=�f8&#����� ����%&�V�# 0�R(G)�G��$4;%0�����f(�,+������"'�������8%04S"$�������K 2��(���%���FH"B ��B����ab��#�������H�C��& ���"?%045�/�f�H�K�!#%Z"'�$�� 0�

raygun
Text Box
© ACM 2001. This is the author's version of the work. It is posted here for your personal use. Not for redistribution. The definitive Version of Record was published in MULTIMEDIA '01 Proceedings of the ninth ACM international conference on Multimedia, http://dx.doi.org/10.1145/500141.500209.

Event Source Event

OR

Controller

Controller Receiver

Receiver

Stream

ACTOR

Timer

action

executeaction

Actor

Notification Questioning

RECEIVER

Timer

Receipt

Question

Sending Event

AND

CONTROLLER

EVENT EXPRESSION CONDITION EXPRESSION

direction = FORWARD

and

stream is in PLAY state

activation

������������ ��������������������������� ���!"!���$#%�'&(#%��� ���)��!�#%�*�����'+*�'��,'+�-

z x�|<MDN /�S�#����"'����@5/�����/��#%0�H�� �����" ��%���������#���"\�/� 0�B�/�5%��/�*C�"D��"`�/� �� ��=�!�K�� ��5�#����"'�C�\@5/����C/B��%&���� 0����"`�/�A(���%��CFH"�4I%��D�/�(� 0��FH80�%&���=�bMl��4!�/�D�H�K�!#%�"$%&����� ��" sRtDuDv *<�#%&���!�#"$"$����!���!#%�7�/� t 0�=�/.�(���%���FH"U@5/����C/L�#%&���� ����L��%0���%&�P����4;%0��6 ����%0�Y�� 0�(G5#���������= 2���?(G�4;%0���#����"'�������8�(G#�# 0��"$A�/�#"$5(���%��CFH"\�#%&���� �����/����%2�!����8Q%&(He'����"#MZkH�����#B�/�?�C/� 0��806(G��E@�##�3��%&��"$#.H��#���4K�� 0��#"� ���"$�6 �����7`��4;�� ���#"? 2�]"$�G#�#� T �6��������& ���"� 2�6��"$��L�%80#��C�� ��+�/�+(� 0��FH80�%&���=�bMYN /�+80#����� 2���%&�J%04��/�6"$������R 2��!��ab��#�����#"$%0�������%&��"A��"$����8] �"$������S��,H�� 0�����?@5�����b 0��"$%?(G��#%0��*"$���!����+�%?�����%H�����#U�/�W�!���!#%� ��5�/�W��.��������6�#"$%&�������%0�^M

N /�A�iH�$�� 0�����%0�B%04b��%2�H����8W%0(!eE#���"\�� 0�?(G �G��$4I%������?(�,���"$����8�/��(= 0��FH80�%0���=�+��%H��#�qM�o�%0����%&�Q�� ��$�����"��/� ����i!��"'�W���R�/�%0(!eE#���"S 0���+�/�U(� 0��FH80�%&���=�+ 0"5@ #���l �"5%&(He'#���" 0�"$/= 0��%�@5"W 2���@ %)�6 �e'%����!�%&(���#��"#MlNj%U���!���# �/�A�ab#���\%04b�/�#"$A���%0(���#��"#7�/�����80#"]���L�/��(= ��CFH8��%&�����3 ��=�L�/�����80#"����[ f4;�� 0��6 2���%&���= 2���cM�N /�A��!8&#"\%04G�/�A%&(He'#���D�6 #,�(G �#��%2����](G#�� 0��"$%�4��/�`%��&���� 0��������85%0�^�/�`���80#"j�# 0����%0�j(G��!��#�����U(G��� 0��"$D%�4�/�5"$�������� ������,B%&���/�5���805%04G�/�5%0(!eE#���� 0�=�?�/�A(= ��CFH80�%0�����cM�54;���?��C�#�����%&�Y%�45���80#"#7`��%0���/�%0��%08&���� �� %&�G��� 2���%&��"� ��f ���*������#�f�%��!��#���A�/�W�H����#%�%&(He'#�������3z 1�|<M�N /��"$U��%0���/�%&��%08&���� 0�%0�G��� ����%0��"f��%L��%0�6��%&��"$���!����/�+�#%&���#���"�%04S�/�f4;�� 0��R 0�=��6 #,Q���%H�����#�4q 0��"$?��"$�����"#MU���V%&���W�� 0"$07c@5/�#�V�/�]���80#"U 2�����������= 2����%0�A�# 0����%0��(GW�!��#�����b7�@ 54I%0����%�@9�/�5����4;%0��6 ����%0�%�4^�/�5/���8&/�#"'� 8��� &����#���������/����#��8&/H(G%0������i!#��"D�%��#%0����������/�#��8&�"#MZN /�6��!8&#"]�/= ��]%2������ ��Y@5���/Y�/��(= ��CFH80�%0�����3���80#" 2�W�#��%2����bM\¢W����U �����%0"$��+%0(!eE#���5(G%0���=�� ��$,6��"A���� 2���c7H�/�����"$�K�!)%04��/�W�#8&��%0�V��" T ������f�%B%&(!�� 0���+�/�)%&(He'#����M

�2�������435 �67+ ��789�5�:��;<#���

4. HIGH-LEVEL USER INTERFACEs %0"'�`%04!�/�\��"$��j���H�C�$4q 0��#"l4I%����?�����������!�� ���#"$#���� 2���%0��"l%0����,��%&��"$���!�� �So��5*<��,!�GA��"$��D���H�C�� 0�����%&��"�����F�5���� #,�7��= ���"$� 0���?��*"$����&M��S���������� ����%&��")����F&�����"'�� 0���#B��!���� 2���%&�3��#��Z/���8&/!*<�����#���"$��S�������� ������%&��"S(� 0"$��Q%0�Q�/�)��%&���#���"A%04��/�)���#"$#���� 2���%0�^M¢W��)%04�%0���S 0���������� ����%0��"���"��!��"'�� ����#)#�����# ����%&�R%2��C�S����E@�%0�FGM_l����������8P�%&�����#"����: L���������������� V���#"$��H�� 2���%&�J��"��&��$,d/= 2���cMN /�W���������������� U����"$#���� ����%&�f��" ���#"$��H�#�6����F�W ](G%�%0FB@5/����C//� 0"] f�� �(���B%�4A�#%&���#���"#MBN /�B"'�����#���)�� ��3�H���@h 0��,Z"$#�����%0�%�4j�/�W����"$#���� ����%&�+����F�W �(G%�%0FbM\N /�W��"$��5�� 0�+ 0��"$%B"$C�A(G%�%&F�*

�6 ��FH"����:�/�R����"$#���� ����%&�J�%3�#�H���@ �/�%&"$Q"$#�����%&��"+%�4U�/�����"$#���� ����%&�cMRN /�#"$f ���"$%&���%�4A�/�?�# 0"$%&��"]@5/�,P�/��"',!��*��/��%&����1� ����%&�+��%H��#�G/� 0" �%�"$�����G%��$�A"$FH���Q ��=�6(= 0��F�@A 2���64;�����C*���%&�� 0��������"#M ��"$�8&��#���A%�4��/�U��"$��5���H�C�$4q 0��]��"5"$/�%�@5�R���Q_l��8�*���]x�M

5. EXPECTED RESULTS AND FUTURE WORKN /�5�!�%&�G%&"$#�6"',!���C/!�%&����1� 2���%&����%H��������!�%2�!���!#"\���i!��(���������,B���"',!����/��%0����1� ����%0��"$�G#�#� T �� 2���%&�g 0����#�= �(���#"f�������� ��������Z�?����*���������� ¥�!�#"$#���� ����%0��"3��� �!��"'�$���(����������������������� J"',�"'����"#MN /�S8&#����� ����%0�Q%04^�/�S(= 0��FH80�%0���=�6 ��=�B�/�S�iH�$�� 0�����%&�f%04^�/���%2�H����86%&(He'#���"U@5�����\/�#���V�/�? 0���������# ����%&��"U�/= ��W��.������?��%�@A*(= ��=�H@5�K�H�/¥�!�%��H����V��%��Q�#���� 0(���Z�!�#"$#���� ����%&��"#M>X3R@A ��H��%Q�����#8��� ��B�/��"',!����/��%&����1� ����%&�3��%H������&7b�/�B8&#����� ����%0�Y%04�/�W"$������� 0���f�/�W�iH�$�� 0�����%&�+%04���%2�H����8�%&(He'#���"A@5���/V ?/���8&/��#��#�G��"$�� �������$4I 0�#�4I%0���!��"'�� 0����S��!���� 2���%&�+ 0���������# ����%&�6@5/���"'��=�!#���"A�� 0�Z ��#�##"$"��?���������#���� ��!�#"$#���� ����%&��"S����F�� ��#�##"$"$����8(G%�%&FH"#MgXYR@5�����W�#"'�6�/�V�����#8��� ����¥"',!"'�#� 4K�%&� ����ab����H���%��� ����%0��"W��� u �!�%&�G� 0���f@5���/�����=S�������QkH�� ���"#M

6. REFERENCESz�w�|]N /�U��@5�j"$�����b�= �8&&M /��$��^� >?>2@A@A@)M ��@5�qM ����>�"$�����qMz x2|���M�kbM���,!8&���Q ��=�Q��M�@G/= ���8!MGk��� ����%&�� ��$,$. 0��FH80�%&���=�

v #����� ����%0�R��� sRtDuDv �#%&���!�#"$"$��Q�S����#%6kH�.���#���##"#M!�E�A �����C�C�=�0�q���0�=�&�CB\�0� D��C��C�=���?�0��EZ�!� �q�"F6�HG0�q�JILK9M!�ON<�<��9M�M�����QP�7GN^%&F�,�%�7%R� ��= 0�c7G����8&��"'�Sx0�0�!w&M

z ��|�.SM%. ������,�7�R�MTS)%&��"'�� ��^7��]M�o�%�%0��C,�7G 0��� s M�nUEe'%0��8!M�S"',����S*� ��%�%&��FH���54I%0��(�������������8B�������� ��������)�?�����������!�� �!�#"$#���� ����%&��"#M����OU �$������HG0�I��V0���WDYX�B�EZEZ�!� �q�"F��[G����07�� 08&�"Wx?1&� \!x0~0~!7^kH#���#��(G��Uw#�&�&{HM

z y0|���M�}S���6 0�c7!��M�o�%0�$�#���� H7Gn?M��]M!nU����&7�n�M%R!M=nU��F�&7 v M�R!M���,!��%0�K�!"#7� 0�=�7R�M=�]M�¡^%�%�M=�>"'�� ��=�� 2���Q��%H����b4;%0����������������� �"',����C/!�%&����1# ����%&�c� t �#��%�"',����C/!�%&����1# ����%&�%0(!eE#���"#M5EV��� �q��F6�HG0���B��0����9F���7=~�p<x0rC� {0{\�w��!w07`w��&�0{!M

z 12|�oSMTS)��� 0�=�7R�M *<��M�}S@A ���8!M=���Q�����#80�� 2���Q"$��/�#��W4;%0�%0(!eE#���$*<(= �"$��Q�H����#%� �(�"'�$�� ������%&�^M��E�OX�B�EZ7��= 080#"�0�&�\��!w0w&7c¢W���%0(G��Wx0�0�&�!M

z ~�|���M�kbM���,!8&���Q ��=�Q��M�@G/= ���8!M����H�C�� 0�������U���������������� �!�#"$#���� ����%&�+�6 0�� 08&���#���5���Q����"'�$���(��!���+���������������� "',!"'�#��"#M!�E��UA�'���]\�QD A ���^]<B\�0� D*]l�0� A �*D#���9FB�0�q���0�_ �$���H�=�&���[V0�a`JB\�*G0�I��Vf�0��GOB\�?FYM=�H�q�I��V07�¡j �"��\#8& 0"#7�S#�& 0�� H7���������^x0�0�!w&M

z �2|�R�M=k!��/���#��4�7TR�M�S)%0��"'�� 0�c7� 0�=�+n?M!nU�^M�_�¡^� t kG��_l���i!��(������H�C�� 0������# t �#"$#���� 2���%0�PkH,!����/��%0����1� 2���%0�^M A ICILIb ����������HGcX���$�0�]�WDcB\�?FJF?�H������0�q�q�0��7cw#y�p'w2rC��w&w�yd\=w�x�1�7\w#�&�0~!M

z {�|]NWM=k!��F�%��� !M�N /�)���G#8�*�y��H�K�!#%B"'�� ��=�� 2���+��C�� T �� ����%0���%H�!#�qM A ILILI _ �$�����:]eB��;�$���H�I�q� b �0��^]�fc�gG��$� _ �$���H�=�&���[V0�07����w#�\��!w&7G_�#(���� ��$,Zw��0����M