robust sound localization using multi-source audiovisual information fusion

15
Robust sound localization using multi-source audiovisual information fusion Parham Aarabi a, * , Safwat Zaky b a Department of Electrical Engineering, Stanford University, Gates 4B Room 464, Department of Computer Science, Stanford, CA 94305, USA b Department of Electrical and Computer Engineering, University of Toronto, 10 Kings College Road, Toronto, Ont., Canada M5S 3G4 Received 5 February 2001; received in revised form 26 April 2001; accepted 1 May 2001 Abstract This paper illustrates the synergic advantages of a multi-modal sound localization system utilizing two cameras and a 3-element microphone array. The two cameras were used as part of a stereo feature-detection based visual object localization system, while the microphones were combined to produce a sound localization system incorporating a temporal power fusion TPF) algorithm. The cameras and microphones were integrated using spatial likelihood functions SLFs), which greatly simpli®es the integration process. Test results show a signi®cant improvement in the integrated vision and sound localization IVSL) system's ability over that of the stand-alone microphone-array based sound localization system to accurately localize sound sources in low signal to noise situations. The IVSL system maintained an average error of 15 cm at signal-to-noise ratios as low as 0.5 dB. Ó 2001 Elsevier Science B.V. All rights reserved. Keywords: Microphone arrays; Vision; Sound localization; Multi-sense multi-source information fusion; Data integration 1. Introduction Many object localization systems have been reported that rely on a speci®c type of sense such as sound lo- calization or vision. While some of these systems have been relatively successful, they lack the robustness and accuracy that is necessary in many applications. Bio- logical systems, such as human sensory systems, can robustly and accurately localize objects even in the presence of signi®cant amounts of noise. One of the reasons behind this ability is the fact that they rely on the integration of several dierent senses instead of just a single sense. Sense integration is eective because it allows the perception system to be applicable in a greater number of situations than would be possible with a single sense alone. Also, a given source of noise is likely to aect only one of the senses. For example, a vision system is unaected by background sound sources in the environment, just as a sound localization system is unaected by rapidly varying room lighting. Many previous arti®cial awareness systems have at- tempted to integrate multiple senses [1±5,21,23]. How- ever, most of these implementations process each sense separately and integrate the overall results in the ®nal step. Such an approach may lead to a loss of informa- tion that could have been available if the sensors were processed interdependently. The system described in [6] uses an array of eight microphones to initially locate a speaker and then to steer a camera towards the sound source. The camera does not participate in the local- ization of objects. It is used simply to take images of the sound source after it has been localized. Since the system was not tested in situations with low SNR, its perfor- mance characteristics in those situations is unknown. One problem with integrating sound localization and vision is the lack of prior work to be used for compar- ison. Hence, most of the comparison is made with pre- vious sound localization systems employing just the acoustic modality [5,6,13±15]. While much work has been done with robotic sensory systems and robot navigation [21±23], this work is mainly aimed toward environmental awareness situations with static sensors. The sound localization approach proposed in this paper is based on integrating the information obtained from a vision system and a sound localization system. During analysis, the system makes use of all the Information Fusion 2 2001) 209±223 www.elsevier.com/locate/inus * Corresponding author. Tel.: +1-650-723-6690; fax: +1-650-725- 4671. E-mail addresses: [email protected] P. Aarabi), safwat@ eecg.toronto.edu S. Zaky). 1566-2535/01/$ - see front matter Ó 2001 Elsevier Science B.V. All rights reserved. PII: S 1 5 6 6 - 2 5 3 5 0 1 ) 0 0 0 3 5 - 5

Upload: parham-aarabi

Post on 06-Jul-2016

212 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Robust sound localization using multi-source audiovisual information fusion

������ ����� ��� ����� ����� ���������� ��������������������� ������

������ ������ ���� ������ ���� �

� ���������� ��� ��� �� ������������ ������ ����������� ����� �� �� ���� ���������� ������� � ��� �� ������� �� �� !"� ���� ���������� ��� ��� �� ��� ������� ������������ ���������� #���� $! %���� ������ ���� #���� &��'� ������ ("� ��

������� � ������� !""#$ ������� �� ������� ���� !% �&�� !""#$ ��&��� # '�� !""#

��������

(��� &�&�� ��������� ��� ������� ���������� �� � ��������� ����� ��� ����� ������ ���� ��� ��� ������ ��� � )�������

����&���� �����* (�� ��� ������ ���� ���� �� &��� �� � ������ ���������������� ����� ����� ��+�� ��� ����� ������� ���� ���

����&����� ���� ������� �� &����� � ����� ��� ����� ������ ����&������� � ���&��� &���� ������ ,(� - ��������* (��

������ ��� ����&����� ���� ���������� ����� �&���� �������� �������� ,�. �-� ���� ������ ���&�/�� ��� ����������� &�����*

(��� ������ ���� � �����/��� ��&�������� �� ��� ���������� ������ ��� ����� ��� ����� ,01�.- ������2� ������ ���� ���� �� ���

���������� ����&���������� ����� ����� ��� ����� ������ �� ������� ��� � ����� ������ �� �� ����� �� ����� ����������*

(�� 01�. ������ ���������� �� ������� ����� �� #� � �� �������������� ������ �� �� �� "*� �3* � !""# 4������ ����� 3*1* �

������ ��������*

%��)���* '���&���� ������$ 1�����$ ����� ��� �����$ '��������� ���������� ����������� ������$ 5��� �����������

� ���� ������

'��� ��+�� ��� ����� ������� ���� ���� ��&��������� ��� �� � �&��/ ��&� �� ����� ��� �� ����� ���� ����� �� ������* 6��� ���� �� ����� ������� �������� �������� �������� ���� �� ��� ���������� �������� ���� �� �������� �� ���� �&&�������* 3������� �������� ��� �� ����� ������� �������� ��������� ��� ������� ��� � ��+��� ���� �� ���&������ �� �����/��� ������� �� �����* 7�� �� ���������� ������ ���� ������ �� ��� ��� ���� ���� ��� ����� ����������� �� ������ ��8����� ������ ������� �� +���� ����� �����* ����� ����������� �� �8����� ������ ������ ��� &���&���� ������ �� �� �&&���� �� �������� ������ �� ���������� ���� ���� �� &���������� � ����� ����� ����* ���� � ����� ����� �� ����� ������ �� �8�� ��� ��� �� ��� ������* �� �9��&�� ������� ������ �� ���8���� �� ��������� ����� �������� ��� ������������ +��� �� � ����� ��� ����� ������ �����8���� �� ��&��� ������� ���� �������*

'��� &������� ����/�� ��������� ������� ���� ������&��� �� ��������� ����&� ������ :#;��!#�!)<* =�������� ���� �� ����� ��&����������� &����� ��� �������&������ ��� ��������� ��� ����� ������ �� ��� /�����&* ��� �� �&&���� ��� ��� �� � ��� �� ������������ ���� ��� ���� ���� ������� �� ��� ������� ����&������� �������&�������* (�� ������ �������� �� :%<���� �� ����� �� ����� ����&����� �� ������� ���� ��&����� ��� ���� �� ����� � ����� ������� ��� ����������* (�� ����� ���� ��� &�����&��� �� ��� ���� ����� �� ��+���* 0� �� ���� ���&� �� ���� ������ �� �������� ����� ����� �� ��� ���� ��� ��* ���� ��� ��������� ��� ������ �� ���������� ���� �� �>�� ��� &���������� ������������ �� ����� ���������� �� �������*7�� &����� ���� ����������� ����� ��� ����� ��������� �� ��� �� �� &���� ���� �� �� ���� ��� ��&�������* =���� ���� �� ��� ��&������ �� ���� ���� &�������� ����� ��� ����� ������� ��&����� +��� ��������� ������� :��%�#);#�<* 6��� ��� ���� ������� ���� ���� ������ ������� ������� ��� ��������������� :!#;!)<� ���� ���� �� ����� ����� ������������������ ��������� ���������� ���� ����� �������*(�� ����� ��� ����� �&&���� &��&���� �� ����

&�&�� �� ����� �� ����������� ��� ����������� ������������ � ������ ������ ��� � ����� ��� ����� ������*5����� �������� ��� ������ ����� ��� �� � ���

0���������� ����� ! ,!""#- !"?;!!)

���*�������*��@����@��8��

�A�����&������ ������* (�*B C#�%�"�D!)�%%?"$ ��9B C#�%�"�D!��

E%D#*

�+���� ���������* &�����F��������*��� ,�* ������-� ������F

���*�������*��� ,�* ����-*

#�%%�!�)�@"#@G � ��� ����� ������ � !""# 4������ ����� 3*1* � ������ ��������*

�00B � # � % % � ! � ) � , " # - " " " ) � � �

Page 2: Robust sound localization using multi-source audiovisual information fusion

����������� �������� �� ���� ��9���� ��������� ����� �&�������� �� ��� �����* 5��� ���� ��� ��� �������� ���� �� ���� � �&���� �������� ������� ,�. -����� �������� ��� &��������� �� � ����� ����� ���������� �� ��� ����� ������ �� ��� �����������* �� ���� ����� ������� ���� ���� �� ����������� �������������� &������� ��� ���� ������ ��� ������ ��� ������*������� ! ��� ) ������� ��� ������ ��� ����� ���� ����� ����������� ���&������* ������ E ������� ������������ ����� ��� ��� ����������� ������ ��������*������ � ��������� ��� �������� ��� ��� ������ ������������� ��� ������ ��� ����� ��� ����� ��������������� �. �*

� ����������� ������ ������������

7�+�� ��� ����� �� �� ������� �� ����� � ����������* �� �9��&�� �� ������ �� ��� ���� ��+����� � ���� �� ����� � ����� ���* ��� ������ ��H������������� ����� � �� ��� ��+��� �� ��� �������������� �� ����� ��&��������� �9&������*������� ����� �&&���� �� ������ ������ :#�D�I<*

������ ������ ������� �� ��� �� ���� &���� �� ����������� ������ ��� ������� �� &����� ��&�� ������������ ����� ��� ��+��� �� ��� �����������* J����������� ������� ������� ����� ������������� �������&������� �� ��� ��H����� �� ����� �� ������ ��&������������� ���� ����� � ���������� ������* ��� ������� ��� ��&������� �� :#<� ����� ��� ������ ���������� ���� � ����������� K���* 6��� �� ��+�� ���&��� �������� �� ��� ����� ��� ������ ���� ������� ���������� �� ��� ���� ��� ���� �� ��� �� /�� ���&������� �� ��� ��+�� ����� �� ��� ������ �� ��� �����������*'���&������� ������ ������� �� ��� �����������

��� &�������� �� ������ �������� �� � ���� ����� �������� &��� �� ��8����� ������� �� �� �����������*(�� H������� �� ��� ������ �� ������ ���� �� �� ����������� �� &����&� ��� �� ��&������ �� ��� H������� ������ �� ����������* 5�8����� �&����� ����� /��� ��������� ��+��� ��� ���� ����� ����&� ����� �� ���������� ��� ���������������� �������� �� ��� ��+��* (����&&���� �� ���� ��&��������� �9&������* 7����������� �������� �� ��� ��+��� ��� ���� ��� ���������������������* (��� ��� ��� �&&���� ���������� �� :I<*7� ��� ����� ����� :D< &��&���� ��� ����������� �� ������� ������� ��� ���� �� ����� ��+���* (��� �� �������������� ������ �� ������ ��� ��H����� ��&��������� ��� �� ������ �� ��&�� ��+�� �������� �������������� �� &������� ��� ����������� ��������� � ����*0� ���� &�&��� � ������ �&&���� �� ���� �� :I< �� ������������� ��� ��+�� ������� �9������� �� ������ ���&��/��� �� �������� ����*(�� ������ ��������� ���� � ���&� ��+�� ������/��

���� �������� ����� �� ��������� ������������ ��

��������� ��� �������� �� �� ��+�� ������� �� ��������2� ����� �� :)!<* (�� /��� ���& �� ���� &����� �������� ������ ��� ������� ��� ������ ��� ��� ����� ����+�� �� ��������� �� ��� �����������* (� �������� �����+�� ,�� ��+���- �� ��� ������ ��� &�9� �� ��� �&������ ����� �� ��������� ���� ��� �����&������ &�9��� ��� ��������� �����* (���� ����� �� ���� �����������8����� ������� ��� ��� ������ ������� ���� ��������� ������ ����������� ��� �������* (�� ���&� ���������� ������������ &����� �� ����&���� �� ������ ��������� ���������� ���� ���� ����� �� ������ ������� ��� ��������� �� �� ��������� ������/�� �� ����+��* =���� �� ����� �� ����� ���� �&&����� �����&���� ��������� ������������ &����� �� ����*���&���� ��������� ������������ ����� �� ������

��������� ����� ��� �����H���� ��� ������� ����������� ���* 3� �������� &�9� ������ ���� � ���� ���������� �� ��� ����� ��8�������� ��� ����� ������ ����+��� �� ������/��* �� ���� ����� �� ������� ���&��������� ���� &������ ��� �� �� ������� �� ��� ����������������� ������������ �&&����* 6��� ��������&���� ��������� ������������ ��8����� �� ���� �������� ������� �� ���� �� ��+�� ��� ��� ���� ������/����� ������� �� �� ��� ���������� ��� ����H����� ��������&������ &�9�� �� ��� ��������� ����� ��� �&������ �� ��K�� ��� ������ ���� ��� ���� ������*(��� &����� ���� ��� ������ �� ���&� �� ������ ������ ��������� �������� �� � ���� ������ ��+�� ���� ����� ������*(�� &������ ��+�� ������� �������� �� ����

������ ������������ ��� �������� �� � ��������������� ����� ��������� ��� ��+��2� &������ ��������� ��������� �� ��* #* (�� �������� ����� �� ��� ����. * ���� ���� � ����� ������ �� �� ��� &������ ������������� ������� � ��� ��+�� ��� �� ��� �������� � ���� ��+�� ��� ����� ��� &������ ������� ����� ��+�� �� ���� ��� ��������� ������ �����*0� ����� �� &��&���� ��� ��+��2� &�������� �� ���� ���

���� ����� �� ��H�����* (���� � &��������� �������� ��

��* #* (�� �&���� �������� �������*

!#" ,' ����-�� �' .�/� 0 1������� 2���� 3 43!!$5 3!�633

Page 3: Robust sound localization using multi-source audiovisual information fusion

��� �. � �������� �� ���� � �������������� ��������� ��� � �� ��������� &��� �� ��� ������ ������&������ �� ��� ��+��2� &�������* 0� ��� ��� �� ����&���+���� ����&� &���� ���� �� �9&����* (�� ���������� ������ ������ ��� �������� �� ��� �. � �� ���������� ���� �� ������ E*7�� &����� ���� ������ �� ��� ��� �� ����&� ��+���

�� ��� ��������� �� ���� ��+��� �� ��������� �� ��* !*0� ���� ����������� ���� ��+��� �� �� ������� �� ��������� ����� �������� :�<* ����� ����������� �� ������ ��� ������ �� ���� ��+���*6��� ��� �������� �� �9��� ������ ��� ��+���� ���

��������� ������ ��� �����* ������� ���� �������+�� ��� ����� �&&���� �� ���� ���&�� ������� ����9����� ��&� ��� �� ��������� ������������ ������� �� &����� ��� �� ��� ���� ������ �� ���� ��+������ ����� �� ��* )*(�� ���������� ��+�� ��� ����� ������� ����

����� ��� ���� �&&���� ���� �� &��&���� �� :)!<*5����� ��������� ���� �&&���� �� �� �� &���������

��� �L���� ������ ��� �� ��� ���� ��+��� ��� �������� ��� �������� �� ����� �� :)!<*��� �� ������� �� ��� ����� ��+�� ��� ����� ���

�����B ,#- ��������� ������ ���� ��� ������ ��� �������������� ������������ �� ���� ��� �9����� �� ���+��� �� ��� ������ ,!- &������� �. � ���� ��� ��+���9����� ,������ ��������� ��� �. &�������� �&&��� ��:)!<-� ��� ,)- �������� ��� �. � �� ����&� �������� ���&� ������ ���� ��� ���� ������� ��� &���� ����� �������� �. *

� ��� ���� ������������ ������

����� ��� ����� �� ��� ������ �� �������� ��� &�������� �� � ����� ����� �� ��� �����������* �� ������/�� ��������� ������� ��� ������ �� ��� � ������� �� �9����� ��&������* (�� ����������� �������� ����� � ��������� �� �� ���� �� ������ � ���� ��&���&����� �� ��� �����������* 0� ���� ����������� ����������� ���� ����� &������ ������ ����������� �������� ����������� ��� ��� ��&����* ����� ��� �����&������� ������� &������� ����������� ����� ��� ����������� �� ��� �����������* ����������� �� ���� ������� �� ��� ������ �� ����� ����� �� ���� �� ��� ���������� ��������� ���� ��� ��+��� �� ��� �������������� �� ��� ��� �� &�����&����� �� �� ��������� �� ������������*(�&���� �� ����� ����������� ��� ������������

����� �� ���� �� � ����� �� ������� ���������* ���9��&�� �� ����������� ���� �������� ��������� ������������� �� ��� ����� ���� ����� �� ����� ����&����� ���� ������ ����� �� ��� �&���* �� ����/������� ��� ����� ������ ��� ��� ��� ��������� ����� ��������� ������ �� ���� �� ��� �&������ ���&���� �� ��� ����������� ������� ������ ��� ��������� �� &�������� ��� ��������� ��H����� ��� ����� ��� ��� ���������*����� ��� ����� ���� ��� �� ��� �� ��� ���

��������� ������ �� ������� ����� &������� ��+�������� ������ ��� �� ������ ��� ���* (��� �� ��� ������ ����� ��� ����������� �� ��� ���� ��� �� �� ������� ���� ����� ��� ��� ������ ������ &��� �� ������� ������ ����* ���� ����� ��� ����� ������� �� ������ ��� �8����� ���� ������ �� ����� �� ��+�� ��������� ������ ���� ��� ��� ��� ��� ��H���� ���&��������*������� &�������� ����� �&&������ �� ����� ��

�� ����� �� �� ����� ������ ������ �� ���� ��������* (��� ��� &��������� &������� � ����� �� ���������� � ��&���� ���������� ��� ������/������ �����/�� ��������� ������* �� �9��&�� ���� � �������� �� ����� �� ��� ������� �� ���� ���� � �����&��� ���� ��� ����� ��� ����� ������ ���� �������� ������ �� � �&���� &�������* (���� �� ���� ������� �� ��H����� ��� ��� ������ �� ����� �� ��

��* !* (�� ��������� �� ���� ��+���*

��* )* 1���� ��+�� ��� ����� �� ��� &������ �� ����� ������ ���

��+���*

,' ����-�� �' .�/� 0 1������� 2���� 3 43!!$5 3!�633 !##

Page 4: Robust sound localization using multi-source audiovisual information fusion

������ ��������� �������� �� � �����/��� ��������� ��� ���������� ����*(�� ���&������� ������ ����� ��� ����� ����� ����

��� ����� ������ ������ �� ������ ��� ����� ������:?�#"<* >�� ��� �� �� ������ ��������� ����������� ����� ��� �� �� ��� ���� �&������ ��+��� �� ��������������* 0� ���� �� �� ��� � ����� ���� �������� ������ &��&� �� ��+��� &������� � ���� �������� ����� ,�*�* �������� �� � ����������� �� � ��������� ����� ����-* ��� �� ������ ���� �� ��� ���� ������ ����/�� ����� ��� ����� ������*

'$' ���� � ���7���� ������)

����� ������ ��� �� � �&����� &����� �&���������� ����� ���� ������� �������� �� ��� �&��� �������* �� �&������� ��� &������� �� ��� ���� ������� ����� ����� �� ��� �� ��� ���� ���&� �� ��� ���������� ����� �� ���� ���������� �� ��� �&����� ��������� �� ��� ����� ���� :##<* �� �9��&�� ��� ��&������ �� ��� ����� ����� ������� �� ������� ���� ��&����� �� ����� ��� �������� ���� ���� ��� �&����� ������� ���� ���� ��� �������� :##<� ���������� ���� �������� ����� ��� ������ ���������� ���� &������������� ��� ����*����� ��� ����� �� ���&����� �� ����� ��8���

���� �� ��� ����� ������ ������� �� ��8����� ������������ &����� �� �������� ��� �������� ��� ����������� ���� ������ �� ��� ����� �����* �� �9��&����� ����� ����� ����� �� ��� ��8����� ����� ������������ &������ ����� ������ �� �������� ��� �������� �������* �������� ���� ��� ����� ����� �� ������ �� �&���� ������ ���� �� � ���� ���� �� ��� �� ��� �������� ������� ������� ��� ����������� &����� �� �������� ���� ����� ������� �� ��� ������ ��� ��8�������� �� �� ���� �� �� ����� ��� �����* (�� /��� ���� ��� ��������� ��� ��8����� ,0.5-* 4������� ���������� ���� � ������� ���� ������� ����� �� ��� ������������ &���� ����� ������� ���� ���� ��� ����� :#!<*(��� ���� �� &��&������� �� ��� �H���� �� ��� �������������� ��� ����������� &���� ��� ��� ����� ������*>��� �� ��� ������������� ��� �� � ���� ������ ����������������� ���� �������������� ���� ���� ��� ����������*M������� ����� ��� 0.5 �� ��� ��8����� ��������

���� &����� �� �� ���� �� �������� ��� ����� �� ��� ��������� ������� ��� ����������� &���� ��� ��� ���������� ������ :#!�!E<* M������ ���� ����� �� �� �� ���������� �� ��� ����������� &����� ���� �� �� ��������� ��� ����� ����� ������ :#!<* ������� �� ������ �� ���� �� ��� ����� ��� ����� �� ��� ������������� ��8����� ,0(5-� ���� ������ �������� �� �� ������� ��8����� �� ������ ,(57�-* �������� ���� ���������� ������� ��� ����������� &���� �� ��� ���������� �� ��8������ ��� ����� ����� &������ �� �������� �� ������ �� ��� ����������� &����� �� ��8�����

������ ��� �� ��� /���� �&��� �� ����� :)#<* M������������ ��� ���� ��8����� �� ������ �� ��� ��8����� ������������ &����� ��� ��� ������ �� ����� �� ��� �� ������ �� �������� ��� ��8����� �� ��� �������� �� �������������� &����� �� ��� ����� ����� ������ :)#<*(�� ��8����� �� ��� �������� ��������� ��� ���������� ������ �� � ��&����� �� ��� ����������� �� ���&������� �� ����� ���������� :��)#<*3� ������ ������ ���� �� ����������� &���� &����� ��

������ &������ �� ��� ���� ��� 0.5 ��� ��� (57������� �� ����� �� ������� ��� � ��� ����� �����������* 0� ������� ��� �&��� ��� ������ (57������ ������ ��������� ��� ��� ���� ������ ��������� ���� 0.5 ����� ������ ���������� ���� �������� �8����� ��� ������ ���� ������ ���H���� ���&������ ���� ������ ���� ��&������ �� ���� ����H������ :?<* �� � ������ ���� ���������������� �������� ����� ������� ��� ����� �� (75� ������:##;#��!D;!?<*

'$'$' ������� ���+ �������� -���� #�&� ���������(���� ��� ���� ��8����� ��������� ���� �����&� ��

�������� ��� ���� ���� (57� ������� � &��� �� ���������� :%�##�#!�#��#%�!"�!!�!E;!D�!?<* J����� �������������� ���� � �������� ������� ���� ��������� ����������� �� ����� &������ (57�� ��� ����� ��� �������� ����* (���� ��� ������� ��� ����� �� (57������������ ��� /����� �������������� �&&���� �������� �������� �� ����� ������� ����� �����H���:!"�!!�!E;!D�!?<* 49��&�� �� ��� �������� �� ������������ �&&������ ������ : <� ����� ��� ��/������������������� �� ��� �� � ����� ������� ���� ����!E 0.5 ����� �������� ���� � /��� ���� �� !E /����*(�� ���&�� �� ��� ����� ������� �� � ��� �� ����� ��������� ���� �������� ��� ����� (57� ������� ��� ��������� ����� ��&����* ������ �� ���� ������ ������������ �� ����������� ������������� ����� +��� ��� 0.5������ ���� ������ ������ ���� ��&���� �� ��������� ��� 0.5 ��� ��� ���� ���������� ���� �� ������������� ���� ���� ���� �������������� ����� ��� �������������� ����� ����� � ���� ������ ����� ���� +�������� ��� 0.5 ������ ��� �� ���� ���� ����� ���� ����������������� ��� ��� 0.5� ������ �� � ���� ������� (57� �������� ������*������� (57� ������ &��&���� �� =���� �� �* :!?<

��� ���� ��/��� �� =���� ��� ��������� :!"�!!�!I<�����&�� �� ������� ��� &����� �� (57� ���������� ������������� ������������* =���� ��� ������ ��� ��&������� �� ��8����� ���H���� ������ ��� ��� ��� ����� � ��� ������� ������ �� ���� �� ����� ��� ����� �� ���������* (�� ����� �� ��� ������ ��� ��� ���H���� ������ ���� �� � �������� (57� ���� � ��� �������������� � ���H������ ����� ������� �� ����� �� �(57� ���������* >��� ���� ���� �&&���� �� �� �������� ��� ������� ������� �� ��� &���� ��������� ������H�� ���� �� �� &�������� ������* ���� ���� �&&����

!#! ,' ����-�� �' .�/� 0 1������� 2���� 3 43!!$5 3!�633

Page 5: Robust sound localization using multi-source audiovisual information fusion

��� ���� ��/��� �� ������� ��� N&������� �8��2 �������� �� ������ ���� ������ ��&����� ��� ������ ����� � ����� :!"�!!�!I<* 0� ����������� ����������������� ��8����� ����� �� � ����� ����� �� ������ �� �������* =������� �� ���� �� ������ �� ���� ��� ����������� ��� /��� ������� �� ��� ����� ����� ��� �� ������� �� ��� �����* (��� �� ����� �� ��� &������� �8��*7�� ����H���� �� ���� �8�� �� ��� ������ �� �������������� ��� �9�� (57� �� ��� ����� �����* 3� �������� ���� ��� ������� ��� ����� ��� ����� ������&��&���� �� =���� �� �* :!"< �� �� �&&��� �� � ��������� �&&������� ������� ������ ���������� :!!<*49��&�� �� ��� /����� �������������� �&&����

����� ��� ������ �������������� ,OAA- �&&�������� ��9���� �������� ,'.- �&&����� ��� ��� &������������� ,�(- �� ���H���� ��������� �&&���� :#�<*� �� ����� �&&������ �����&� �� /��� ��� ��������������� �� �� �&���� �� �����&���� ������� ��� �������� ��� ���� ����9 �� ��� &��� �� ��� ����� �� �� ���(57� ��������* 5���� ��������� ��� ����/�� ��� ����������� �� ����� �&&������ �� �������� �� :)#<*

'$'3' ������� -�������� ������8��7����� �� �� ����/�� �� ��� ��� ����� ��� ����

���� (57� ��� ��� ��� �������� �� ����� (57��:��##<� �� ����� �� ������� ��� &��������� �� � �&����� ����8����� �&���� &��������* (�� ������ �� &������� ������� �� �������� &��������� ���� �����&��� ������ ����� �������� �� ��� &������� �� ��� ����� ����� ������� �� ����������������� ����� ��� ����� :#)<*(���� �������� &��������� �� �� ���� �� ���� � �. ��&��������� ��� �������� �� � ����� ����� �� ����&���� ������* �� �9��&�� ����� ��� ��������������� ������� ��� ����� �� ��� ������� �� � ������� ���������� �� ��8����� (57�� ������ �� ��� ����������� ��� ������� �. ,��� ��* E-*J���� � �������������� �� ������ ��� �������� ��

��8����� (57�� ��� ����� ���� �� ��� ����� �� ��� �. �� ��� ��� ��� ����������������� ����� ��� �����&�������* 0� ���� ��� ����&� �&������� ����� � ���&��������������� �� ��� �� ��� ���� ������ ��� ���������� �&&������ :#)�#�<* '��� ����� ������� ����������� ���� ��&���� �� ����������� ����� ������������� ������� ��� ����&� ����� ����/�����,'J�0A- �������� :#D< ��� ��� ��9���� ��������,'.- �������� :#I<*

'3' #8� ������� �)�� ���� -�������

(�� �������������� ����� (57� ��������� ��� ������������ �� ����� ���� ��&��������� �L���� ��������� ��� � ����� ����� �����* �� ����&� ��������������� �� ������ ��������������� ��� ����������������� ����� ��� �� ��� �� &������ ��� ����� �������������������� ��� ��� ������� ������ :#D<* � �� ��� ��������� (57� ���������� �����H��� ��� ���� ������

������������� �� ������� ������� ��� ��� ���� �������� ��� ���������������� �� �� ��� ���� ��� �������� �������* 0� ���� &�&��� �� ���������� �&&����� ������ ���&��� &���� ������������ ,(� - (57� ����������� �� &��&����* (��� ������ �����&�� �� ������� ������ ��� ���������� (57� ���������� &������ ��������������� ��� �L���� ��� ���&���� �� ��� �������������� �&&����*3����� ��������� ��� (� ��������� �� ���� /���

�������� ������ ������������ �� �&��� ���� ���� ������� ���� �� �� &������� (57� ���������� ���������*�&��� �� ��&���� �� &������ �� ��������� ��� &�������� �����* 0�� &������ �� ��������� �� ������ �� ������������� ���� ��� ����� �� ��&���� �� ������ �����������H������ ,��������-� �� ���� �� �� �������� �������� ���� ��� ����� ���� ��� ���� � ��� �������� ����H������* 0� ��� ������� &������� �&��� �� �� ������������ �� � ����� O������� �����*� �� ��� &�������� �������� (57� ����������

���� ������ ��� ����&���� ������ �� � ����� ����������� �� ������ ������* =������� ��� �� ��� ������ ���&���� ����� �� �� &������ ���� � ������ ����� ����� ��� �������� ���� � ���� ����� +��� ������ ��������� ����� ��&&���� �� ���� �� ������� ����� �������� ������ ���� ��� ����� �� ������� ������� �� ������� �������� �����* 0� ���� ���� ����� �� ���� ���� &������ �� ����� �� ���� ���� ����������� ���������� ��� ������ ������� ���� ���� �� ��� ������L�� �� ������ ���� ��� �������� ����� ����� �� ��������* (��� �� ��� ���� ���� ������ ��� (� �&&����*

'3'$' #������ �)�� ���� � � ������ �� ��8�� ����(�� (� �&&����� ������ �� � ����� (57�������

������ ����������� ����� ����&������� �� � �����

��* E* �. ���� ��� ���� ������� �����&������ �� � ������ ��������*

,' ����-�� �' .�/� 0 1������� 2���� 3 43!!$5 3!�633 !#)

Page 6: Robust sound localization using multi-source audiovisual information fusion

&���� &����* (�� /�� ������ �� ��� &��� ��� ���������� �������� �� ��� ���* (�� (� �&&���� ���������� ��� ����&���� ������ ���� #" �� ����� ����������� ����� �� ��* �* (�� ���&� �������������� ��������� �� ���� �� �������� ��� ���� (57�� ������� �������&����� ��� ��� �������� �� ����� �� ��* %* (��������/�� (57�� ��� � �� ��� �������� ��� ���������� � ��������� , ��* D-* �� ���� ���� �������� ���&�������� ���� (57�� �� �� &����� �� ��� ����������� ��� �������� ��� ���������� ���� ������ ����� �&&���� ��� &��������� ������� ������� �� ���(57��* (��� &������� � ���� &��������� ���� �����8����� �������� ��� �� ��� /�� ����� �� ��� (� ����������*(�� (� ������ �������� �� �8�� ������� ��� �

���&��� ������ ��������� ���� ��� ��������� ����� ��� ������ �������� ��� ��� ��8����� �����* 3������ ���

��� #" �� ���������� ��� ����� ����� ���� ��� ���������&���� ��� ��� (57� ������* =���� ������ ���� �������>�� �� ���� ����� (57� ������ ���� ����� �������H����� � &��� �� ���� �� ��� ��������� �� ��������&������ (57�* =������� ������ �� ��� �������� �&���� ����� �� �� &������ ���� ��� ������ ���������� � ������ &���� ���� ��� �������� ����� ��� � ������������* =���� ����� ��������� &���� �� ���� ����� (57�� �� ��� ������ ������ �� ��* (��� ����� �� ��������� �� ���� ���� ��� ������ �� ������ �������� �����&������ (57��*7�� &������ &����� �� ���� �� ��������������* ���

������������ �� �� �� ����� ������ �� ����� �� ������� (57� ������ ��� ������ ���������� �� ��� ������&��� �� ��� ��� ����� �����* (���� �� �8��� �� ������ �� N�����2 ���� �&&���� �� ��� ���������� �� �9���&� �� ���� �� ��������� �� ��* D* 6��� ��� �8����� ��� �������������� ��� �����/���� ���� ���������� �����H����� �� ����� ��� ��� ��������� &���� �� �� ����������� ���� ��� ��������� �����* =������� ���� ����8��� ��� �������/���� ��� (� ���������� ��� ��H�����*(��� �� �� ������ &����� �� ��� �� ������ �9&���������� ������ �*0� ����� �� ����� ���� � ������� ��������� �� ���

(� �&&����� ������� ��� ��������� ����� �� �� ����� �9&�������� ����� ��� ��� &���������� �&&���� ��:)#<* ����������� �� ����������� �� �� ������ ��������� ��� �����H�� ,����� �� ��������� �&���� &���������-�� &�������� �� :)"<*

'3'3' #������ �)�� ���� � �������� �� ��8������� ����� ������� ��/���8� �� �����. � &������ � �������� �� ������ � ��� ����� ���

������ �� ������ ��8����� (57� ����������* (��������� �� � �������������� ��&����� ����� �� ��� ������������ ���� ��� ������ ������ �� ��������� ���� ��&��&������� �� ��� �������� �� �� ��+�� �� ����

��* �* #" �� �&��� �������� �������� �� � &��� �� ����&����

������*

��* %* A�������������� �� ��� ������ ����� �� ��* D*

��* D* A�������������� &��� ��������� ����� �" ���������� ,� ���� ��

�"" ��-*

!#E ,' ����-�� �' .�/� 0 1������� 2���� 3 43!!$5 3!�633

Page 7: Robust sound localization using multi-source audiovisual information fusion

&�������� �� ��&����� �� ��� (57� ���������� ������*(��� ��� &������ �� ���� �������� �� ����� ��� ������� �� ����&� (57� ����������� ��� ���� �� ������ �� ��� ������� ��� ������ ��� ��� ����&���� &����� ��&����� �� ��� (� �����H��*(�� (57� ��������� ���� (� ������� ��� ���

����&���� &��� �� �� �������� �� � ���������������. * (��� �� ���&����� �� ������� ��� ��������� ������� ��&����� ��������� ���� ��� (57� �� ������H���� �� ������� �� ���� (57� �� ��� ���������*(��� ���� ��� �. �� ������ �� ����� �� ��8�������&������ ��� ���� ��8����� �����������* ��* I ������� �9��&� �. ��������� ���� � ����� ����&����&���*�. � ���� ����&� ������ �� �� ������ �� ���&�

������ ���� ��� ��� �&���� ������ :��#?<* >��� �����. �������� �� ��� �������� �� ����������� �. ����� ����&� ����&���� &����* (�� ���� ���������� ���� ���&� �&&���� ����� ��� �������� �� �������� ����� ������� ,�*�* ���� ��� �. �����&������ �� ������� �� ��&���� ������� �� ����� ��� ��� ��� �������� �����������-� ��� &�������� �� ���� ������� ����������� �� ����������� ������� ���� ������ ��� ��������� ������ :�<* =������� �� ���� ���������� ������������ �������� ��� ���&� �������� �������� �� ���&&��&����� ����������� ��������* ��* ? ����� ��� ������� �� ��� �������� �� ��� �. � ��������� ���� �������&���� &����*(�� ��� �� ��� �. ����� ��� ����� ��� �����

&����� ���� K�9���* ������ � ����&���� &��� ���&�������� ��&����� � ��������� ��� ���� &��� ��� ��������� �������� �. �� ��� ����� �. :��#?<* 0� � ������������� ����������� ������� ���� ����� ��� ��������������� �� �� ����� ����&������ �� ������ ��������&������ �. � :��#?<* =������� �� ���� /��������� ��� ��������� ��������� ���� ������ �� ��� �&�

������� �� ��� ���&� �. �������� ����� ������ ������&���� ����� ��� �������*

� ��� �����

J���� ����� ����������� � �. ���� �� �������� ������ �� ���� � �&���� ��+��� ��� ������*=������� �� ���� ����������� � ������ �� ��� ��� ������ ��������� ����� � �&��/ �&���� ������ ,�*�*����� �����- ��� �� ��� ��� ���� ��� ������� �������&������� ������� ����������� �� �� ����������� ��������� &�������* �� � ������ ��� �&���� ������������������� ,�7 - �� ���� �� �� ��������� �� ��� ������� ��� �. * ������� ������ ��8����� ������� �� ���/���� ��� �7 �9���� �� ���� &�&�� ��� ���� �H������8����� ������� ��� �. ��� ��� ���� &��������� ���� ��+�� �� � &������� �� ���� �� �� �������� �� ����7 * (�� ���� ����� �� ��� �7 ��� ��� ��������������� ����������� �������� ��� ���� ������� �� ������� :))<� ��� �� ����K� &�������� ���� ��� �����*(�� �&���� ������������ �� ��� ��� ������ �����

�&������ �� ��� &������� 9� �� �� �9&������ ��

����� � � �������

� �����!�� �#�

����� ����� �� ��� �7 � ����� �� ��� �. � ��� ���� �� ������� &��������� �� �� ��+�� �� &������� 9� ���� ����� ���� � ���� �� " �� #* (�� ���� &��������� ���� ��� 3������ ������ ������� ���� &�������� ��� ���&���� &��������� �� �� ��+�� �� &������� 9*�� ����� ���������� ����� �9���� � &���� &��������� ��

�� ��+�� �� ���� &�������* (�� �. &������� ���� ������������ ���� ������ �� � ��� ��+�� &������� &����������� ��&������ �� ��� ������ ��� ���� ������������� ������� ������� �� ��� �7 * �������� ���� ������ ��� ��������� ������������ �� ��� �. ����� ������� &���������� �� �������� �� �� /�� �� �9&�������

��* I* �. ��������� ���� � ����� ����&���� &��� ��� � �����

�&�����*

��* ?* 7����&&�� �. � ��� ��� ����&���� &���� �������� �� ��

��������� &���*

,' ����-�� �' .�/� 0 1������� 2���� 3 43!!$5 3!�633 !#�

Page 8: Robust sound localization using multi-source audiovisual information fusion

��� ��� ��+����� ��+�� &������� &��������� ��� ����� ���

������� ��� �. �"��� �� �����B������� �� 3���� ���� �� ����

��� � � �� � #��"���� � � ��"����� � #�� �� � #�

� ��"���� � �!�

����� ����� ��� ��������� ������������ �� ��� �. ��� �� �9&������ ��

��� � ��

���"

�������#��"������

���#���������"��"��������������#��"����

� #

#� #�����

�����"��"���������#��"����

� �)�

>��� �� ������ ���� ��� ��������� ������������ �� ����. �� � O������� ���� ���� �H�� �� ��� ����� ���� ����� ���� &��������� ���� ��� ������� �H�� �� ����7 * =���� �� ���� ������� ���� ��� ������� �� �����&������ �� ��� ���� &���������* 0� ���� �����&������ ��� ����� ��� ��&����� �7 ������� ���� �� ��������� ��� ��� �&���� &�������� ��� ����� ��� �����H���� ��8����� ������� ��� ���� &��������� ����. ���� ��� ���� &��������� �� #� ��� ��� ���������� ��� ���� �H���� ��8����� ������� ��� ����&��������� ��� �. ���� ��� ���� &��������� �� "*3���� �� ��� �����&����� ��

� ������ ��

��� �

#

#� #�����

�9& #�!�"�9�!����

� � � �E�

����� ���� �� ��� �7 *(�� ��+����� ��+�� &������� &����������� ��� ����

����������� &������� ���� � ����� ������* 6��� �������� ��&��� ��� ������ �� ����&� �������� ��� ��+�������+�� &��������� �� �� �9&������ ��

�� � � �� � #��"���� �#���� � � ��

� � ��"���� �#���� � � � �� � #�� �� � #�� ��"���� �#���� � � �� � ���

����� ����� �� ��� �. �� ��� ��� ������* �������� �����&������ �� ��� �������� ���� ������ ��

�� � �����"

��������#�������� �

��

�#�����

��������"�������� ����

���������#�������

� �

� #

#� #�����

�������"������������#�������

� �%�

3���� �� ��� �����&���� ���� ��� �. �� O������� ����������� �H�� �� ��� ���������&������ �7 � ��� �������+�� &��������� ������

�� � #

#� #�����

�9&�

�#�!�����!�����

� � � �D�

�� ���� &����� �� �� ����� �� ��/�� ��� ������������������ � �� �����B

� ��

#� !�����!����� �I�

��� ��� ����� ��+�� &��������� ������� �� �� �9�&������ ��

�� � #

#� �#� ��� �9&�����

� �?�

>��� �������� ���� ��� &���� ��+�� &��������� �� ������� ��� � �&���� ������� �� ��������� ��� ������������� ���&� � ���������� ��������� ������� �� ��*(���� ������ �� ����� ��+�� &��������� ���� ���������� " ,�� ��+��- �� # ,���� ���� �� ��+��- ���H������� �� ������ � ����������� �� ��� ����� ������/���� ,�� ��+��- �� " ,���� ���� �� ��+��-* A�����H������ �� ���� &�&��� �� �� ��� ��� ��� ������������ ������� �� �� ����������� �������� �� ����&��. �* �������� ���� ��� ������ ��� �H�� ���� �� ��&���� ������� ,��� ��� ��������� �H�� ��� ��8������������-� ���� �� � ���� �����&���� �� ��� �� �������������� �� ��� ��� ����� ��� ����������� �������������B

� � ��

�������

� �#"�

����� � �� � ������� ���� �� ����&������ �� ��� �. �*������ ���� ��� ������� ����� �� ��� ����������� ����� ����� ����� �� �� ��� ��� ���������� ���������� ������� �� ���� ����������� ��� ��� �� �� �����&����������� �� ��� �������� �������* (��� ���� ���� ������ ��� ������� �� ��������� ��� ����������� ��

� ��

�������

� �##�

��� ����� ��� �����&���� ���� ��� ������ ��� �H������ �� � �&���� &�������� ��� ���� ��� &���� ��+��&��������� �� � �&���� ������� �� ��� ����� ����������� �������� �� �. � �� �&���� �� � 3������������� ������ �����* >��� �� ���� &�&��� �� ���� ���������� �����&���� ���� ������� �� ��� ���� ������� ����� �H�� ��������������� ���� ���� ���� ��� ������������ �����* (�� ��� ���� ���� ��� �. ����������� ���� &�� �� ���� �������� ������� �� ��8��������������� ����� ��� ������� ������� ,������- �� �������� �� ���� � ������ ������ ��������� �� �� ���� �������� ������� ������� ,����� ��� �����-*>��� ��� ����� ��� �� �� ��� ��� ������� ��� ���

������� ����� ������* J����� ��� �7 ����������&����� ��H����� �� ������ �������� &���� ����� ����������� ��� &��� �� ������� �&���� ������� ��� ������� �������� �� ���� ��� ���� ��+�� &��������� ������ �������� �. �� � ����� �������� �� ��� �7 �� ���������* �� ��� �9&�������� �������� �� ���� &�&��� ��

!#% ,' ����-�� �' .�/� 0 1������� 2���� 3 43!!$5 3!�633

Page 9: Robust sound localization using multi-source audiovisual information fusion

��� H���������� ������ ���� ��� ��� ���� ������������� ��� ����� ��+�� ��� ����� ��������� ��������� ������ ���� ��� ����� ��� ����� ������������&� ������ ��� ����� ��� ����� ������ �������� �� &����� �� � ������ ������ ����� �����,������� ��� ����� ������ ��� ��� �8���� �� �������� ����� �����-* =���� ����� � ����� ���� �������� &������ �� �7 �� "*"# ��� ������ ��� ��� �������+�� ��� ����� ������ ,��&���� �� �� �7 �� "*!��� ��� ����� ��� ����� ������-* >��� ���� ��� �7 ������&��� �������� �� ��� �����/��� �� ��� �&��/������� ���� �� ���� ��� ���� �����/��� ��� &����� ��� ������ �� ��� ����� ��+�� ��� ����� ������*

! ���"�����" ��� ������� � ���� ������������ �� #�����

0� ����� �� ���� � ��� ����/�� ��� ������� �� ���������� ��+�� ��� ����� ������� � ������������� ���������&���� ������ ��� ��&������� �� �) � E � �����������* (�� ����������� �������� �� �)������� ����� ����&���� ����� ���� "*� � ����������&���� ��������*(�� ������ ���� &��� �� ��� ������ �� ��� �����

�������� ���� ��� ����&���� ����� &��� �� ��� �&�&����� �� �� � ������ �� #*%� �� �� ����� ���� ,��� ��* #"-*�. � ��� ���� �� ���� ��� ������ ��� ����� ���

� ����� ���������� �� ������ ����&� ������ �������&� ����&���� &����� ���&������* (��� ����� ������������ �� ��� ������ �� ��� ��� ���������� &��������� ����* 3� ��� �������� �������� �� ��� �. ��������� ���� ��� ��� ����������� �� ������ � ������. ��&��������� ��� ������� ������*(�� 01�. ������ ������� �� � ����� ��� �����

������ ���� ���������� ������� �. � �� ��� ������������ ����� ��� ��� �������� ��&����* 4���� ���&���� �. �� &����� �� ��� ���� �� ������ ������������ � ����� ��+�� ��� ����� ������ ,� ����� ���&����- ���� ������ ��� ��� ����� �. ���� ��� �������� ����� �. * (�� &��� �� ��� ���������� �. ��

������ ��� ��� ������ �� ��� ��+��� ��������� �������� &��� ��� ���&���� �� ��� ����� �� ��� �&����� ���� ����� &�����* �� �� ������ �9��&�� ��� ������ ������������� � ����� ����� ����� ��+�� ��� ����������� ���� ��� ����������&���� ����� ��� ����������� ��� &��������* ��* ## ��������� ��� &�������� ���&� ���������� ��

��� 01�. ������* (�� ������ �� ��� ����&���� �������� ��� ����� ��� ����� �� ��* ##,�-* (�� ���������� �� ��� ���� �� ����� �� ��* ##,�-* ��* ##,- ���������� ��� �. �������� �� ��� ����� ��� �����������* (�� �������� �������� �� ��� ������ ��� �������� ����� �. � ��� ��� &��� �� ��� ������� �. �������� �� ���* ##,�- ��� ,�-� ���&������* 0� ����� ������� ���� ��� ��������� ������ �. ��� � ��� ������������ ���� ��� ����� ��� ����� �. ,!"����# �����-*(�� ������ ��� ��� � ������ ������� �� �� ������ ������� ������ ������� ���� ��� ������ �� ������ ��������� ����� �&�� �� � ������� �9����* ����� ��* ##,�-����� ���� ��� ������ ��� ���� ��� �� �������� ���&����� �&������* ���* #!;#% �������� ��� �&&������ �� ��� 01�. ��

�������� �� � ��������� ��������� ���� ��� &������ ��� �&����� ��� � ������� ��+��* >��� ���� ������ ������������� ������� ������ ��� ����� !"" �� �� ������ ���� ������� ����� ������ ���� ���� �������� ��� ��+��������� ����������* ���* #!,�- ��� ,�- �������� ��� �. � ������ ��� ���

/��� ��� ����� ������ ���&������* 0� �� ��� ��������� �. � ���� ��� ����� ���� ��� ��+���*3� ������ ��� ��� ����� �. � �� ������ ��� �. ��

��* #)� ���� ��� ���� &����* (�� ���� &���� ����� ������� ���� ��+�� ,���� ������ �� � &����� ��� � ���� ����� ����- ��� ��� ���� ��+���*(�� ��������� �� �� ������� �� ����� ��� ������

������ �������� �� ��� ����� ��� ����� �������������� &������ ��� ������� �. *0� ����� �� ������ ��� ����� ��� ����� ��� ������

������� ��� �����&������ �. � ��� ����� �������� ���������� ����&��� �� �� �&&��&����� ������ ����� ,!" ������ ����� �. � # ��� ��� ������ �. -* (�� ��������. � ���� �� ����� �� ��* #�,�-� ��� � ����� ���������&��� , ��* #�,�-- ���� �����&���� �� ��� �&����� �� �������*6��� ���� ������ �� ��������� ��� �� ��� �����

����� ����������� �� ������ ������/�� ��� �&������ ����������� �� ��* #%,�- ��� ,�-*

$ %�� �������

���* #D ��� #I �������� ��� �8��� �� ��K����� ����� ��� ����� &����� ��� ��� ��� �� � ����� �&������������� �� ��� ����� �� ��� ����* �� ������ ����� ���� ��K������ ,���� ��� ��� ���� �� ��� �� ��� ������ ��� ���� ���� &���- ������� ���� �"� ��� ��������

��* #"* (�� ����� ��� ����&���� ������� ��� ��� ��� �����

�9��&�*

,' ����-�� �' .�/� 0 1������� 2���� 3 43!!$5 3!�633 !#D

Page 10: Robust sound localization using multi-source audiovisual information fusion

��* ##* ������ �� ��� 01�. ������ ����� � ����� �����*

��* #!* (�� �. � �������� ��B ,�- ��� /��� ����� ��� ,�- ��� ����� �����*

��* #E* (�� ����� ��� ����� �. * ��* #)* (�� ������� �. ��� ���� ������*

!#I ,' ����-�� �' .�/� 0 1������� 2���� 3 43!!$5 3!�633

Page 11: Robust sound localization using multi-source audiovisual information fusion

������ ��K������ ,���� ��� ��� ���� �� ��� �� ������� �� ��� ������ &���- �� ��� �������� �� �&��������� ������� ��� ��H����� ������ �� ����������* 0� ������������� �� ���� ���� &������� ������ ��K������ ��

�� �� ��� ���� ���� ��K������ ��� ��� ���� �������&�� �� ������ &���������*(�� ������ ������ ��� ������ �� ���* #D ��� #I ���

��� �� ��� �� /���* (�� ��+����� �� ��� ����� ����

��* #%* (�� ������ �� ��� 01�. ��+�� ��� ����� ������ �� ���� ��B ,�- ����� # ��� ,�- ����� !*

��* #�* ������ ��B ,�- �������� ��� ����� ��� ����� ��� ����� �. � ��� ,�- ��� ���������� �. 2� &���*

��* #I* (�� �8��� �� ������ ��K����� �� ��� ��H����� ������ ��

����������*

��* #D* (�� �8��� �� ���� ���� ��K����� �� ��� ��H����� ������ ��

����������*

,' ����-�� �' .�/� 0 1������� 2���� 3 43!!$5 3!�633 !#?

Page 12: Robust sound localization using multi-source audiovisual information fusion

�&&���� �� ��� ��������� ,�*�* (57� ��������� ���� ����� �����&��� �� ��� ��� ����� �����- ��� ��� ������� �������������� �� ��� �����������* (���� ��������������� ��� �� � ������� ���� ��� �&����� �� ����������� ��� �����* 7� ��� ����� ����� ����� ����������������� ��9��� �� ���� ��� �&����� �� ������ ����� �����* 0� ���� ��������� �� �9&���� ���� ���� ������������� ��H����� ���� ��� �&����� �� ����� ��� �� �� ������� /�� ��� ����� ��� &���� �� ��� ��������� ���* (��� ��� ��� ���� ��L�� ���� ���� ����� �� ����� �� ������������ ���� ���� ����� �� �� ����� �� ��� ���������*(�� ���� ������� �&&��� �� ��� ������ �� ��� ������

��K������* =���� �������� ����� ���� ��� ���� �� ����� �����/��� ������� �� ��� ��H����� ������ �� ����������� ���� � &����� �� ������ �&* (��� �� �� ������� ������ ��� �&����� �� ������ ����* (��� �� �� ����������� �� ��� �������� ��� ����� ���� ��� ����� &������

����� ����� ���� ����� ������� ��� ���� ��������,��� ��� �&-� �� �� � �&����� ���� �&� � ����� ���� ����� ������ ��������� �� ��� �&����� ������ ������ �� �������� ��� ������� �� ��� ����&���� �����* (�� �����&������ �9&������� �� ����� ������ �� ���� �� ��� ���������������� ��� K��� ��� ���� ���� � ������ ��K������ ����� ����� ���� ��� ������� ������� �������� �� ������������ ������ �� ��* #I* ��* #? ��������� ��� ������� ������� ��� ��H�����

������ �� ���������� ��� ��� �������������� �����* ���9&����� ��� ��H����� ������ �� ���������� ������� ����� �>� ��������* 3� ��� ���� ��� �>� ��� ���&&�� ��) �3� ����� I" ���������� ��� ��H����� ������ ��� (57���������� ��� ������ ��*0� ����� �� �������� ��� &��������� �� ��� �����

��� ����� ������� ������ ��� ������� ��� �&������� ���� �� � ��� �� �&����� ������ ���� &����� �� � !�5������ �� ����� �� ��* !"* (��� ����� ������� � ��� ������ &����� ��������� ��� ������ �� ��� �. &���� ������� ���� �� ��� ����� ����� ������ ���������* (�������� �� ��� ����&���� ����� �� �� �� ��� ���� ������� �� ��� ����� ����� �� ����� �� ��* !",�-* 6������ �>� �� ����� �� �� ��* !",�-� ���� ���� ����� ���� ����� ���������� ��� ������� ��� ����� � �� ������� ������* 0� ��* !",�-� � �� ��� ��� ������ ��������� ��� ���� ����� ������* �� ��� �>� ������������ ��� ������ ��� ���� ���� ��� ��H����� ������ ������������ �������* �� ���� �� �>��� �� �� ��* !",�-���� ��� ������ �������� ������� ��� ����� ����� ����� ��� ����� ����� �����*(�� ����������� �� ��� ������ ������ ��� ��� �����

��� ����� ������ ���� ���� ��� ������ ��� ������� ��&���� �� ��* !",�- �� �� �������* ��* !# ���������� ��� ����� �� ��� ��� ������ ����� ��� ��������� ����� ���� ��� ��� ������ �� ��* !",�-� �9�&����� ���� ���� ��� ������ �� ��� ������ ������ ���� ��������� ���� �����*

��* !"* (�� ����� �� ��� ����� ����� �� ��� &������ ��B ,�- � #" �3 �>�� ,�- � D �3 �>�� ,- � ) �3 �>�� ,�- � ! �3 �>�� ��� ,�- � "*� �3

�>�*

��* #?* (�� ������� ������� ��H����� ������ �� ���������� ��� ���

�������������� �����*

!!" ,' ����-�� �' .�/� 0 1������� 2���� 3 43!!$5 3!�633

Page 13: Robust sound localization using multi-source audiovisual information fusion

������ �� ��� ������ �� ��* !"� ������� ��� �� ���� ����� ��� ��8����� �>�� �� ����� �� ��* !!* �������� ��� �>� ���&�� ���� ��� ������ �� ���*������ ��� �������� �� ��� ����� ��+�� ��� �����

������ ������� ��� ���� ��� ������� �� ����� �� ��* !)*(��� &�&�� �� ����� �� ��� &��&������� ���� ��� �����

������� �� ��� ������ ��� ����� ��� ����� ������ ��������� ��� ����� ��� ���������� �� ��� �������� ����� ��&���� �� ��� ���������� ����� ���� ����� ������* �� �9&������� ��� ������� �� �9������ ��� �8��� �� � �������� ����� ����� ����� ����� ����� ���� ��� ������� ����� ������������* (�� ����� ����� ��� ��&���� ��� /�� ���������� �>� �����* (�� ��� ����� ����� �� ����� �� ����� ���� ���� �H���� �� ��� ������� ������� ��� ������+�� ������ ��� ��� ��������� ���*(�� ��� ����� ����� �� ��� 01�. ������ ��

��&���� �� ��� ����� �� ��� ����� ��� �����

������ ���� �� ��* !E* �� �� �� ����� ��� ���������� ����� ����� �� �������� �� � �>��� ��&������ �� �>� ���������� ����� ��� ����� ��� ����������� �� ����� ���� �������� ������� ��� ���������� ��� ��� ���� �&����� �������� �� � ������ �������� �� ��� ����� �����* 6��� ��� �������� �� ��������� ������ ��� ����� ��� ����� ������ �� �� ������������ �� ��� �������� ����� ����� ��� ���� �������� �� ������ ��������*(�� ������ ��������� �� ��* !E ���� �������� ��

������ ����&� �&������ ����� �� ��9 ��8����� �������,�� ����� �� ��* !�- �� ��� ���� ��� �� �&��� ��� �&�&��9������ #" ��� �� ��� ������* 5����� �����#" ���� � ����� ����/�� ����� ����� ,��������� �����&��� ��� O������� ����� �������- ��� &��� �� ����� ��� ���� ������ �� ��� ���� ��� !*� ���* (�� �������������� ����� ��� ��/��� �� ��� ����� �� &���� ,�� �3-�� ��� ����� ����� ��� ��� �&�����2� ����� �����* ������� �&�����2� ����� ��������� ��� ��� ����� ,�� ��������- �� ��+������ ��8����� �>�� ���� ������� ��

��* !!* 7����&&�� ��� ����� ������ ��� ���������� ����B ,�- � #" �3

�>�� ,�- � ) �3 �>�� ,- � ! �3 �>�� ��� ,�- � "*� �3 �>�*

��* !)* .��� ����� ������ �����&������ �� ��� ���� ��������� ��

���� �� ��* !! �� 01�. ������ �� "*� �3 �>�*

0

��* !E* A��&������ �� ��� ����� ����� �� ��� 01�. ������ ��� ���

���������� ����� ��� ����� ������*

��* !#* .��� ����� ������ �����&������ �� ��� ���� ��������� ��

���� �� ��* !" �� 01�. ������ �� "*� �3 �>�*

,' ����-�� �' .�/� 0 1������� 2���� 3 43!!$5 3!�633 !!#

Page 14: Robust sound localization using multi-source audiovisual information fusion

������� ��� ��������� �� ��� ����� �����* (��� &�������� ��&����� ��� � ��9 �&���� ������� ��� ��� � /����8����� �>��* (�� ��� ����� ������� ��� ��� �>������� �������� ��� � �&���� ������� ��� &����� �� ��* !E* 0� ���� ��� ����� �9&�������� ��� �&����� �������� ����� ��� ����&����� �����*A��&���� �� ��� �&����� ��� ����� ��� �����

������/����� ������ ��&������� �� :%<� ��� 01�. ������� ����/�� ���� ���� ����� ��� ������* (��� ��������� �� ���� ����� ����� ��� ����� �� ��� ��� �������� ���� ��� �&������ ��� ������ ������ �� ������ ��� ����� &������ �� ��������� �� ��* !E* ������� 01�. ������ ��� ������ �� � ������� �� �>��� ������� ����� ���������� �� ��� ��&���������� �� :%< �������� �����*������� ��8����� �� ���� ��� 01�. ������ ���� ���

��H���� � ����� ������ &�������* J���� ��� ��&����������� �� :%<� ��� 01�. ��� � /9�� ����� &��������� ��� �����������* (�� ����� �� ��� �&����� �� ������� �� ��� ����� �������� �� ���� �����* 7�������� 01�. ������ �8��� ��&����� ����������� ��� ����������� �� ��������� ������ ��� ������* 0� ����� ������� �� ���� �>��� ���� �� ��� ��� ������� �������&���� ��� � &������&� ������� ���� ����� ������� ����� �� ����� �>�� �� ������ �H������� :##<*�� �� �>��� �������� ��� 01�. ������ �� ����������� ���� ��� �&�����* >��� ���� ����� ��� ���������� ��L�� �� ��&��� ������ �� ��� ��8����� ���� ����� ��� �������* ���� ����� ��&������ �� ��� 01�.������ ���� ����� ������� �� ��L�� �� &������ ��� ����� �� �� ���������� ����� ��� ������ ��� ������������*

& '����������

(��� &�&�� �������� ��� &����� �� ����������� �� ���������� ������ ������ ���� ��� ������ �� � ����������&���� ����� ��� ����� ������* (�� ��� ����������� �� ��� ��������� ��� �� ��� ���� �� � ��������������� ������� ���� ��&������� ��� �������� �� ����+�� ����� �� ��� ����� �&���� ������* 0���������� ����� ������ �� ���&����� �� ��&����� � ����������� �� ��� ��� ��������* 0� ��� &������ �� ����&�������� �� ��� �������� ����������� ����� ����� ����

���� �� ��� ������� �� ��� ���&� ��������� �� ����������&������ �. �*(��� ������ ����� ��� &������&� 01�. ������ ��/��

���� ��� &��������� �� ��� ���������� ������ �� ��&������� ������ �� ��� ����������* 0� ������� �� ��� ��������������� ��� ����� ������� ��* !E ��������� ��� ���������� �� ��� ���������� ������� ��&���� �� �� ��������������� ������* 6��� ��&���� �� ��� ������������� ��� ���������� ������ ��� ��� �� ������ ������+��� �� ������ �� ��� ����� ��� ����� ������ ������� ������ ��������� ����� �� ������ ����������* (����&������ ��������� �� ��� &��&���� ������ �� ������������ �� ���� ����� ������ ���� �� ��� �� ��� ������ ����� ��&��� ���� ��� �8�� �� ��� �����* =��� ������������� ������ �� ���� ������ ��� ������ ��� ���&����� �� �����/���� ���� �������������� ������*6��� ��� &��&��� �� ���� &�&�� �� �� �������� ���

����/�� �� � ��������� �&����� ��� ����� ���������� ������ ��� ����� ��� ����� ������� &��&���� ������� �� ��� ����� �� ���� ��� ������ �� ����&�������� �� ��� ������� ��� �������* (�� ������������� ����&� ����&���� &���� �� �� �� ��� ������������� ����&� ������ �� ���&����� �� ��� ���� ���������� ��� ������ �� ��8����� ��������� ��� �������*(��� ������ �� � ������ �������� �� �������� ��������� �� ����������� ��� ��������� ��+�� ���� ����� �������*(�� ���� ������ �� �&&������� �� ��� &��&����

������ �� ��� ���������� ����� ���� ������ ����� ���� ����� ������ ��� ������* 7�� �9��&� �� ��������������������� ����� ���� ��8����� ���������� ������� ������� �� � ���� ��� � ����� ���������� �������� ��� �&����� �� ���� ����� ����* 0� ��� ����������� ����>� �� ��� ����������� ��� �� ������ �� ��� ������ ������ ��� ����� ����� ������� ���� !" � �� ���&� ������H���� �� ����� ����� ��� �����* J���� ��� &���&���� ������� ��� ����� �� ������ �� ��� &���� �������� �� �&&������ ������ � ������* 7���� �&&�������� ����� �������� ����� ����� ����� � ���������� � ������*'��� ��������� �� ������ ���� �9��� ��� ��� &��&����

������ ��� ��� �����&������ ���������* (�� /��� ������� ��&������ ,�� ��� ���� �� ��� �������- �� ���������� �� ��� �. �������� �����* 6��� �� � ��������������� �� ��� �7 � ��� ���� ��� ���� �� ��� ������������ &�����P ��� �� ������� ���� �� �9���������� �������� ��� ��L�� �� &������ �� &���������������* >����������� ��� �����/��� �� ��� ��� ������ ������ ���� ���� ���� ���� �� ��� �������� ��&��������� ��� � �����������* 7���� �9�������� ������ ��� �������� �� ���� ����&����� ��� ���������� ��� ������� �� ���� ��� ����/�� �� ��� ��������� ���9��� ������ ��� ����&����� ���� ���* 0� ����� ������� ���� &��������� ���� �� ���� ���� �&&���� �� :))<* ����� �� ���� �� ����������� �� ��� ��� ��� ������&�������� ���� ���� �� ��&����� ���� ��� �������� ��

��* !�* ����� ����� ������� ���� �� &����� ��� ��� ����� ������

�� ��* !E*

!!! ,' ����-�� �' .�/� 0 1������� 2���� 3 43!!$5 3!�633

Page 15: Robust sound localization using multi-source audiovisual information fusion

����� ��������� ��� �� �&���� ���� �������� �� ��� ����� ������ ��������*

(� �������

:#< '* A���� 5����� &����&�� ��� ��������� ������������� ��B

���������� �� ��� #??I >������ A�������� �� ����/��

0��������� #??I*

:!< �* �������� ����� ������ ������/ ������� !DE ,E- ,#??%-

%I;D%*

:)< �*�* 3������ '* A���� 5* 5���� Q* 5�3����� Q* M������ (*

.� �������� � Q* '���� �* ����� A* ����8��� .* ������ '*

(������� '* 6������ (�� ��������� ���� &��+��� ��B �������

���� �� ��� ����� 0����������� A�������� (������� A������

��� ,A(2?D-� �� �� Q�&��� ������ #??D*

:E< '* (������� ������� �� �����;��&���� ����������B ���

��������� ����� ��B 6������ >���� �� ��� A=0 ?� �������

���&������ 5������ A7� '�� #??�*

:�< �* ������� '��������� ����/�� ���������� '*�*�* (������

5�&������� �� 4����� ��� A��&���� �� 4����������� J������

���� �� (������� Q��� #???*

:%< 5* ��������� � 5�� ��&���������� �� ����� ������ �����

����&���� ������� ��B ���������� �� ��� #)#�� ������� �� ���

������� ������ �� ������� 0������&���� 0������� '�� #??%*

:D< �*>* 3�������� � ������� ������ �������� ��� ������������

��&���� ������� ��� ������ ������� �� ��� &������ �� ����

������� ��B ���������� �� ��� E�� 0����������� A�������� ��

A��&���� 1������ 3����� O������� #??)*

:I< A* (������ (* M������ ���&� ��� ������ ���� ����� �������

����� ��������&��B � ������ ����� ������� 0����������� Q�����

�� A��&���� 1����� ? ,#??!- #)D;#�E*

:?< *.* 6�������� 5* M������ (�� �������� ��� �� ������H����

��������� ���� ��8������ �� ����� ��� ������ Q����� �� ���

������� ������ �� ������ ?# ,)- ,#??!- #%EI;#%%#*

:#"< 6*�* R���� O* O��������� 5�������� =������� �&������� >��

R���� #?ID*

:##< �* ������� �* ����� 0�������� �&���� &��������� ����� �����

��� ������ ��B ���������� �� ��� E�� 6��� '����������� ��

A������� �������� A��&������ ��� A������������� �������

O����� Q�� !"""*

:#!< M* O�������� Q* 6���� .������������� ����� ���������� �����

��� ����� ����� � ��&�� �����&���� ����� �� ����&������

��B #??I ���0 ���&����� �� 0�������� 4������������ #??I*

:#)< '*�* 3���������� � ��������� ��� �&��� ����� ��� �����

����� ������ ������� 5����� 5������������ 5�&������� �� 4��

���� 4����������� 3���� J���������� '�� #??�*

:#E< '*�* 3���������� =* ��������� � &����� ���������� ���

�&��� ����� ��� ����� ���� ����&���� ������� A��&�����

�&���� ��� .������� ## ,!- ,#??D- ?#;#!%*

:#�< '*�* 3���������� =* ��������� � ������ ������ ��� �&��� �����

��������� ���������� �� ����������� ������ ��B ���������� �� ���

0444 A�������� �� �������� �&���� ��� ����� ����������

������� O������� '�� #??%*

:#%< A*=* M��&&� O* A������ (�� ������� �� ��������� ������ ���

���������� �� ���� ����� 0444 (���������� �� ��������

�&���� ��� ����� ��������� �����!E ,E- ,#?D%- )!";)!D*

:#D< �*7* ������� '���&� ������� ������ ��� ����� &��������

����������� 0444 (���������� �� �������� ��� ���&������� ���

)E ,)- ,#?I%- !D%;!I"*

:#I< =* 6�������� '* �� ���� >* >����� >* '���� � ������ ���

��9���� �������� ������� ���������� ������� �������� ��9�

��� ������ (���������� �� ��� 0�������� �� 4�������� 0�������

����� ��� A����������� 4�������� QD!� ,I- ,#?I?- )");)"I*

:#?< �* ������� �* ����� 0��������� ������ ��� ����� ��� ������ ��B

���������� �� ��� )�� 0����������� A�������� �� 0����������

������ ������ ����� Q�� !"""*

:!"< Q* =����� >* 7������� >* ������ ����� ��� ����� �� �����������

����������� ����� �� ��� ���� �� ��� �������� �8��� 0444

(���������� �� 0�������������� ��� '���������� E% ,E- ,#??D-

IE!;IE%*

:!#< �*4* 0���� '������� ������� ����������� ��� ��� ����� �� �

�������� ������ ��B ���������� 7� ��� ����� 0QA�0 6������&

�� A��&�������� �������� ���� �������� #??D� &&* �E;�I*

:!!< Q* =����� (* ��&����&��&�� 0* (�������� * 6���� >* 7�������

>*� ������ � ���� ����� ����� ��� ����� ������ ��� ���

�&&������ �� ����� ����������� ������� ��� ���������� �������

!D,E- ,#???- #??;!"?*

:!)< 0* ������ =* 0�������� =*O* 7����� =* M������ � ��������� ���

����������� ������� ����������� �� � �������� ������ ��B ����

������� �� ��� 0444@��Q 0����������� A�������� �� 0��������

������ ��� ������� ,0�7��!"""-� (��������� >������� !"""�

&&* #DEI;#D�)*

:!E< Q* 3������ '* M��+������� '������ �� ����� ��������� ���

�&���� ������� ����� ����� ��������� ��B ���������� �� ��� 0444

0����������� A�������� �� �������� �&���� ��� �����

���������� '�����&���� '>� �&�� #??)� &&* #!�;#!I*

:!�< >* 3���������� 3* ����� � ����� ��� ����� ������ ����� ��

������� ������� ��B ���������� �� ��� 0444 0�����������

A�������� �� >���� >�������� ��� ������� A�� '���

#??)� &&* #?"!;#?"D*

:!%< 6* A���� �*7* 5���� A������� ������� ��� ������� ���

� ����� �� ����� ������� ��B ���������� �� ��� (������>����

����� ������� A�������� �� ������� ������� ��� A��&������

�������� A�� 7����� #??�*

:!D< '*�* 5����� * �������� �* '����� �� ����/�� ����� �������

��� ����� ��� ����� ����� ������� ���� Q����� �� ���

������� ������ �� ������ #"" ,#- ,#??%- )D!;)I)*

:!I< Q* =����� >* 7������� S* O��� >* ������ 4�� �������� �� �

��&�������� ���� �� ��� &������� �8��� �&��� A�������

����� !D ,#???- !!);!))*

:!?< Q* =����� >* 7������� >* ������ � ��������� ������ ���

��� ����� ��� ��&������� �� ����&� ����� ������� 0444

(���������� �� 0�������������� ��� '���������� EE ,)- ,#??�-

D));D)I*

:)"< �* ������� �* ����� 0�������� �&���� &��������� ����� �����

��� ������ ��B ���������� �� ��� E�� 6��� '������������ ��

A������� �������� A��&������ ��� A������������� �������

O����� Q�� !"""*

:)#< �* ������� ������ ���������� ����� ��� ����� ����� ���&���

&���� ������� ��B ���������� �� ������ �����B ������������

���������� ��� �&&������� 1 ,���������2"#-� 7������ .�

�&�� !""#*

:)!< �* ������� (�� �&&������ �� �&���� �������� �������� �� �����

����� ��+�� ��� ������ ��B ���������� �� ������ �����B

������������ ���������� ��� �&&������� 1 ,���������2"#-�

7������ .� �&�� !""#*

:))< �* ������� (�� �H������� �� 3������� ����������� �����������

������ ��� ����� ��������� ��B ���������� �� ������ �����B

������������ ���������� ��� �&&������� 1 ,���������2"#-�

7������ .� �&�� !""#*

,' ����-�� �' .�/� 0 1������� 2���� 3 43!!$5 3!�633 !!)