Florio Delle Vedove

Chair for Image UnderstandingComputer Science

Technische Universität München

Kamerabasierte Erkennung von Körpersprache für die

Mensch-Maschine-Schnittstelle

Diplomarbeit

Aufgabensteller: Prof. Dr. Bernd Radig

Betreuer: Dipl. Inf. Matthias Wimmer

2006-07-05 2/9 Technische Universität MünchenFlorio Delle Vedove

Aufgaben Analyse von Anwendungsszenarien Identifikation der Körpersprachenaspekte Entwicklung einer allgemeingültigen Architektur Implementierung öffentlichkeitswirksamer

Demoanwendungen Benutzerorientierter Ansatz Betrachtung der allgemeinen Körpersprache mit

Schwerpunkt auf Kopfbewegungen und –gesten

2006-07-05 3/9 Technische Universität MünchenFlorio Delle Vedove

Ausgangslage - Motivation

•Kommunikationskanäle bidirektional genutzt

Natürliche Kommunikation

•Kommunikationskanäle Einbahnstrassen

•Andere Gewichtung der Kanäle als bei Mensch-Mensch-Kommunikation

Unnatürliche Kommunikation

2006-07-05 4/9 Technische Universität MünchenFlorio Delle Vedove

Anwendungsgebiete - Szenarien Berührungslose Maus- und Tastatureingaben Automobilfunktionen

Einschlafschutz, Kurvenlicht

Interaktive Informationszentren Stadtkarte, Gebäudepläne

Interaktive Schaufenster und Werbeflächen Drehteller, Informationsbildschirm

Blickfang Panorama

Medizin Rollstuhl, Kamerasteuerung

Spiele Fahr-, Flugsimulator, Ego-Shooter

2006-07-05 5/9 Technische Universität MünchenFlorio Delle Vedove

Demoanwendungen

•Drehteller

•Panorama

•Interaktive Karte

•Pacman

•Ego-Shooter

2006-07-05 6/9 Technische Universität MünchenFlorio Delle Vedove

Anforderungen Benutzerunabhängigkeit Benutzerrückmeldung Störungssicherheit/Robustheit Intuitivität Modularisierung Erweiterbarkeit Selbstüberprüfung Alltagstauglichkeit

2006-07-05 7/9 Technische Universität MünchenFlorio Delle Vedove

Körpersprachenaspekte Gesten – Aktive Steuerung

Zeigegesten Diskrete und Stetige Körpersprachenaspekte Dienen der Lokalisation von Objekten Bsp.: Kopfdrehung, Fingerzeig

Aktionsgesten Führen Kommandos aus Bsp.: Kopfschütteln, Winken

Mimiken – Passive Steuerung Teilen dem System den inneren Zustand des Benutzers mit Bsp.: Müdigkeit (Gähnen, verlangsamte Pupillenreaktion)

2006-07-05 8/9 Technische Universität MünchenFlorio Delle Vedove

Architektur

2006-07-05 9/9 Technische Universität MünchenFlorio Delle Vedove

Schlussfolgerung Technische Voraussetzung für breiten Einsatz der

Technologie ist gegeben Größerer kommerzieller Einsatz abzusehen Grosses öffentliches Interesse, jedoch wenig

bekannte Technologie Einsatz ohne teueres Equipment In Kombination mit Sprachsteuerung natürliche

Mensch-Maschine-Kommunikation Problem: derzeitige Leistungsgrenze von

Standard PC erreicht

2006-07-05 10/9 Technische Universität MünchenFlorio Delle Vedove

Backup

2006-07-05 11/9 Technische Universität MünchenFlorio Delle Vedove

KörpersprachenaspekteVerschiebung auf x-Achse

Verschiebung auf y-Achse

Rotation um y-Achse

Rotation x-Achse

Rotation um z-AchseVerschiebung auf z-Achse

2006-07-05 12/9 Technische Universität MünchenFlorio Delle Vedove

Drehteller

2006-07-05 13/9 Technische Universität MünchenFlorio Delle Vedove

Kartensteuerung

2006-07-05 14/9 Technische Universität MünchenFlorio Delle Vedove

Panorama

2006-07-05 15/9 Technische Universität MünchenFlorio Delle Vedove

Pacman

2006-07-05 16/9 Technische Universität MünchenFlorio Delle Vedove

Cube

2006-07-05 17/9 Technische Universität MünchenFlorio Delle Vedove

Monitor

2006-07-05 18/9 Technische Universität MünchenFlorio Delle Vedove

PDM

2006-07-05 19/9 Technische Universität MünchenFlorio Delle Vedove

Erkennung von Körpersprachenaspekten

2006-07-05 20/9 Technische Universität MünchenFlorio Delle Vedove

Sensorhandschuh

2006-07-05 21/9 Technische Universität MünchenFlorio Delle Vedove

Lichtvorhang

2006-07-05 22/9 Technische Universität MünchenFlorio Delle Vedove

PointScreen

2006-07-05 23/9 Technische Universität MünchenFlorio Delle Vedove

Eye Toys

2006-07-05 24/9 Technische Universität MünchenFlorio Delle Vedove

Puzzle

2006-07-05 25/9 Technische Universität MünchenFlorio Delle Vedove

Architektur

2006-07-05 26/9 Technische Universität MünchenFlorio Delle Vedove

Architektur

2006-07-05 27/9 Technische Universität MünchenFlorio Delle Vedove

Einsatzgebiete Einsatz

Subsituierende Steuerung Ergänzende Steuerung Neue Anwendungsgebiete

Vorteile Vandalismussicherheit Wartungsreduktion Erfüllung hoher Hygieneanforderungen Höhere Kommunikationsbandbreite in speziellen

Einsatgebieten