ergonomie und mensch-maschine systeme - iaw- · pdf fileergonomie und mensch-maschine systeme...

© Lehrstuhl und Institut für Arbeitswissenschaft, RWTH Aachen

Ergonomie und Mensch-Maschine Systeme (Arbeitswissenschaft II)

Lehreinheit 11Virtual Reality / Augmented Reality

Sommersemester 2017

Dr.-Ing. Dr. rer. medic. Dipl.-Inform. Alexander Mertens Lehrstuhl und Institut für Arbeitswissenschaft

RWTH AachenBergdriesch 2752062 Aachen

Tel.: 0241 80 99 494E-Mail: [email protected]

12 - 2© Lehrstuhl und Institut für Arbeitswissenschaft, RWTH Aachen

Lernziele

Ziel der Lehrveranstaltung ist die Vermittlung von Kenntnissen

� zur Bedeutung der Kernbegriffe�VR - Virtual Reality (Virtuelle Realität) und �AR - Augmented Reality (Erweiterte Realität)im Kontext von Design, Produktentwicklung, Produktion, Marketing und Vertrieb.

� zu unterschiedlichen Anwendungsbeispielen in verschiedenen Industrien

� zu menschlichen Wahrnehmungsmodalitäten (bes. räuml. Sehen und Hören)

� zu verschiedenen Technologien für die Virtuelle und Erweiterte Realität

� zu Studien zur Ergonomie am Institut für Arbeitswissenschaft


Gliederung

� Einführung und Kernbegriffe� Anwendungsbeispiele in unterschiedlichen Industrien� Sinneswahrnehmung und menschliche Informationsaufnahme� Technologien für die Virtuelle und Erweiterte Realität� Ergonomie-Studien am IAW


Was ist Virtuelle Realität (Virtual Reality)?

Das realitätsnahe, interaktive Erleben räumlicher Umgebungen, die- nicht mehr (Vergangenheit)- nicht (Gegenwart)- noch nicht (Zukunft)

real verfügbar sind.

Virtuelle Realität im Produktlebenszyklus:

Design Engineering Produktion

MarketingVertriebService

Quelle: FordQuelle: Lockheed Martin

Quelle: Audi

Quelle: Miele

Quelle: DesignQQuelle: Virtalis


Was ist Erweiterte Realität (Augmented Reality)?

Das realitätsnahe, interaktive Erleben räumlicher Objekte, die- nicht mehr (Vergangenheit)- nicht (Gegenwart)- noch nicht (Zukunft)

real verfügbar oder sichtbar* sind. *Einfacher: die lagerichtige Anzeige von Zusatzinformationen in Echtzeit.

Quelle: TU München

Design Engineering Produktion

MarketingVertriebService

Erweiterte Realität im Produktlebenszyklus:

Quelle: RE‘FLEKT

Quelle: Volkswagen Quelle: Bentley Systems

Quelle: 16KAgencyQuelle: MARXENT


I3

IMMERSION

INTERACTION IMAGINATION

I3

IMMERSION

INTERACTION IMAGINATION

Gemeinsame Kennzeichen vonVirtueller und Erweiterter Realität

� Immersion �Eintauchen des Benutzers in eine

zumindest teilweise künstliche Welt�multimodale Darstellung z. B. visuell,

auditiv und haptisch/kinästhetisch� Imagination

�Vorstellung von Präsenz�natürliche, erwartungs-

konforme (Kommando-) Eingabeund realistische 3D-Darstellung

� Interaktion�Bewegen, Explorieren

und Manipulieren�einfache, intuitive Nutzbarkeit�echtzeitnahe Systemreaktionen


Einordnung von Erweiterter und Virtueller Realität

Reality-Virtuality-Kontinuum (nach Milgram & Colqhoum 1999)

VollständigeRealität

VollständigVirtuelleRealität


Gliederung



Augmented Reality in der Chirurgie macht die Lage nicht unmittelbar sichtbarer Gefäße

deutlich

Beispiele für VR und AR in verschiedenen Industrien

Automotive

Transportation

Luft- und Raumfahrt

Maritime Systeme

Anlagenbau

Medizintechnik

Mode und Textil

Unterhaltung

Quelle: Audi

Virtual Reality Design Studios erleichtern das schnelle und

abgesicherte Treffen von Entscheidungen

Quelle: ESI Group

Virtuelle geplante Anlagenbegünstigen Transparenz

hinsichtlich des Aufbaus, der Inbetriebnahme und Wartung

Quelle: EUDD

Virtuelle Trainingssysteme für Bahnsysteme erhöhen die Sicherheit bei Senkung der Ausbildungskosten

Quelle: Fraunhofer MEVIS

Virtuelle Prototypen geben ein realistischen Eindruck des

geplanten Flugzeugs

Quelle: Airbus

Quelle: BlueSharkIn der Virtuellen Realität

können riskante Manöver miteinem Unterseeboot beliebig oft

durchgespielt werden

Quelle: Uniqlo

Automatische Erkennung menschlicher Extremitäten

ermöglicht das virtuelle „Anprobieren“ von Kleidung

Quelle: WiderunVirtual Reality verspricht

weitreichende Möglichkeiten in Sport und Unterhaltung

durch realistische Darstellung synthetischer Welten


Gliederung



Wahrnehmung undmenschliche Informationsaufnahme

Schmerzwahrnehmungalle freien NervenendenSchmerz

VisuellAugeFarbe/Helligkeit

AuditivInnenohrTonhöhe/Lautstärke

Haptisch - TaktilHaut (Vater-PacinischeLamelle und MeißnerscheTastkörper)Druck/Berührung/Vibration

VestibulärVestibulärapparatim MittelohrbereichLinear- und Winkel-beschleunigung

Haptisch - KinästhetischMuskelspindelStellung und Geschwindigkeitder Körperteile zueinander sowie Kräfte

GustatorischZungenoberflächeGeschmack

OlfaktorischSchleimhautstückim oberen NasenraumGeruchseindrücke

ThermischHaut(Endkolben/Endorgane)Temperatur


Mensch-Maschine-Interaktionin der Virtuellen und Erweiterten Realität


Das menschliche Auge


Das menschliche Auge

Fovea centralis: - auch gelber Fleck oder Netzhautgrube- ist die Stelle des schärfsten Sehens im Auge- Größe von ca. ½ Millimeter

80 - 90 %der Sinneseindrückenimmt man mit dem

Auge wahr


Sehschärfe

Quelle: Schlick et al. 2010

� Sehschärfe in Abhängigkeit vom Ort der Netzhautabbildung

Ort der Netzhautabbildung

Seh

schä

rfe

(bei geringer Helligkeit)

Netzhaut

~ Max. Auflösung: 0,5´-1´


Farbensehen

� Farbsensibilität abhängig vom Adaptionszustand der Netzhaut

Head-Up Display im AutomobilQuelle: Continental

Quelle: nach Schierz u. Krueger 1996

Head-Up Display im FlugzeugQuelle: Lockheed Martin


Sehfelder & Sichtanalyse

Gesichtsfeld Blick-Gesichtsfeld (field-of-view)

Umblick-Gesichtsfeld (extended fov)

Bedingung bei ruhendem Kopf und ruhenden Augen

bei ruhendem Kopf und bewegten Augen

bei bewegtem Kopf und bewegten Augen

Horizontal

Hellreize

Monokular: -60 bis +90°

Binokular: -60 bis +60°(optimal 15°)

Monokular: –75 bis +110°

Binokular: –75 bis +75°(optimal 30°)

Monokular:–125 bis +160°

Binokular:–125 bis +125°(optimal 55°)

Vertikal

Hellreize

Mono- undbinokular:-75 bis +55°

Mono- undbinokular:-85 bis +65°

Mono-binokular:-90 bis +110°

Sichtanalyse mit Catia V5 Human Builder

optimales Gesichtsfeld


Räumliches Sehen


Akkommodation

Akkommodation: optische Anpassung des Auges an verschiedene Entfernungen durchVerändern der Brechkraft der Augenlinse („Scharfstellen auf der Netzhaut“)

nahes Objekt

entferntes Objekt F1

F2


Akkomodationsbreite und Nahpunkt

Quelle: Herczeg 2003

� Akkomodationsbreite und Nahpunkt in Abhängigkeit vom Alter

1D

f

: Brennweite der Linse in [m]

f

: Brechwert in [dpt oder m-1]D


Vergenz

nahes Objekt

entferntes Objekt

Kon

verg

enz

Div

erge

nz

Konvergenzwinkel


Schätzen der absoluten Entfernunganhand des Konvergenzwinkels

Konvergenzwinkel

a: Augenabstande: Entfernung zum Schätzobjekt P

a

e

Pe

a 122

tan

ea2

arctan2


Disparität

Abbildung eines DrahtwürfelsAbbildung auf disparaten Punkten

linkes Auge rechtes Augea1

b1a2

b2

A

B


TexturgradientenBewegungsparallaxe

lineare Perspektive bekannte Objekte

Bewegung

Logische Sichtmechanismen


Das menschliche Ohr


Das menschliche Ohr

Ohrmuschel PaukenhöhleInnenohr

Eusta-chischeRöhreMittelohrTrommelfell

ÄußeresOhr

Gehör-gang

Ohrmuschel PaukenhöhleInnenohr

Eusta-chischeRöhreMittelohrTrommelfell

ÄußeresOhr

Gehör-gang

Mittelohr

Hammer Amboß

Steinbügel Schnecke

Bogengänge

InnenohrMittelohr

Hammer Amboß

Steinbügel Schnecke

Bogengänge

Innenohr

Steigbügel


Kurven gleicher Lautstärke

Frequenz (Hz)

Sch

alld

ruck

pege

l (dB

)

Frequenz (Hz)

Laut

stär

ke (p

hon)

Kurven gleicher subjektiver Lautstärkenach DIN ISO 226


Räumliches Hören


Akustische Raumwahrnehmung

r

rrs sin

)(sin

cr

cst

Laufzeitdifferenz:

Wegdifferenz:

sm343cmit

Schall-Schatten, der dannentstünde, wenn es nicht zurBeugung von Schallwellen käme

Weg, den der Schallzum näher gelegenen(linken) Ohrzurücklegen muss

Weg, den der Schallzum weiter entfernten(rechten) Ohrzurücklegen muss

r


Gliederung



Dateneingabe in derVirtuellen & Erweiterten Realität


Eingabegeräte

Tracking-Systeme

Gestenerkennung

Dateneingabe in der Virtuellen und Erweiterten Realität:Position, Lage & Bewegung von Objekten im Raum

Menschliche Hand

Objekte Allgemein

2D Mustererkennung

3D Objekterkennung

IntegrierteInertialsensorik


Dateneingabe in der Virtuellen und Erweiterten Realität: Vergleich verschiedener Tracking-Prinzipien

� Optisch (Infrarot)�Vorteile: schnell�Nachteile: hohe Kosten, Verdeckungen

� Elektromagnetisch�Vorteile: schnell, kostengünstig, durchdringt Gewebe�Nachteile: keine metallischen Gegenstände, Störfelder

� Mechanisch�Vorteile: schnell, kostengünstig�Nachteile: eingeschränkter Arbeitsraum

� Ultraschall�Vorteile: schnell, kostengünstig�Nachteile: Verdeckungen

Quelle: A.R.T.

Quelle: Faro

Quelle: Ascension

Quelle: Intersense


Datenausgabe in derVirtuellen Realität


Head-Mounted-Display(HMD)

Shutterbrille*

CAVE AutomaticVisual EnvironmentAutostereoskopische

Displays

Datenausgabe in der Virtuellen Realität:Prinzipien zur Datenausgabe

Powerwall

Interferenzfilter-/ Polfilterbrille*

*zusammen mit einer Powerwall oder CAVEAm Kopf

Im Raum

opak


FOV

Sehwinkel für 1 Pixel ca. 2,5‘Abstand der Zäpfchen im Auge: ca. 0,25 - 0,5‘Auflösungsvermögen: 0,5 - 1‘ (Bogenminute)

Anz

ahl P

ixel

(ver

tikal

, hor

izon

tal)

Datenausgabe in der Virtuellen Realität:Ergonomie – Auflösung der Ausgabesystems


Quelle: David Drascic and Paul Milgram

Datenausgabe in der Virtuellen Realität:Ergonomie – Akkommodations-Vergenz-Konflikt

virt

uelle

s O

bjek

t

Konvergenz

Akkommodation real,Konvergenz real

reales Objektin gleicher Tiefe wie virtuelles

Akkommodation virtuell

Proj

ektio

nsflä

che

Wahrnehmung desvirtuellen Objekts


Datenausgabe in der Virtuellen Realität:Ergonomie – Simulatorkrankheit (Cyber Sickness)

Symptome:� Allgemeines Unbehagen� Ermüdung� Kopfschmerzen� Überanstrengte Augen� Schwierigkeiten, scharf zu sehen� Schwitzen� Übelkeit� Konzentrationsschwierigkeiten� Druckgefühl im Kopfbereich� Verschwommene Sicht� Schwindel (geöffnete Augen)� Schwindel (geschlossene Augen)� Gleichgewichtsstörungen� Magenbeschwerden� Aufstoßen

Ursachen: � Desorientierung� Widersprüchliche Reize (Kinästhetik)� Systemlatenzzeiten


Datenausgabe in derErweiterten Realität


HMD* mit videobasierter

Durchsicht

Objekt-AufprojektionTablet Augemented

Reality

Datenausgabe in der Erweiterten Realität:Prinzipien zur Datenausgabe

Head-Up Display

Look-AroundHMD*

Am Kopf

Im Raum

video

HMD* mit optischerDurchsicht

*HMD = Head-Mounted Display


Datenausgabe in der Erweiterten Realität:Sichtprinzipien im Überblick

Videobasiert OptischA

m K

opf

Im R

aum


OptischeDurchsicht

VideobasierteDurchsicht

+reale Welt in Echtzeit, nur das, was nötig ist, wird virtuell dargestellt

- Eventuell Latenz zwischen realer Welt und überlagerten virtuellen Informationen

- Halbdurchlässiger Spiegel:reale Welt ist abgedunkeltdargestellt („Sonnenbrille“) undvirtuelle Objekte sind transparent

+zeitliche und räumliche Übereinstimmung zwischen realer Welt und virtuellen Informationen

- Gesamtsicht ggf. mit Zeitverzug (Latenz)- Für räumliche Wahrnehmung sind zwei Kameras

und zwei Monitore notwendig � hohe Masse- Eventuell Versatz der realen Welt zur Sehachse- Begrenzte Auflösung der Kamera/des Monitors

+/- Monitor: auch als einfache 2D-Lösung(Tablet AR)

Datenausgabe in der Erweiterten Realität:Sichtprinzipien – Vor- und Nachteile


Pragmatische Ebene:� AR-Benutzungsmetaphern:

Benutzer kann sich auf sein Vorwissen stützen(z.B. das „Fernauge“ oder die „Röntgenbrille“)

Semantische Ebene: � Anreicherung von Objekten

in der Realität mit semantischer(Zusatz-)Information

Schaltschrank einer Werkzeugmaschine

SIRIUS-Leistungsschalter

Typ 3RV1.1

Datenausgabe in der Erweiterten Realität:Semiotisches Modell – Pragmatische & Semantische Ebene


Datenein und -ausgabe in der Erweiterten Realität:Semiotisches Modell – Syntaktische & Physikalische Ebene

Syntaktische Ebene:� Hand- und Körpergestenerkennung� natürlichsprachliche Interaktion� lernende Benutzungsschnittstellen

Physikalische Ebene:� Darstellungsgrößen und -formen� Helligkeit und Kontrast� Verdeckungseffekte

Release of nut Release of nut


Gliederung

� Einführung und Kernbegriffe� Anwendungsbeispiele in verschiedenen Industrien� Sinneswahrnehmung und menschliche Informationsaufnahme� Technologien für die Virtuelle und Erweiterte Realität� Ergonomie-Studien am IAW


Darstellungsgröße der virtuellenInformation, Verdeckung der realen Welt

schlechte Erkennbarkeithohe Fehlerrate

große Verdeckung derrealen Welt

evtl. Unfallgefahr

Darstellung zu klein Darstellung zu groß

?

Optimale Darstellungsgröße

Ergonomie-Studie am IAW:Grad der Verdeckung der realen Welt bei AR mit HMD

Release of nutRelease of nut

Release of nut


Ergonomie-Studie am IAW:Reaktionszeiten und Fehleranteile bei AR mit HMD

18´ 36´ 72´ 144´ 288´

Darstellungsgröße

6,00

6,50

7,00

7,50

Rea

ktio

nsze

it [s

]

18´ 36´ 72´ 144´ 288´

Darstellungsgröße

0,05

0,10

0,15

0,20

Fehl

eran

teil


Ergonomie-Studie am IAW:Belastungsempfinden bei der Benutzung von HMDs

• 60 Probanden zwischen 19 und 59 Jahren eingeteilt in 2 Altersgruppen;AG1: 18-39; AG2: 40-59

• Unabhängige Variablen:• HMD mit geschlossener Sicht• HMD offene Sicht (See-Through)• Konventionelles Display, Größe 19“• Alter der Probanden

• Abhängige Variablen Durchführungszeit Physiologische Beanspruchung Subjektive Beanspruchung Simulatorkrankheit (SSQ)

Vergleich des Belastungsempfindens bei der Benutzung von zwei verschiedenen monokularen HMD-Typen mit einem herkömmlichen Bildschirm

• Untersuchung der Muskelbelastung überElektromyographie im Schulter-/Nackenbereich

• Aufgabe: Montage eines Vergasers

Entsprechende Anweisungen wurden imHMD oder auf dem Display angezeigt


Ergonomie-Studie am IAW:Belastungsempfinden bei der Benutzung von HMDsErgebnisse:

• Signifikanter Effekt bei der Ausführungszeit für die verschiedenen Displaytypen, jedoch nicht für die verschiedenen Altersgruppen

Ausführungszeit:

HMD Offen: 6902 Sekunden HMD geschl.: 7390 SekundenDisplay: 6275 Sekunden

• Signifikanter Effekt bei Belastungsmessung durch EMG zwischen den verschiedenen Altersgruppen

AP1-AP4: verschiedene Muskelgruppen

HMD mit offener Sicht belastet die untersuchten Muskelgruppen im Schulter- und Nackenbereich am wenigstenFazit:

HMDs mit offener Sicht bringen bei der Unterstützung von Arbeitsanweisung nicht unbedingt einen Geschwindigkeitsvorteil, dafür jedoch ergonomische Vorteile.


Lernerfolgsfragen

� Was unterscheidet virtuelle Realität von erweiterter Realität? Was haben diese Ansätze gemeinsam?

� In welchen Phasen des Produktlebenszyklus und in welchem Industrien werden virtuelle und erweiterte Realität eingesetzt?

� Auf welchen physikalischen Prinzipien basieren stereoskopisches Sehen und räumliches Hören?

� Mit welchem Technologien kann eine stereoskopische Visualisierung umgesetzt werden?

� Mit welchem monokularen Mechanismen kann ein räumlicher Eindruck erzeugt werden?

� Was versteht man unter Tracking, wozu wird es gebraucht und welche Verfahren gibt es?

� Welche ergonomischen Probleme können bei der Benutzungvon AR- und VR-Technologien auftreten?


Literaturverzeichnis� AICES: Virtual Reality Group der RWTH Aachen. http://www.aices.rwth-aachen.de/about/institutes/vr� ART: Advanced Realtime Tracking Infrared Tracking System. http://www.ar-tracking.com/home/� ARVIDA: Angewandte Referenzarchitektur für virtuelle Dienste und Anwendungen. http://www.arvida.de/� Ascension: Electromagnetic Spatial Tracking Solutions. http://www.ascension-tech.com/� BlueShark: Enhanced Environment for Communication and Collaboration. http://e2c2.ict.usc.edu/� ESI: IC.IDO Virtual Reality Solution. https://www.esi-group.com/software-services/virtual-reality� EUDD: European Driver‘s Desk. http://ec.europa.eu/research/transport/projects/items/euddplus_en.htm� Faro: Faro Arm – Tragbares Koordinatenmessgerät. http://www.faro.com/de-de� IKT 2020: Virtuelle Techniken für die Fabrik der Zukunft. http://www.bmbf.de/de/9069.php� InterSense: Precision Motion Tracking Solutions. http://www.intersense.com/� ISMAR 2015: EEE International Symposium on Mixed and Augmented Reality. http://ismar.vgtc.org/� Milgram, P.; Colquhoum, H. (1999): A Taxonomy of Real and Virtual World Display Integration.

In: Ohta, Y.; Tamura, H. (Hrsg.): Mixed Reality – Merging Real and Virtual Worlds, Springer Verlag, Berlin.� Mechdyne: Advanced Audiovisual Technology Solutions. http://www.mechdyne.com/� Neuhöfer, J. A.: System zur Simulation der Mensch-Roboter-Kooperation in virtuellen und erweiterten

Umgebungen. Dissertation an der RWTH Aachen. Shaker-Verlag, Aachen.� Oehme, O.: Ergonomische Untersuchung von kopfbasierten Displays für Anwendungen der erweiterten

Realität in Produktion und Service (2004). Dissertation an der RWTH Aachen. Shaker-Verlag, Aachen.� Oculus VR: Consumer Market Virtual Reality Hardware. https://www.oculus.com/en-us/� Park. M.: Hand-Auge-Koordination bei videobasierten Augmented-Reality-Systemen in der Schweiß- und

Medizintechnik (2007). Dissertation an der RWTH Aachen. Shaker-Verlag, Aachen.� VDC: Virtual Dimension Center, KompetenzNetzwerk für Virtuelles Engineering. http://www.vdc-fellbach.de/� VR 2015: IEEE International Conference on Virtual Reality. http://ieeevr.org/2015/

ergonomie und mensch-maschine systeme - iaw- · pdf fileergonomie und mensch-maschine systeme...

Documents