katedra počítačov a informatiky fei tu košice · microsoft hololens oculus rift samsung gear vr...

Virtuálna Realita a jej technológie

doc. Ing. Branislav Sobota, PhD.

Katedra počítačov a informatiky

FEI TU Košice 23.02.2017 - seminár Aktuálne trendy

© 2017

KPI FEI TU Košice Virtuálna realita a jej technológie 2

Virtuálna realita

Virtuálno-realitný systém predstavuje

interaktívny počítačový systém, vytvárajúci

ilúziu v danom čase neexistujúceho len

syntetizovaného priestoru alebo ešte

presnejšie môžeme hovoriť o tzv. dokonalej

simulácii v prostredí tesného spojenia

človek-počítač

KPI FEI TU Košice Virtuálna realita a jej technológie 3

Používané pojmy

• Virtual reality

• Fuzzy reality

• Mixed reality (augmented, extended)

• cyberspace

• Pozorovateľ, cybernaut

• Avatar (zástupca pozorovateľa vo virtuálnom prostredí)

• HCI – Human Computer Interaction

KPI FEI TU Košice SVR - Virtuálna realita 3

Interakcia človeka s počítačom sa zaoberá návrhom, vyhodnotením a realizovaním interaktívnych výpočtových systémov pre použitie človekom a štúdiom hlavných javov,

ktoré ich obklopujú.

KPI FEI TU Košice Virtuálna realita a jej technológie 4

Avatar

KPI FEI TU Košice SVR - Virtuálna realita 4

inkarnácia naj/vyššej bytosti

(boha) na Zemi

z Avatára (sanskrit)

KPI FEI TU Košice Virtuálna realita a jej technológie 5

Historické náväznosti

Telespheremask (Morton L. Heilig, 1960s)

Sensorama (Morton L. Heilig, 1950s)

bicyklovanie Brooklynom

KPI FEI TU Košice Virtuálna realita a jej technológie 6

Podsystémy VR systému

KPI FEI TU Košice Virtuálna realita a jej technológie 7

Virtuálna realita

• oblasť používateľských rozhraní

• oblasť zmiešanej reality

• oblasť real-time vizualizácií

Rozvíjajúce sa oblasti:

KPI FEI TU Košice Virtuálna realita a jej technológie 8

Ďalšie technológie spadajúce do oblasti

VR

• telerobotika

• teleprezencia

• teleriadenie (t.j. účasť na vzdialenom deji, forma virtuálnej

výuky alebo forma virtuálnej konštrukčnej kancelárie)

KPI FEI TU Košice Virtuálna realita a jej technológie 9

Pracovisko

Unikátne pracovisko na výskum a vývoj nových flexibilných a inteligentných rozhraní systémov na báze počítačovej grafiky a technológií virtuálnej reality

Laboratórium LIRKIS Laboratórium Inteligentných Rozhraní Komunikačných a

Informačných Systémov

KPI FEI TU Košice Virtuálna realita a jej technológie 10

LIRKIS a pedagogický proces

KPI FEI TU Košice Virtuálna realita a jej technológie 11

Rozhrania systémov • Znakové (príkazový riadok (command line), terminál)

• Grafické

• Bio-adaptované, prirodzené a technológie virtuálnej reality

KPI FEI TU Košice Virtuálna realita a jej technológie 12

Vstupno/výstupné prostriedky

VR systémov

KPI FEI TU Košice Virtuálna realita a jej technológie 13

Výstupné prostriedky

vizualizačného podsystému

Microsoft HoloLens

Oculus Rift

Samsung Gear VR Google cardboard

KPI FEI TU Košice Virtuálna realita a jej technológie 14

Dátová rukavica

KPI FEI TU Košice Virtuálna realita a jej technológie 15

Snímače polohy a pohybu

Intersense IS9000 SimTracker

MS Kinect 1,2

MYO Fin Leap Motion

KPI FEI TU Košice Virtuálna realita a jej technológie 16

Simulácie polohy a pohybu

CyberWalk

Virtusphere

KPI FEI TU Košice Virtuálna realita a jej technológie 17

Pracovisko VR systému (1.generácia 1995-97)

KPI FEI TU Košice Virtuálna realita a jej technológie 18

Pracovisko VR systému

Pracovisko VR 1. generácie (KPI FEI TU Košice)

Pracovisko VR 2. generácie

s virtuálnou jaskyňou (KPI FEI

TU Košice)

1.-generačná datová

rukavica (KPI FEI TU

Košice)

KPI FEI TU Košice Virtuálna realita a jej technológie 19

Pracovisko VR systému – Virtuálna jaskyňa

KPI FEI TU Košice Virtuálna realita a jej technológie 20

Proces VR systému

Príprava

a získavanie

vstupov

Modelovanie

a úprava Overovanie

Vizualizácia

a práca

s virtuálnym

svetom

3D tlač

a vytváranie

reálnych

objektov

1 2 3 4 5

3D virtualizačný reťazec

KPI FEI TU Košice Virtuálna realita a jej technológie 21

Zmiešaná realita (MR)

Zmiešaná realita (mixed reality, MR) je oblasť počítačového výskumu

zaoberajúca sa kombináciou reálneho sveta a počítačom

generovaných dát (virtuálnej reality), kde počítačom generované

syntetické objekty sú vmiešavané do reálneho prostredia a naopak,

v reálnom čase

KPI FEI TU Košice Virtuálna realita a jej technológie 22

Typy MR systémov (podľa toho ako pozorovateľ vidí MR)

MR s priamym pohľadom

(optical see-through)

(s polopriepustným displejom)

MR s nepriamym pohľadom

(video see-through)

(s HMD)

KPI FEI TU Košice Virtuálna realita a jej technológie 23

Typy MR systémov (podľa toho ako dochádza k zlaďovaniu virtuálnych objektov s reálnym svetom )

• systémy so značkami (marker systems) – do reálnej scény sa umiestnia špeciálne značky, ktoré sú počas behu rozpoznané a nahradené virtuálnymi objektmi

• systémy bez značiek (semi-markless, markerless systems) - vyhodnocovanie a vkladanie je bez značiek, avšak sú potrebné iné doplnkové informácie napr. rozpoznanie obrazu – rekonštrukcia 3D scény, tváre príp. GPS

KPI FEI TU Košice Virtuálna realita a jej technológie 24

Obohatená a rozšírená realita (podľa toho v akom priestore dochádza k zlaďovaniu virtuálnych objektov s reálnym

svetom )

• Obohatená realita – bez priamej geometrickej väzby s reálnym svetom

• Rozšírená realita – s geometrickou väzbou s reálnym svetom

Google Glass

KPI FEI TU Košice Virtuálna realita a jej technológie 25

Previazanie zobrazovaných obrazov

v systémoch MR

reálna scéna videná používateľom

súradnicový systém reálnej

scény

Virtuálny (syntetizovaný) objekt

súradnicový systém virtuálnej

scény

Zosúladenie reálnej a virtuálnej scény

(prepočet súradnicových systémov)

súradnice pozície kamery

Renderovanie grafiky (výpočet výslednej

virtuálnej grafickej scény)

súradnice pozície kamery

súradnicový systém sveta

(výstupná súradnicová sústava)

Obraz scény (reálny pohľad)

Virtuálny obraz (virtuálny pohľad)

súradnice obrazu reálnej scény

súradnice virtuálneho obrazu

Výstupné zobrazovacie zariadenie

Výstupný obraz zmiešanej reality

R

používateľ

KPI FEI TU Košice Virtuálna realita a jej technológie 26

Príklady zmiešanej reality

KPI FEI TU Košice Virtuálna realita a jej technológie 27

UTV - Počítačová grafika a virtuálna realita KPI FEI TU Košice 27

3D skenovanie

(a) (b) (c) (d) (e)

(a) (b) (c)

KPI FEI TU Košice Virtuálna realita a jej technológie 28

3D/stereo zobrazovanie

Anaglyf

Stereoskopia a

autostereoskopia

3D a volumetrické displeje Holografia

KPI FEI TU Košice Virtuálna realita a jej technológie 29

3D tlač

KPI FEI TU Košice Virtuálna realita a jej technológie 30

3D tlač

KPI FEI TU Košice Virtuálna realita a jej technológie 31

Príklady aplikácií

Hlavná ulica v Košiciach

KPI FEI TU Košice Virtuálna realita a jej technológie 32

Príklady aplikácií

Hlavná ulica v Košiciach

(štátne divadlo)

KPI FEI TU Košice Virtuálna realita a jej technológie 33

Príklady aplikácií

Areál TU v Košiciach

KPI FEI TU Košice Virtuálna realita a jej technológie 34

Príklady aplikácií

Spišský hrad

Drôtový model Polygonálny model bez textúr

Farebný polygonálny model Polygonálny model s textúrami

KPI FEI TU Košice Virtuálna realita a jej technológie 35

Príklady aplikácií

Spišský hrad (fotografie a model)

KPI FEI TU Košice Virtuálna realita a jej technológie 36

Príklady aplikácií

Fotorealistická vizualizácia priestorov KPI

KPI FEI TU Košice Virtuálna realita a jej technológie 37

Príklady aplikácií

Fotorealistická vizualizácia priestorov KPI

KPI FEI TU Košice Virtuálna realita a jej technológie 38

Príklad aplikácií (AR)

KPI FEI TU Košice Virtuálna realita a jej technológie 39

Príklad aplikácií (Interaktívna školská lavica)

KPI FEI TU Košice Virtuálna realita a jej technológie 40

Príklad aplikácií

Práca s VR systémom (LIRKIS – KPI)

KPI FEI TU Košice Virtuálna realita a jej technológie 41

Príklady aplikácií

Virtuálny riadiaci pult

KPI FEI TU Košice Virtuálna realita a jej technológie 42

Experimentálne pracovisko MR (AR, KPI FEI)

KPI FEI TU Košice Virtuálna realita a jej technológie 43

reálny stav

vnem (pohľad) pozorovateľa

Experimentálne pracovisko MR (AR, KPI FEI)

KPI FEI TU Košice Virtuálna realita a jej technológie 44

Znázornenie tréningového procesu pomocou dátovej prilby a snímača v parciálnej úlohe

uchopenie telesa (hore) a pri posúvaní vozíka s motorom (dolu) vnem (pohľad) pozorovateľa

Virtuálne pracovisko v modelovacom prostredí Tecnomatix JACK 7.1 (SIEMENS, vizual KPI FEI TU Košice)

Experimentálne pracovisko MR (AR, KPI FEI)

KPI FEI TU Košice Virtuálna realita a jej technológie 45

Experimentálne pracovisko MR (AR, KPI FEI)

Ukážka práce a pohľad pozorovateľa v distribuovanom systéme zmiešanej

reality

Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice)

KPI FEI TU Košice Virtuálna realita a jej technológie 46

Experimentálne pracovisko MR (AR, KPI FEI)

Ukážka práce dvoch účastníkov v distribuovanom systéme zmiešanej reality

Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice)

Ďakujem za pozornosť