2 3 d graphics
Post on 05-Dec-2014
642 Views
Preview:
DESCRIPTION
TRANSCRIPT
2de IBBT Brokerage Event
Break-out Sessie
3D Graphics
Sessieleider: Eddy FlerackersIBBT Program Manager: Nico Verplancke
2
2de IBBT Brokerage Event – « 3D Graphics»
Sessievoorzitter
Sessievoorzitter: Prof. dr. Eddy Flerackers
Presentatie: Prof. dr. Frank Van Reeth
3
2de IBBT Brokerage Event – « 3D Graphics»
Topics to Cover
Doelstelling break-out sessieIBBT onderzoek 3D GraphicsIBBT GBO en ISBO projecten met 3D GraphicscomponentenDiscussie mogelijke project-voorstellen/topicsConclusies
4
2de IBBT Brokerage Event – « 3D Graphics»
Doelstelling break-out sessie
Het basisprincipe van het IBBT is een vraaggedreven onderzoeksprogrammeringDe doelstelling van het brokerage event is proposals te initiëren op basis van onderzoeksvragen en ideeën vanuit de bedrijfswereldDe doelstelling van de break-out sessies:
de thema’s die zouden kunnen leiden tot projectvoorstellen verder uitdiepenpotentiële trekkers voor een mogelijke indiening detecteren
5
2de IBBT Brokerage Event – « 3D Graphics»
Doelstelling break-out sessie
Idealiter zal de break-out “3D Graphics” leiden tot:
een potentiële cluster van partners uitwisseling van contactgegevens
Op basis hiervan zal de coördinator de nodige initiatieven nemen om de partners samen te brengen en de proposal verder uit te werken rond een gezamenlijk interessedomein
6
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »
Lopende en ingediende IBBT projecten met 3D Graphics componenten:
GBO:A4MC3VACFASCIT...
ISBO:VINQoE
7
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »
Modelleren:Subdivision surfaces
© Pixar
8
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »
Rendering:FotorealistischNiet-FotorealistichBeeld-gebaseerd
9
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »
10
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »
11
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »
12
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »
Interactie met 3D virtuele omgevingen
13
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »
Genetwerkte Virtuele Omgevingen Samenwerken op afstandEdu-/entertainmentVirtual Communities...
14
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »
R&D Topics Genetwerkte Virtuele Omgevingen CommunicatieRepresentatieInteractie
=> Schaalbaarheid en bandbreedte-optimisatie
15
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »
0
10000
20000
30000
40000
50000
60000
70000
80000
1 43 85 127
169
211
253
295
337
379
421
463
505
547
589
631
673
715
757
799
841
883
Time (sec)
Bits
UDP RecvUDP Send
0
50000
100000
150000
200000
250000
300000
350000
400000
1 37 73 109
145
181
217
253
289
325
361
397
433
469
505
541
577
613
649
685
721
757
793
829
865
Time (sec)
bits
UDP SendUDP Recv
Schaalbaarheid
16
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »Multi-resolutie modellering
5516 triangles 1379 triangles 173 triangles
17
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »IBR in Genetwerkte Virtuele Omgevingen
18
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »Mobiele Genetwerkte Virtuele Omgevingen
19
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »Mobiele Genetwerkte Virtuele Omgevingen
20
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »Mobiele Genetwerkte Virtuele Omgevingen
21
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »Video Avatars in Genetwerkte Virtuele Omgevingen
22
2de IBBT Brokerage Event – « 3D Graphics»
IBBT onderzoek « 3D Graphics »Interactie met Genetwerkte Virtuele Omgevingen
23
Online Gaming
IBBT onderzoek « 3D Graphics »
Scalable 3D Collaborative Gaming Framework
3D GAME
IntelligentDistributionScalable content
of the 3D game
Scalable network &terminals
Game World Partitionin the initial network
Terminal characteristics
Global TopologyNetwork
characteristics
Canonical3D content
Representation
Game World
GlobalProcessing capabilities
LocalNetworkmodel
Weak node
Powerful node
24
Online Gaming
high performancehigh quality
IBBT onderzoek « 3D Graphics »
contentstoredonline
low qualitylow performance
low power
25
Content Quality Driven Energy Management System for Mobile 3D Graphics
IBBT onderzoek « 3D Graphics »
Don’t show what isn’t needed
26
Content Quality Driven Energy Management System for Mobile 3D Graphics
IBBT onderzoek « 3D Graphics »
MPEG-4Wavelet Subdivision Surfaces
Error
Complexity: software and hardware rendering
27
MPEG-4 Scalable Video Coding
IBBT onderzoek « 3D Graphics »
A new video codec with true scalability in space, time and quality
To be standardized in MPEG-4 Part 10 Amendment 1
wirelessnerworks
SpeakerQCIF15Hz
Phone UserQQCIF7.5Hz
Silent UserQQCIF3.75Hz
28
MultiView
IBBT onderzoek « 3D Graphics »
Multi-view videoin Hollywood
29
MultiView
IBBT onderzoek « 3D Graphics »
30
MultiView
IBBT onderzoek « 3D Graphics »
1
2
N # cameras
Tx
CameraCompression
Reconstruction:<< users server-based>> users client-based
RaySpace (one MPEG candidate):>> users, yet server-based
CR=200 CR=30 CR=60 CR=200
Relation with SVC multi-resolution
Distribute to both sides
31
Multiview
IBBT onderzoek « 3D Graphics »
Omni-directional video
32
Multiview
IBBT onderzoek « 3D Graphics »
Free Viewpoint video
33
MPEG-4: AFX
IBBT onderzoek « 3D Graphics »
The AFX toolset, standardized by the SNHC group from MPEG-4, comprises tools to achieve virtual 3D scenes, such as: high-level geometry representations, texture tools, solid modeling, animation tools, …Example of tools:
Wavelet Subdivision Surfaces:
Solid Representations:
Light Field Mapping:
MeshGrid:
34
MESHGRID Object Representation
IBBT onderzoek « 3D Graphics »
35
MESHGRID Components
IBBT onderzoek « 3D Graphics »
MESHGRID Components:Reference Grid (RG) : acts as the reference system (RS) of the model and allows for non-uniform sampling of the volume.Connectivity Wireframe (CW): the surface description.
36
MESHGRID: Optimising the model
IBBT onderzoek « 3D Graphics »
37
MESHGRID: ROI based Encoding
IBBT onderzoek « 3D Graphics »
Partitioning of large multi-resolution models into ROIs:
38
Scalable Streaming of 3D Scenes
IBBT onderzoek « 3D Graphics »
Server
PC Client PDA Client
39
MESHGRID: Volumetric Animation
(a) (b) (c)
IBBT onderzoek « 3D Graphics »
40
MESHGRID: Volumetric Morphing
IBBT onderzoek « 3D Graphics »
41
MESHGRID: 3D Scientific Simulation
IBBT onderzoek « 3D Graphics »
Dynamic multi-layer MeshGrid model. Topological changes are seamless during the animation.The animation can be saved as a 3D video.
42
MESHGRID: Landscapes
IBBT onderzoek « 3D Graphics »
43
MESHGRID: Summary
IBBT onderzoek « 3D Graphics »
MESHGRID is the most generic object representation from MPEG-4 AFX.Designed using a novel approach: preserve both the volumetric and the surface description of the model.MESHGRID is multi-scalable (level of detail and quality) and allows for view-dependent reconstruction:
Size of the models is not an issue due to the ROI-based encoding.
MESHGRID has particular animation possibilities: volumetric modeling of surface models.Presence of the volumetric information allows specifying material properties (e.g. density, elasticity, …) to the volume of the model:
Useful in virtual reality applications using haptic devices for force feedback.
MESHGRID is appropriate for representing dynamic models (e.g. in scientific simulations or real life scenes) and for encoding theanimation as a 3D interactive video.
44
2de IBBT Brokerage Event – « 3D Graphics»
Discussie mogelijk projectvoorstel rond « 3D Graphics »
Rondvraag publiek: specifieke verdere interesses?
Expliciet voorbereiden/klaarmaken “conclusie slide”
=> Bezoek de stands in de demoruimte ☺
45
2de IBBT Brokerage Event – « 3D Graphics»
Er is een substantiële know-how aanwezig binnen IBBT rond 3D Graphics:
Modelleren, Animatie, BeeldsyntheseInteractie met 3D virtuele omgevingenLink naar netwerken: Genetwerkte Virtuele OmgevingenOptimisatie naar 3D weergave op mobiele toestellenInput naar standardisatie via MESHGRID R&D
Er zijn een aantal lopende (GBO) en ingediende projecten (ISBO) met 3D Graphics componentenMogelijke GBO projectvoorstellen:
Larian: next generation GPUsBARCO avionics: Digital Terrain DB’s -> multires rep.Agoria: Location based 3D services?VRT + KMO’s: 3D community building (ook naar kultuur toe)
Conclusies
top related