simulação gráfica e visão computacionalsmusse/simulacao/pdfs/... · visão computacional soraia...
TRANSCRIPT
![Page 1: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/1.jpg)
Simulação Gráfica
e
Visão Computacional
Soraia Raupp Musse
03/12/2013
![Page 2: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/2.jpg)
�Analisar exemplos comerciais e do estado-da-arte científicos que utilizam dados reais para aprimorar a qualidade de simulações e animações.
Objetivo
![Page 3: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/3.jpg)
�O estúdio foi equipado com 52 câmeras para gravar todos os movimentos de Andy. Foram usados 60 marcadores na roupa, que mapeados pelo computador, informaram a posição do ator no espaço.
Cinema: King Kong
informaram a posição do ator no espaço.
�Posteriormente estes pontos foram ligados em um modelo 3D humano para então criar uma proporção com o modelo do King Kong e repassar todos os movimentos para este modelo.
![Page 4: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/4.jpg)
Cloth Simulation
![Page 5: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/5.jpg)
Trackable Surfaces
Vídeo: Guskov
![Page 6: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/6.jpg)
Técnicas para Animação Facial
�Performance-driven
� Captura de pessoas reais
MOCAP
6
� MOCAP
� Visão Computacional
� Com ou sem marcadores
� Uma ou mais câmeras
� Tempo real ou pós-processamento
![Page 7: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/7.jpg)
Kara (Quantic Dreams)
�Usando marcadores...
![Page 8: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/8.jpg)
Vision-based Control
�Real-time tracking facial expressions
![Page 9: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/9.jpg)
Animação Facial
�Principais técnicas
� Paramétrica/Modelos “Transformáveis”
[Blanz 99]
9
![Page 10: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/10.jpg)
Com marcação, mapeamento direto
10
RossanaReflecting
![Page 11: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/11.jpg)
Sem marcação, combinando dados de MOCAP
Face.avi
![Page 12: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/12.jpg)
Sistema Óptico com Maquiagem
www.mova.com
![Page 13: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/13.jpg)
Image Metrics
www.mova.com
![Page 14: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/14.jpg)
Falando da movimentação de pessoas
�Que tal usar dados da vida real para modelar movimentos de pessoas?
![Page 15: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/15.jpg)
EG 2007
![Page 16: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/16.jpg)
![Page 17: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/17.jpg)
�Challenges:
� Computer vision algorithms..
How to validate? � How to validate?
� How to compare with real life?
![Page 18: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/18.jpg)
Outline
� Introduction
� Patterns of real people behaviour
� Using Computer Vision for simulating and validating crowds
� Crowd Simulation in Security Applications
![Page 19: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/19.jpg)
![Page 20: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/20.jpg)
Introduction
� Important challenge is to include characteristics of real crowds into computer simulationcomputer simulation
�How to characterize real crowds?
�How to annotate crowd behaviors?
![Page 21: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/21.jpg)
Introduction
� Crowd Characteristics
� Crowd space (occupied space, proximity among individuals, regions where people walk),
� Crowd size (number of groups and individuals � Crowd size (number of groups and individuals inside each group),
� Crowd density (relation between space and crowd sizes) – also related with crowd structure (crowds, groups and individuals)
� Crowd activity,
� Crowd basic behaviours (walk, grasp, look at some location, apply a posture),
� Others…
![Page 22: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/22.jpg)
![Page 23: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/23.jpg)
One example…
![Page 24: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/24.jpg)
Crowd notation can work…
![Page 25: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/25.jpg)
How about a complex situation?situation?
![Page 26: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/26.jpg)
So, we need People Tracking…
� One or more cameras?
� Color or monochromatic?
� Static or moving camera?� Static or moving camera?
The most common approach is to use a single
static camera (color or monochromatic), and
the first step of tracking algorithms is typically
background subtraction
![Page 27: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/27.jpg)
Background Subtraction
� In a few words, it consists of obtaining a mathematical model of the background, which is compared to each frame of the which is compared to each frame of the video sequence. Then, pixels with sufficient discrepancy are considered foreground pixels, and sets of connected pixels are usually called blobs.
![Page 28: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/28.jpg)
Background Subtraction
�One problem inherent to background subtraction is the undesired detection of shadows (or highlights) as foreground shadows (or highlights) as foreground objects. Indeed, shadows may connect isolated people in a scene, generating a single blob and probably compromising the performance of the tracking algorithm.
![Page 29: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/29.jpg)
Shadows and background adaptation
�So, we need algorithms for shadow detection
Another desired characteristic for �Another desired characteristic for background removal is adaptation to changes in the background.
![Page 30: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/30.jpg)
An Approach for Crowd Simulation Using Computer
Vision(CAVW 2007)
� Overview of the method:
� Use computer vision algorithms to track the
trajectory of each filmed individualtrajectory of each filmed individual
� Group coherent trajectories into “motion clusters”,
based on the main direction of each trajectory
� Compute an extrapolated velocity field for each
motion cluster
� Apply a crowd simulator that uses the extrapolated
velocity fields to guide virtual humans
![Page 31: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/31.jpg)
Clustering ApproachDisplacement vector
Feature vectorFeature vector
![Page 32: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/32.jpg)
Clustering Approach
![Page 33: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/33.jpg)
Computing an extrapolated velocity field for each cluster
![Page 34: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/34.jpg)
Experimental Results
� Integration with Crowd Simulator
Where comes from extrapolated vector field
If it’s an emergency situation, then it points to exits
g
iv
![Page 35: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/35.jpg)
� Simulating using 23 virtual agents
Experimental Results
![Page 36: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/36.jpg)
� Simulating using 70 virtual agents
Experimental Results
![Page 37: Simulação Gráfica e Visão Computacionalsmusse/Simulacao/PDFs/... · Visão Computacional Soraia Raupp Musse 03/12/2013. Analisar exemplos comerciais e do estado-da-arte científicos](https://reader036.vdocuments.site/reader036/viewer/2022081617/602503404a8fae58ac5747a0/html5/thumbnails/37.jpg)