compression vidéo mpeg-4 ecole deté pdms, 30 août 2001 cécile dufour ([email protected])...
TRANSCRIPT
![Page 1: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/1.jpg)
Compression vidéo MPEG-4
Ecole d’Eté PDMS , 30 Août 2001
Cécile Dufour
Video and Communication Group
Laboratoires d’Électronique Philips (LEP)Philips Recherche France (PRF)
![Page 2: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/2.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Plan
• MPEG-4 : un standard ISO• MPEG-4 visual : introduction• MPEG-4 vidéo : les outils• MPEG-4 vidéo : planning et profiles
![Page 3: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/3.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Plan (1)
• MPEG-4 : un standard ISO• MPEG-4 visual : introduction• MPEG-4 vidéo : les outils• MPEG-4 vidéo : planning et profiles
![Page 4: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/4.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 : un standard ISO
Stockage d ’audio et vidéo naturelles sur support numérique (CD-ROM, DAT…)
1.2 Mbit/s Vidéo
Télévision numérique3-10Mbit/s
Applications Multimédia Interactives :Visiophonie, Internet Streaming,
TV Broadcast, ...
MPEG-7 : indexation de contenu
![Page 5: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/5.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 : un standard parmi d ’autres (1/2)
H.261
ITU-T ISO-IEC
JTC1
SG15 WG1 WG11 WG12 (JPEG) (MPEG) (MHEG)
H.263H.263/M
H.262 = MPEG-2
MPEG-1
MPEG-4H26L
![Page 6: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/6.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 : un standard parmi d ’autres (2/2)
1984 1986 1988 1990 1992 1994
H.261 H.263
MPEG-2
MPEG-1
ISO
ITU
MPEG-4
1996 1998 2000
H.263+
2002
H.26L
![Page 7: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/7.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 : organisation
• Requirements • Delivery• Systems• Video• SNHC• Audio• Tests• Liaisons
} Visual standard ISO/IEC/14496-2
![Page 8: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/8.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 : les standards
• Systems 14496-1• Visual 14496-2• Audio 14496-3• Conformance 14496-4• Software 14496-5• Delivery 14496-6
![Page 9: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/9.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Plan (2)
• MPEG-4 : un standard ISO• MPEG-4 visual : introduction• MPEG-4 vidéo : les outils• MPEG-4 vidéo : planning et profiles
![Page 10: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/10.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Visual : introduction
VO = Objet Visuel
• Un objet « visuel » peut-être:• Vidéo• Texture fixe• Maillages 2D et 3D• Animation « Face and Body »
(FBA)
![Page 11: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/11.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Scène composée
MPEG-4 Visual : exemple de composition (1/3)
Video Object #0Décor de fond
Video Object #1Type
![Page 12: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/12.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Visual : exemple de composition (2/3)
![Page 13: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/13.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Visual : exemple de composition (3/3)
Fond synthétique
Graphique forme
et grise
Vidéo forme et opaqueImage composée
![Page 14: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/14.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Visual : combinaison avec BIFS
End user Presentation
End user Presentation
Composition & Rendering
Composition & Rendering
Hierarchical, Interactive, Audiovisual
Scene
Network Layer
Network Layer
DecompressionDecompression
Primitive AV Objects
...
DemultiplexDemultiplex
...
Elementary Stream
Scene Description
Scene Description
Upstream DataUser Events, Class Request, ...
BIFS
![Page 15: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/15.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Visual : structure d ’une « Visual Session »
VS1VideoSession (VS)
VisualObject (VO) VO1 VO2
VideoObjectLayer (VOL) VOL1 VOL2
GroupOfVOPs (GOV) GOV1 GOV2
VideoObjectPlane (VOP) VOP1 VOPk VOP1 VOPk
![Page 16: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/16.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Plan (3)
• MPEG-4 : un standard ISO• MPEG-4 visual : introduction• MPEG-4 vidéo : les outils• MPEG-4 vidéo : planning et profiles
![Page 17: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/17.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : recommandations de base
• Compatible retour avec H263 baseline (1996)
• Débits: de quelques kbit/s à 10Mbit/s à ? Gbit/s
• Formats:• taille rectangulaire, de 16*16 à 8196*8196• entrelacé et progressif• 4 à 12 bits de profondeur pour les pixels• fréquence image arbitraire• forme arbitraire• YUVA 4:2:0:4 and 0:0:0:4 (seulement la forme)
![Page 18: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/18.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : recommandations de base / plan alpha
![Page 19: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/19.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : fonctionnalités
• Amélioration des performances en compression
• Robustesse aux erreurs de transmission
• Représentation « dégradable » (« scalability »)
• Interactivité
![Page 20: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/20.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Intermède sur la compression vidéo (1/12)
• Signal numérique TV = 720*576*25*2 Octet/s = 166Mbit/s• Film 90 minutes original = 896 Gbit
• MPEG-2 à 4Mbit/s (taux de compression de 40)• Film 90 minutes compressé = 22 Gbit
• Stockage versus transmission
• MPEG-X et H26X sont des schémas avec pertes• Problème d ’optimisation débit/distorsion:
• extraire l ’information du signal• dégrader de façon la plus invisible à l ’œil
• traquer la redondance• spatiale• temporelle
• tenir compte du système visuel humain
![Page 21: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/21.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Intermède sur la compression vidéo (2/12)L ’approche en Macroblocs (MBs)
Original Image Akiyo (QCIF)
![Page 22: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/22.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Intermède sur la compression vidéo (3/12) 4:2:0:4 format, Macroblock 16*16
X: luminance, alphaO: chrominance
1MB MPEG-4 ==4 Blocs 8*8 Y1 Bloc 8*8 U1 bloc 8*8 V
![Page 23: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/23.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Intermède sur la compression vidéo (4/12)Principe du codage
• Redondance spatiale : DCT • Redondance temporelle : compensation de mouvement
• Codage residuel : DCT
F(u,v)=1/4C(u)C(v)f(x,y) cos((2x+1)u/16)cos((2y+1)v/16)
C(u) et C(v) = 1/pour u,v =0 = 1 sinon
F(u,v) sur 12 bits (+/- 2048) pour f(x,y) sur 8 bits (0-255)
x=0 y=0
7 7
![Page 24: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/24.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Intermède sur la compression vidéo (5/12)Transformée DCT
8
8
Moyenne(DC) +
Énergie concentrée
sur quelques coefficients AC
8
8
![Page 25: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/25.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Intermède sur la compression vidéo (6/12)Quantification
• Les coefficients DCT sont:• quantifié par un PAS DE QUANTIFICATION Q (entre
[1;31])
Moyenne +
Énergie concentrée
sur quelques coefficients
8
8
Moyenne +
Énergie concentrée
sur quelques coefficientsnon nuls
8
8
Division par Q
et arrondi
(matrice de quantification)
![Page 26: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/26.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Intermède sur la compression vidéo (7/12)Codage entropique
• Les coefficients DCT quantifiés sont:• visités en zigzag (trois zigzags pour MPEG-4)
6 = (0,0,6)-2 = (0,0,-2) 3 = (0,0,3) 1 = (0,1,1)-1 = (0,0,-1)-1 = (1,2,-1)
6 -2 -1 0 0 0 0 03 1 0 0 0 0 0 00 -1 0 0 0 0 0 00 0 0 0 0 0 0 00 0 0 0 0 0 0 00 0 0 0 0 0 0 00 0 0 0 0 0 0 00 0 0 0 0 0 0 0
• transmis en EVENEMENTS• last - run - level (MPEG-4)• run-level- EOB (H26L)
• représentés en binaire • par des VLC : codes à longueurs variables (MPEG-4)• avec un codage arithmétique (H26L)
0010001 0 0100 100101 0011 011 10101 1
![Page 27: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/27.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Intermède sur la compression vidéo (8/12)Estimation/Compensation de mouvement
Image de Référence Image à Coder
Image Estimée
Erreur = Différence(amplitude * 10)
Bloc Matching ExhaustifMouvements ±7 * ±7
Blocs 8*8
EstimationMouvement
CompensationMouvement
![Page 28: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/28.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Intermède sur la compression vidéo (9/12)I/B/P et GOP concept, N=6, M=3
Coding order:Coding order:Coding order: I1Coding order: I1Coding order: I1P4Coding order: I1P4Coding order: I1P4B2Coding order: I1P4B2Coding order: I1P4B2B3Coding order: I1P4B2B3Coding order: I1P4B2B3I7Coding order: I1P4B2B3I7
B6B5I1 I7B2 B3 P4
Coding order: I1P4B2B3I7B5Coding order: I1P4B2B3I7B5Coding order: I1P4B2B3I7B5B6Coding order: I1P4B2B3I7B5B6
![Page 29: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/29.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Intermède sur la compression vidéo (10/12)Décisions de codage
• Décisions par image• Type d ’images, I, P, ou B
• Décisions par macroblocks :• Dans une image I, AC prédiction• Dans une image P, intra ou inter, taille du vecteur
mouvement• Dans une image B, type de prédiction(avant, arrière, bi-
directionnel, direct)
![Page 30: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/30.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Intermède sur la compression vidéo (11/12)Schéma global d ’un encodeur MPEG-X/H26-X
DCTDCT QuantQuant
QuantQuant-1-1
DCTDCT-1-1Compensation Compensation
mouvementmouvement
CanalCanal
Signal Signal
imageimage
EstimationEstimation
mouvementmouvement
CodageCodageentropiqueentropique
(VLC/(VLC/Codage Codage
arithmétique)arithmétique)
PrédictionPrédiction
AC/DCAC/DC
DécisionDécision
Inter/Intra:Inter/Intra:
soustractionsoustraction
Prédiction des Prédiction des
vecteurs mouvementvecteurs mouvement
Mémoire(s)Mémoire(s)
DeblockingDeblocking
filterfilter
![Page 31: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/31.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Intermède sur la compression vidéo (12/12)Tableau comparatif des outils (non exhaustif)
Taille DCT Taillevecteurs
mouvements
Précision de lacompensation
Mémoired’images pour lacompensation
Outilssupplémentaires
MPEG-1/ 2 8*8 16*16 ½ pixel 2
MPEG-4 8*8 16*16 et 8*8 ¼ pixel 2 + sprite/GMC AC/DC predictionUnrestricted MVs
H26L 4*4 16*16, 16*8,8*16,
8*8,8*4,4*8,4*4
1/8 pixel 5 AC/DC predictionDeblocking filter
Codagearithmétique
![Page 32: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/32.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : fonctionnalitésAmélioration des performances en compression (1/2)
• Amélioration des performances en compression• Jusqu ’à 30% d ’améliorations comparé à MPEG-1• Pas de comparaisons avec MPEG-2 sur matériel
entrelacé• Pas de comparaisons avec H263/H263+
![Page 33: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/33.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : fonctionnalitésAmélioration des performances en compression (2/2)
• Outils responsables de l ’efficacité de codage• Prédiction AC/DC• 4MV: Vecteurs mouvement sur blocs 16*16 et 8*8• Vecteurs de mouvements sans restriction aux bords• Mode direct dans les B-VOPs• Table VLC adaptées au bas débits• Capacité de skipper des images
• et aussi:• Compensation du mouvement global (GMC)• 1/4 pixel en compensation de mouvement• Conversion Dynamique de résolution (DRC)• Sprite
![Page 34: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/34.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : fonctionnalitésRobustesse aux erreurs de transmission (1/6)
• Amélioration des performances en compression
• Robustesse aux erreurs de transmission• re synchronisation grâce aux paquets Vidéo• priorités grâce au partionnement des données• recouvrement des erreurs grâce aux VLC réversibles
(RVLC)• description dans l ’annexe E du standard
![Page 35: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/35.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : Robustesse (2/6)Paquets Vidéo (1)
• Start code : resync_marker • macroblock number• QUANT• Header extension code (HEC) ou non. HEC répète les informations du VOP header
• Données• Byte aligned
![Page 36: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/36.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : Robustesse (3/6)Paquets Vidéo (2)
• Modes prédictifs confinées (MV, AC/DC prediction)• Resync_marker non emulable• Resynchronisation possible• Paquets de taille quelconque, variable dans le temps.
![Page 37: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/37.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : Robustesse (4/6)Data partitioning (1)
• A l’intérieur d’un paquet, les données elles-mêmes sont organisées:
• I_VOP• forme et information sur les DCs pour chaque macrobloc• Motif séparateur (DC marker)• AC information décrit dans la seconde partition
• P_VOP• forme, mouvement and décision de codage pour chaque
macroblock• Motif séparateur (motion marker)• AC et DC information (texture) dans la seconde partition
• B_VOP• pas de data partitionning
![Page 38: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/38.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : Robustesse (5/6)Data partitioning (2)
• Data partitioning permet d’assigner des priorités sur les données• la première partition est plus importante que la seconde• possibilité de faire de la protection inégale d’erreur (UEP)
• Data partitioning facilite la détection d’erreurs• en utilisant les motifs séparateurs• détection possible dans la première partition et dans la seconde
séparément.
• Data partitioning permet une meilleure dissimulation d’erreurs• cas où les erreurs sont détectées dans la seconde partition seulement:
• DC pour les I_VOPs• Vecteurs mouvements pour les P_VOPs
![Page 39: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/39.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : Robustesse (6/6) Reversible VLC
• Dans la seconde partition d’un paquet, codage de la texture sur tables VLC différentes (tables RVLC)
• RVLC irréductible dans les deux directions
• RVLC plus coûteux en terme de débit
• RVLC améliore la détection d’erreurs et la dissimulation d’ erreurs
![Page 40: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/40.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : fonctionnalités Représentation « dégradable » (« scalability ») (1/3)
• Amélioration des performances en compression
• Robustesse aux erreurs de transmission
• Représentation « dégradable » (« scalability »)• temporelle• spatiale• de qualité (scalabilité fine « FGS »)
![Page 41: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/41.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : Scalabilité (2/3)Scalabilité temporelle
temps
I PB
P IBB
Base layer
Enhancement layer
P
![Page 42: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/42.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : Scalabilité (3/3)Scalabilité à grains fins
temps
I PB
Base layer
Enhancement layer
PP P
![Page 43: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/43.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : fonctionnalitésInteractivité
• Amélioration des performances en compression
• Robustesse aux erreurs de transmission
• Représentation « dégradable » (« scalability »)
• Interactivité
![Page 44: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/44.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Plan (4)
• MPEG-4 : un standard ISO• MPEG-4 visual: introduction• MPEG-4 vidéo : les outils• MPEG-4 vidéo : planning et profiles
![Page 45: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/45.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : planning
• Version 1• International Standard (IS) depuis mi-1999
• Version 2• DAM-1 en mi 2000
• Version 3 and Version 4 (AMD3 and AMD4)• DAM3 et DAM4 attendus pour fin 2001
![Page 46: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/46.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : profiles
• Version 1• Simple, Simple scalable• Core• Main
• AMD1• ARTS (Advanced Real Time Simple)• Core scalable• ACE (Advanced Coding Efficiency)
• AMD3 et AMD4• Studio Profile• Advanced Simple profile et FGS profile
![Page 47: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/47.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : profiles Version 1 (1)
B-VOPMPEG-2 Quantification
Rectangular Temporal Scal.(B-VOP)
H263Video Packets
Data partitioning Reversible VLC
AC/DC prediction4 MV, unrestricted. MV
Binary Shape
Shape Temporal Scalability
Sprite
Interlace Grey Shape
Rectangular Spatial Scal.(B-VOP)
Main Core
Simple Scalable
Simple
Main Core
Simple Scalable
Simple
![Page 48: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/48.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : profiles Version 1 (2)
Main Core
Simple Scalable
Simple
![Page 49: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/49.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : profiles AMD1 (1)
H263Video Packets
Data partitioning Reversible VLC
AC/DC prediction4 MV, unrestricted. MV
Shape Spatial Scalability
Sprite
Interlace Grey Shape
DRC/ Newpred
GMC1/4 pel
SA-DCT
B-VOPMPEG-2 Quantification
Rectangular Temporal Scal.(B-VOP)
Binary Shape
Shape Temporal Scalability
Rectangular Spatial Scal.(B-VOP)
ACE
Core Scalable
ARTS
ACE
Core Scalable
ARTS
![Page 50: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/50.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : profiles AMD1 (2)
ACE
Core Scalable
ARTS
![Page 51: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/51.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 Vidéo : profiles amendements 3 et 4
B-VOPMPEG-2 Quantification
1/4 pelGMC
H263Video Packets
Data partitioning Reversible VLC
AC/DC prediction4 MV, unrestricted. MV
Interlace
FGS
ASPAdvanced Simple
FGSFine Granular Scalable
Studio
![Page 52: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/52.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
MPEG-4 vidéo : Call pour un nouveau standard?
• Octobre 2000: « Call for evidence » en compression.• Janvier 2001: MPEG-4 n’est plus le « state-of-the-art »• Juillet 2001 : Appel à proposition. H26L en pôle position (au moins 30% de gain)
• Discussion autour de H26L:• acceptation de la vidéo seule• vérification de la complexité• planning agressif d ’acceptation d ’ici début 2003• intégration dans un profile
![Page 53: Compression vidéo MPEG-4 Ecole dEté PDMS, 30 Août 2001 Cécile Dufour (cecile.dufour@philips.com) Video and Communication Group Laboratoires dÉlectronique](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9d93497959293b8c983e/html5/thumbnails/53.jpg)
Com
pre
ssio
n vi
déo
MP
EG
-4.
Éco
le d
’Été
PD
MS
Aoû
t 2
001
Céc
ile D
ufou
r. P
hilip
s R
eche
rche
Fra
nce
(PR
F)
Avenir de la compression vidéo
• MPEG-4 disponible maintenant• Du contenu, du contenu, du contenu...