Цветонезависимое сопоставление стерео
TRANSCRIPT
![Page 1: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/1.jpg)
Цветонезависимое сопоставление
стерео
Вячеслав Нападовский
Video Group CS MSU Graphics & Media Lab
![Page 2: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/2.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Adaptive Normalized Cross-Correlation (ANCC)
Blur and Contrast Invariants
Вероятностные методы
Illumination and Focus-Independent ME
Заключение
2
![Page 3: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/3.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Введение Основная цель
Привести примеры метрик для вычисления разности между блоками на разных ракурсах, устойчивые к расхождениям
по цвету
по контрасту
по фокусу
3
![Page 4: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/4.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Стандартный подход Метрики для блоков (1)
4
k – диспаритет
Метрика соответствия блоков считается циклом по переменным m, n для
всех соответствующих точек блоков
Левый ракурс (Il) Правый ракурс (Ir)(x,y)
(x+m,y+n)
(x,y) (x+k,y)
(x+k+m,y+n)
Блок для сравнения
Блок для сравнения
![Page 5: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/5.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Стандартный подход Метрики для блоков (2)
5
Galar M., Pagola M., Barrenechea E. et al., “Aggregation of Color Information in Stereo Matching Problem: A Comparison Study,” Lecture Notes in Computer Science, 2010
![Page 6: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/6.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Стандартный подход Fuzzy Similarity
6
α – константа
Tolt G., Kalaykov I., “Measures Based on Fuzzy Similarity for Stereo Matching of Color Images,” Soft Computing – A Fusion of Foundations, Methodologies and Applications, vol.10, 2006
![Page 7: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/7.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Стандартный подход Выводы
Достоинства:
Данные метрики просты в реализации
Их вычисление хорошо оптимизируется
Недостаток:
Не учитывает возможные расхождения ракурсов по цвету и фокусу
7
![Page 8: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/8.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Введение Решаемые задачи
Приводимые далее метрики могут быть использованы в алгоритмах нахождения
Disparity Map
Optical Flow (OF)
Motion Estimation (ME)
8
![Page 9: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/9.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Adaptive Normalized Cross-Correlation (ANCC)
Blur and Contrast Invariants
Вероятностные методы
Illumination and Focus Independent ME
Заключение
9
![Page 10: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/10.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Метод ANCC Алгоритм
Метод Adaptive Normalized Cross-Correlation:
1. Вычислить коэффициенты для метрики по всему изображению отдельно для левого и правого ракурса
2. Применить Graph-cut based метод для определения disparity map
При решении задачи Graph-cut учитывается текстурная и цветовая похожесть блоков
10
Yong Seok Heo, Kyong Mu Lee, Sang Uk Lee, “Robust Stereo Matching Using Adaptive Normalized Cross-Correlation,” IEEE Transac. on PAMI, 2011
![Page 11: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/11.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Метрика отличия блоков Текстурная составляющая (1)
11
R'''L – преобразованная R-компонента пикселя
aL(R), bL(R), cL(R), γL(R) – глобальные коэффициенты; определяются
из предположения серого мира для левого (правого) ракурса RL(R)(p), GL(R)(p), BL(R)(p) – RGB-компоненты пикселя p
на левом (правом) ракурсе wL(R)(t) – ядро кросс-билатерального фильтра W(p) – рассматриваемая окрестность пикселя p Z(p) – нормирующая константа
Yong Seok Heo, Kyong Mu Lee, Sang Uk Lee, “Robust Stereo Matching Using Adaptive Normalized Cross-Correlation,” IEEE Transac. on PAMI, 2011
![Page 12: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/12.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Метрика отличия блоков Текстурная составляющая (2)
12
p – центр окрестности t – точка из окрестности σd, σs – константы I(p) – яркость пикселя p
Метрика похожести текстуры:
Yong Seok Heo, Kyong Mu Lee, Sang Uk Lee, “Robust Stereo Matching Using Adaptive Normalized Cross-Correlation,” IEEE Transac. on PAMI, 2011
![Page 13: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/13.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Метрика отличия блоков Цветовая составляющая
13
ROL(R)(ti) – R-компонента пикселя ti на левом (правом) ракурсе
Yong Seok Heo, Kyong Mu Lee, Sang Uk Lee, “Robust Stereo Matching Using Adaptive Normalized Cross-Correlation,” IEEE Transac. on PAMI, 2011
![Page 14: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/14.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Метрика отличия блоков
14
ϴ – коэффициент отношения между цветовой и текстурной
составляющей Dp(fp) – значение метрики для пикселя fp
Yong Seok Heo, Kyong Mu Lee, Sang Uk Lee, “Robust Stereo Matching Using Adaptive Normalized Cross-Correlation,” IEEE Transac. on PAMI, 2011
![Page 15: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/15.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты Последовательность Dolls
15
левый ракурс
правый ракурс
Ground truth
результат алгоритма
Yong Seok Heo, Kyong Mu Lee, Sang Uk Lee, “Robust Stereo Matching Using Adaptive Normalized Cross-Correlation,” IEEE Transac. on PAMI, 2011
![Page 16: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/16.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты Сравнение
16
Yong Seok Heo, Kyong Mu Lee, Sang Uk Lee, “Robust Stereo Matching Using Adaptive Normalized Cross-Correlation,” IEEE Transac. on PAMI, 2011
![Page 17: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/17.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты Последовательность Aloe
17
левый ракурс
правый ракурс
Ground truth
результат алгоритма
Yong Seok Heo, Kyong Mu Lee, Sang Uk Lee, “Robust Stereo Matching Using Adaptive Normalized Cross-Correlation,” IEEE Transac. on PAMI, 2011
![Page 18: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/18.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты Сравнение (1)
18
Yong Seok Heo, Kyong Mu Lee, Sang Uk Lee, “Robust Stereo Matching Using Adaptive Normalized Cross-Correlation,” IEEE Transac. on PAMI, 2011
![Page 19: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/19.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты Сравнение (2)
19
Ground truth Graph-cut based method with SAD metric
результат авторов статьи
Yong Seok Heo, Kyong Mu Lee, Sang Uk Lee, “Robust Stereo Matching Using Adaptive Normalized Cross-Correlation,” IEEE Transac. on PAMI, 2011
![Page 20: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/20.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Выводы
Достоинства:
Устойчивость к цветовым искажениям между ракурсами
Использование текстурной информации блоков
Недостаток:
Вычислительная сложность
20
![Page 21: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/21.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Adaptive Normalized Cross-Correlation (ANCC)
Blur and Contrast Invariants
Вероятностные методы
Illumination and Focus Independent ME
Заключение
21
![Page 22: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/22.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Blur and Contrast Invariants Идея метода (1)
На входе – ректифицированное изображение
На выходе – disparity map
Алгоритм использует дескрипторы, основанные на фазе направления градиента в окрестности пикселя
Ошибка для блока вычисляется на основе совпадения фаз градиентов
22 Pedone M., Heikkila J., “Blur and Contrast Invariant Fast Stereo Matching,” ACIVS, 2008
![Page 23: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/23.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Blur and Contrast Invariants Идея метода (2)
Алгоритм ищет наилучшее приближение для блока только по горизонтали
Для выбора наилучшего приближения используется сравнение по метрике Fuzzy Similarity
Для подавления скачков контраста используется нормализованная метрика SAD
23 Pedone M., Heikkila J., “Blur and Contrast Invariant Fast Stereo Matching,” ACIVS, 2008
![Page 24: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/24.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Формализация метода
24
ΦA(u,v) – фазовое значение в спектральном домене k – коэффициент FA(u,v) – спектральная компонента блока A с координатами (u,v)
Теоретический описатель дескриптора для блока A (N × N):
Разность фаз соответствующих блоков на разных ракурсах:
Формальное описание дескриптора:
Pedone M., Heikkila J., “Blur and Contrast Invariant Fast Stereo Matching,” ACIVS, 2008
![Page 25: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/25.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Blur and Contrast Invariants Алгоритм
1. Для каждого пикселя рассматривается окрестность, состоящая из 5 окон
2. Для каждого окна ищется значение диспаритета
3. Затем результат сглаживается с помощью Dynamic Programming Scanline Optimization
25
L/2
Pedone M., Heikkila J., “Blur and Contrast Invariant Fast Stereo Matching,” ACIVS, 2008
L – минимальный
диаметр дескриптора
![Page 26: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/26.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Blur and Contrast Invariants Результаты (1)
26
один из ракурсов Ground truth Pedone M., Heikkila J., “Blur and Contrast Invariant Fast Stereo Matching,” ACIVS, 2008
![Page 27: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/27.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Blur and Contrast Invariants Результаты (2)
27
один из ракурсов результат Pedone M., Heikkila J., “Blur and Contrast Invariant Fast Stereo Matching,” ACIVS, 2008
![Page 28: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/28.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Blur and Contrast Invariants Результаты (3)
28 Pedone M., Heikkila J., “Blur and Contrast Invariant Fast Stereo Matching,” ACIVS, 2008
Сравнение с SAD + Graph-cut методом
![Page 29: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/29.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Blur and Contrast Invariants Результаты (4)
29
один из ракурсов Ground truth
Pedone M., Heikkila J., “Blur and Contrast Invariant Fast Stereo Matching,” ACIVS, 2008
![Page 30: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/30.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Blur and Contrast Invariants Результаты (5)
30
один из ракурсов результат
Pedone M., Heikkila J., “Blur and Contrast Invariant Fast Stereo Matching,” ACIVS, 2008
![Page 31: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/31.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Выводы
Достоинства:
Устойчивость:
к Gaussian blur
к motion blur
к изменениям по яркости
Недостаток:
На резких картинках даёт размытый результат
31
![Page 32: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/32.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Adaptive Normalized Cross-Correlation (ANCC)
Blur and Contrast Invariants
Вероятностные методы
Illumination and Focus Independent ME
Заключение
32
![Page 33: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/33.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Идея методов
Для каждого блока вычисляется матрица локального преобразования M с использованием Maximum-
Likelihood (ML) и Maximum A Posteriori (MAP) методов:
33
Yori, Uori, Vori – YUV-компоненты точек исправляемого ракурса Ycor, Ucor, Vcor – исправленные значения цвета
Ling Hou, Au O. et al., “ML Versus MAP Based Local Illumination and Color Correction Algorithm for Multi-View Video,” IEEE International Workshop on MMSP, 2009
![Page 34: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/34.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Maximum-Likelihood method
Компонента mY (mU, mV) матрицы M находится путём
минимизации функции:
34
Yiref – Y-компонента i-ой точки reference block
Yiori, U
iori, V
iori – YUV-компоненты i-ой точки в соответствующем
блоке на другом ракурсе
Ling Hou, Au O. et al., “ML Versus MAP Based Local Illumination and Color Correction Algorithm for Multi-View Video,” IEEE International Workshop on MMSP, 2009
![Page 35: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/35.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus Maximum A Posteriori
method
Аналогичным образом находится компонента mY (mU, mV) матрицы M в этом методе:
35
Yiref – Y-компонента i-ой точки reference block
Yiori, U
iori, V
iori – YUV-компоненты i-ой точки в соответствующем
блоке на другом ракурсе λ1, λ2 – коэффициенты
Ling Hou, Au O. et al., “ML Versus MAP Based Local Illumination and Color Correction Algorithm for Multi-View Video,” IEEE International Workshop on MMSP, 2009
![Page 36: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/36.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты Reference view
36
Ling Hou, Au O. et al., “ML Versus MAP Based Local Illumination and Color Correction Algorithm for Multi-View Video,” IEEE International Workshop on MMSP, 2009
![Page 37: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/37.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты Current view
37
Ling Hou, Au O. et al., “ML Versus MAP Based Local Illumination and Color Correction Algorithm for Multi-View Video,” IEEE International Workshop on MMSP, 2009
![Page 38: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/38.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты ML based correction of current view
38
Ling Hou, Au O. et al., “ML Versus MAP Based Local Illumination and Color Correction Algorithm for Multi-View Video,” IEEE International Workshop on MMSP, 2009
![Page 39: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/39.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты MAP based correction of current view
39
Ling Hou, Au O. et al., “ML Versus MAP Based Local Illumination and Color Correction Algorithm for Multi-View Video,” IEEE International Workshop on MMSP, 2009
![Page 40: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/40.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты Сравнение
40
reference view
ML based correction of current
view
MAP based correction of current
view
current view
Ling Hou, Au O. et al., “ML Versus MAP Based Local Illumination and Color Correction Algorithm for Multi-View Video,” IEEE International Workshop on MMSP, 2009
![Page 41: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/41.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Выводы
Достоинство:
Прост в реализации (используя MATLAB)
Недостаток:
Авторы предполагают, что disparity map для блоков уже вычислен
41
![Page 42: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/42.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Adaptive Normalized Cross-Correlation (ANCC)
Blur and Contrast Invariants
Вероятностные методы
Illumination and Focus Independent ME
Заключение
42
![Page 43: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/43.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus Illumination and Focus
Independent ME
Идея метода:
Для вычисления ME между ракурсами используется метод Illumination Compensation (IC)
Каждый блок перед сопоставлением раскладывается на среднее значение и текстурную составляющую
Для обеспечения инвариантности к фокусу reference image фильтруется, и ME вычисляется повторно
43
Jae Hoon Kim, PoLin Lai, Joaquin Lopez et al., “New Coding Tools for Illumination and Focus Mismatch Compensation in Multiview Video Coding,” IEEE Transac. on CSVT, 2011
![Page 44: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/44.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Алгоритм Вычисление метрики
44
SSDACi – значение метрики на i-ом reference block µC, µi
R – среднее значение для current block и i-го reference block ωC, ωi
R – несмещённое значение для current block и i-го reference block Bi
R – i-ый reference block
Jae Hoon Kim, PoLin Lai, Joaquin Lopez et al., “New Coding Tools for Illumination and Focus Mismatch Compensation in Multiview Video Coding,” IEEE Transac. on CSVT, 2011
![Page 45: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/45.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Adaptive Reference Filtering Алгоритм
1. Вычисляется MVF с использованием Illumination Compensation (IC)
2. Векторы из MVF группируются на 4 класса по глубине по значению векторов с помощью Expectation-Maximization (EM) algorithm based on the Gaussian Mixture Model (GMM)
3. Для каждого класса определяется ядро свёртки, преобразующее один ракурс к другому, скомпенсированному
4. Reference-ракурс фильтруется с использованием вычисленных ядер
5. Вновь вычисляется ME c IC
45
Jae Hoon Kim, PoLin Lai, Joaquin Lopez et al., “New Coding Tools for Illumination and Focus Mismatch Compensation in Multiview Video Coding,” IEEE Transac. on CSVT, 2011
![Page 46: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/46.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты Последовательности для тестов
46
Ballroom Race1
Jae Hoon Kim, PoLin Lai, Joaquin Lopez et al., “New Coding Tools for Illumination and Focus Mismatch Compensation in Multiview Video Coding,” IEEE Transac. on CSVT, 2011
![Page 47: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/47.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты Сегментация по глубине
47
Jae Hoon Kim, PoLin Lai, Joaquin Lopez et al., “New Coding Tools for Illumination and Focus Mismatch Compensation in Multiview Video Coding,” IEEE Transac. on CSVT, 2011
![Page 48: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/48.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты Сравнение методов
48
Jae Hoon Kim, PoLin Lai, Joaquin Lopez et al., “New Coding Tools for Illumination and Focus Mismatch Compensation in Multiview Video Coding,” IEEE Transac. on CSVT, 2011
![Page 49: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/49.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Выводы
Достоинства:
Базируется на ME
Прост в реализации
Недостаток:
Использует первое приближение MVF для группировки блоков на классы, которое не учитывает расхождения по фокусу
49
![Page 50: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/50.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Adaptive Normalized Cross-Correlation (ANCC)
Blur and Contrast Invariants
Вероятностные методы
Illumination and Focus Independent ME
Заключение
50
![Page 51: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/51.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Заключение Выводы
Метод с использованием Normalized Cross-Correlation метрики и метод, учитывающий фазовое значение в спектральном домене, стабильны к сильным искажениям по фокусу и яркости по мнению авторов
Метод, использующий в качестве сегментации на разные уровни по глубине первое приближение MVF, может оказаться нестабильным к сильным искажениям
51
![Page 52: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/52.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Заключение Проделанная работа
Улучшены результаты для Local Color Correction на областях с бликами
Реализовано темпоральное сглаживание
Написан патч, добавляющий цветонезависимую метрику в GML ME
52
![Page 53: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/53.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Сравнение результатов Левый ракурс
Этот текст – нижний колонтитул. Для вставки ссылки сразу на несколько слайдов, надо их выделить, нажать колонтитулы», написать текст в поле «нижний колонтитул» и нажать «применить». Не путать с «применить ко всем»!!!
53
![Page 54: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/54.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Сравнение результатов Правый ракурс
Этот текст – нижний колонтитул. Для вставки ссылки сразу на несколько слайдов, надо их выделить, нажать колонтитулы», написать текст в поле «нижний колонтитул» и нажать «применить». Не путать с «применить ко всем»!!!
54
![Page 55: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/55.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Сравнение результатов Исправленный правый ракурс (было)
Этот текст – нижний колонтитул. Для вставки ссылки сразу на несколько слайдов, надо их выделить, нажать колонтитулы», написать текст в поле «нижний колонтитул» и нажать «применить». Не путать с «применить ко всем»!!!
55
![Page 56: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/56.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Сравнение результатов Исправленный правый ракурс (стало)
Этот текст – нижний колонтитул. Для вставки ссылки сразу на несколько слайдов, надо их выделить, нажать колонтитулы», написать текст в поле «нижний колонтитул» и нажать «применить». Не путать с «применить ко всем»!!!
56
![Page 57: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/57.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Сравнение результатов Левый ракурс
Этот текст – нижний колонтитул. Для вставки ссылки сразу на несколько слайдов, надо их выделить, нажать колонтитулы», написать текст в поле «нижний колонтитул» и нажать «применить». Не путать с «применить ко всем»!!!
57
![Page 58: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/58.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Сравнение результатов Правый ракурс
Этот текст – нижний колонтитул. Для вставки ссылки сразу на несколько слайдов, надо их выделить, нажать колонтитулы», написать текст в поле «нижний колонтитул» и нажать «применить». Не путать с «применить ко всем»!!!
58
![Page 59: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/59.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Сравнение результатов Исправленный правый ракурс (было)
Этот текст – нижний колонтитул. Для вставки ссылки сразу на несколько слайдов, надо их выделить, нажать колонтитулы», написать текст в поле «нижний колонтитул» и нажать «применить». Не путать с «применить ко всем»!!!
59
![Page 60: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/60.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Сравнение результатов Исправленный правый ракурс (стало)
Этот текст – нижний колонтитул. Для вставки ссылки сразу на несколько слайдов, надо их выделить, нажать колонтитулы», написать текст в поле «нижний колонтитул» и нажать «применить». Не путать с «применить ко всем»!!!
60
![Page 61: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/61.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Сейчас будет видео
61
![Page 62: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/62.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Дальнейшие планы
Написание метрики оценки качества стерео видео для VQMT 3D
Интеграция локальной цветокоррекции в плагин для AAE
Улучшение темпоральной стабильности локальной цветокоррекции
Реализация алгоритма синхронизации двух ракурсов по времени
62
![Page 63: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/63.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Литература (1)
1. Galar M., Pagola M., Barrenechea E., Lоpez-Molina C., Bustince H., “Aggregation of Color Information in Stereo Matching Problem: A Comparison Study,” Lecture Notes in Computer Science, vol. 6098, pp. 369–378, 2010.
2. Yong Seok Heo, Kyong Mu Lee, Sang Uk Lee, “Robust Stereo Matching Using Adaptive Normalized Cross-Correlation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, pp. 807–822, April 2011.
3. Pedone M., Heikkila J., “Blur and Contrast Invariant Fast Stereo Matching,” Proceedings of the 10th International Conference on Advanced Concepts for Intelligent Vision Systems (ACIVS), pp. 883–890, 2008.
63
![Page 64: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/64.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Литература (2)
4. Ling Hou, Au O., Xiaopeng Fan, Jiantao Zhou, “Maximum-Likelihood Versus Maximum A Posteriori Based Local Illumination and Color Correction Algorithm for Multi-View Video,” IEEE International Workshop on Multimedia Signal Processing (MMSP), pp. 1-4, 5-7, October 2009
5. Jae Hoon Kim, PoLin Lai, Lopez J., Ortega A., Yeping Su, Peng Yin, Gomila C., “New Coding Tools for Illumination and Focus Mismatch Compensation in Multiview Video Coding,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 17, pp. 1519–1535, November 2011.
64
![Page 65: Цветонезависимое сопоставление стерео](https://reader031.vdocuments.site/reader031/viewer/2022032118/55ccd623bb61eb2d3f8b4683/html5/thumbnails/65.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)
Выпускниками защищены 5 диссертаций
Наиболее популярные в мире сравнения видеокодеков
Более 3 миллионов скачанных фильтров обработки видео
65