optical flow на gpu

Optical Flow на GPU

Илья Цветков

Video GroupCS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus

2

Содержание

Введение

Gradient-based методы

Глобальная модель Horn & Schunck

Локальная модель Lucas & Kanade

Energy-based метод

Phase-based метод

http://www.compression.ru/video/


Only for Maxus

Optical flow

Optical flow — векторное поле, определяющее скорость движения каждой точки изображения

Задача компьютерного зрения

Первые публикации — 1980 г.

Возможные применения:

Сегментация

Изменение частоты кадров видео

Точная компенсация движения

3



Only for Maxus

4


Введение








Only for Maxus

Градиентные методы

5

1 2( ), ( ) — одномерные сигналы в различные моменты времениf x f x

2 1( ) ( )f x f x d

21 1 1( ) ( ) ( ) ( )f x d f x df x O d

x

1( )f x 2( )f x

d2

1 2 1( ) ( ) ( ) ( )f x f x d f x O d

1 2

1

( ) ( )

( )

f x f xd

f x

Optical flow estimation. D. J. Fleet, Y. Weiss.The Handbook in Mathematical models for Computer Vision. N. Paragios, Y. Chen, and O. Faugeras, Springer, 2005



Only for Maxus


Условие optical flow (optical flow constraint, gradient constraint equation):

6

( , ) ( , )I t I t t x x x

( , ) ( , )— яркость изображения в точке в момент времени I t x y tx x

2 2 2( , ) ( , ) tI t I t I I t O x y t x x x

0tI I v

( , )x yI I I

( , )u vt

xv

( , )x y x

( , ) ( , ) ( , ) 0tI t t I t x v x x

( , ) ( ( , ), ( , ))t u t v tv x x x




Only for Maxus

Альтернативная постановка

7

( ( ), )I t t constx

( ( ), ) 0ddt

I t t x

0 ( ( ), ) t

d I dx I dy II t t I I

dt x dt y dt t

x v

( ) — траектория движения точек изображенияtx

В итоге получаем условие optical flow:

( , ) ( , ) ( , ) 0tI t t I t x v x x




Only for Maxus

Aperture problem

Условие optical flow не является корректно поставленной задачей.

8

( , ) ( , ) ( , ) 0tI t t I t x v x x

( , ) ( ( , ), ( , ))t u t v tv x x x

tI I

I I

v

— проекция на вектор I v v

u

v

v

Условие optical flow

The Computation of Optical Flow. S. S. Beauchemin and J. L. Barron. ACM Computing Surveys, 1995



Only for Maxus

Ограничения модели

Модель:

9The Computation of Optical Flow. S. S. Beauchemin and J. L. Barron. ACM Computing Surveys, 1995

( , ) ( , )I t I t t x x x

Сложности:

Наложения

Прозрачность, тени

Отражения, блики



Only for Maxus

Сравнение optical flow

Средняя угловая ошибка (average angular error, AAE):

10

2 2

1

1( , ) ( , ,1)

u vu v u v

v v

arccos( )E c e v v

Угловая ошибка (angular error) между векторами и :c ev v

1EAAE

Performance of optical flow techniques. J. L. Barron, D. J. Fleet, and S. S. Beauchemin. International Journal of Computer Vision,1994



Only for Maxus

Ground truth и визуализация

11

Последовательность Yosemite Ground truth



Only for Maxus

12


Введение








Only for Maxus

Horn & Schunck

Цель — минимизация ошибки:

13

2 2 22

2 2( ) tE I I u v d

v v x

( ) ( ( ), ( ))u vv x x x

2 2 2x x y x tI u I I v u I I

2 2 2y x y y tI v I I u v I I

2

22 2

2

u uu

x y

2

22 2

2

v vv

x y

,u u

ux y

,v v

vx y

Сводим к системе дифференциальных уравнений:

— параметр модели

Условие optical flow Условие гладкости

Performance of Optical Flow Techniques on Graphics Hardware. M. Durkovic, M. Zwick, F. Obermeier, K. Diepold.IEEE International Conference on Multimedia and Expo, 2006



Only for Maxus

Horn & Schunck

14

1 2 2 2

n x x n y n t

n

x y

u I I u I v Iu

I I

1 2 2 2

yn x n y n t

n

x y

v I I u I v Iv

I I

2 2 2( ) ( )x x y x tI u I I v u I I 2 2 2( ) ( )y x y tyI v I I u v I I

2, где — результат свѐртки с ядромa a a a

1

12

1

12

1

12

1

12

1

6

1

6

1

6

1

6

0

Полученная СЛАУ решается итерационным методом:




Only for Maxus

i + 2

Реализация на GPU

Производные вычисляются применением фильтра:

15

i + 1

i

i − 1

i − 2 DT

x

y

t

I

I

I

112

1 8 0 8 1

1 2 2 2

n x x n y n t

n

x y

u I I u I v Iu

I I

1 2 2 2

yn x n y n t

n

x y

v I I u I v Iv

I I




Only for Maxus


Вычисление на GPU одной итерации:

16

1

1

1

1

k x x

k k k y y

kt t

k

x

x y y

u I I

v u v I Iu

I Iv

I

I I I

1 2 2 2

n x x n y n t

n

x y

u I I u I v Iu

I I

1 2 2 2

yn x n y n t

n

x y

v I I u I v Iv

I I




Only for Maxus

17


Введение








Only for Maxus

Lucas & Kanade

18

2

( ) ( ) ( , ) ( , )tE w I t I t

x

v x x v x

2( , )( ) 0x x y x t

E u vw u I v I I I I

u

x

x

2( , )( ) 0ty x y y

E u vw v I u I I I I

v

x

x

( ) 0, — весовая функцияw x x

Цель — минимизация ошибки:

Точка минимума — критическая точка:




Only for Maxus

Lucas & Kanade

Для каждой точки изображения находим вектор скорости:

19

1v M b

2

2

x x y

y x y

wI wI I

w I I w I

M

Mv b

x t

y t

wI I

w I I

b

В матричном виде:

2( , )( ) 0x x y x t

E u vw u I v I I I I

u

x

x

2( , )( ) 0ty x y y

E u vw v I u I I I I

v

x

x




Only for Maxus


Формат текстур:

20

2 2, ,x x y yI I I I

,x t y tI I I I

116

1, 4, 6, 4,1

2

2

x x y

y x y

wI wI I

w I I w I

M

x t

y t

wI I

w I I

b

Элементы M и b вычисляются применением фильтра с

ядром w(x):

Вычисление optical flow:1v M b




Only for Maxus

Результаты

21

Athlon64 3500+, 512 kB Cache, 2 GB RAM vs. GeForce 6800 Ultra

Уск

орение, раз




Only for Maxus


Достоинства

Простота

Высокая скорость работы

Недостатки

Низкая точность

22



Only for Maxus

Уточнение метода

23

x

1( )f x 2( )f x

x d x

1 2

1

( ) ( )

( )

f x f xd

f x

x

1( )f x 2( )f x

d

1 2

1

( ) ( )

( )

f x f xd

f x

x d x

21 3

1

( )( )

2 ( )

d f xd d O d

f x

1( ) — деформированный сигналf x d




Only for Maxus

Уточнение метода

24

0 0( , ) ( , )I t t I t t t x x v

0 0 0 0 0( , ) ( , ) ( , 1) ( , 1)I t I t I t I t x x x v x v v

0 0 v v v0 — приближение, полученное на первом шагеv

0 1 0 v M b

1 0 0и т. д. v v v

argmin ( )j jE v v

2( ) ( ) ( , ) ( , )jj

t

x

jE w I t I t

v x x v x

Итеративное приближение к точному решению:




Only for Maxus

Coarse-To-Fine Refinement

25

1( ) ( ) ( )k kI S g I x x — оператор прореживанияS

— фильтр Гауссаg

2( ) ( ) ( , ) ( , )k k k

x

tE w I t I t

v x x v x

0( , ) ( , )I t I tx x

Сильное движение не может быть верно определено с использованием рассмотренных методов.

, 0k n




Only for Maxus

Robust estimator

26

( ) ( , ) ( , )te I t I t x x v x

( ) ( ) ( ( ), )x

E w e

v x x

2

2 2( , )Например,

ee

e

2

( ) ( ) ( , ) ( , ) — least-squares (LS) estimator tE w I t I t

x

v x x v x




Only for Maxus

27


Введение








Only for Maxus


28

1 2( ) ( ) ( ) ( )D SDE E E E u u u u

1

2( ) ( ) ( )DE I I d

u x u x x

2

2( ) ( ) ( )DE I I d

u x u x x

2 2( )SE u v d

u x

, 0

2 2 2( )s s

Цель — минимизация энергии:

— регуляризацонный параметр

Towards ultimate motion estimation: combining highest accuracy with real-time performance. A. Bruhn, J. Weickert. IEEE International Conference on Computer Vision, 2005



Only for Maxus

Численное решение

29

1 211 12 13 11 12 13

( )2

0 ( ) ( )

2

D i i i i i D i i i i i

S j j j i i

i i

S i

j i

u v u v

u u u u

h

S S S T T T

1 221 2 2 2 3 21 2 2 2 3

( )2

0 ( ) ( )

2

D i i i i i D i i i i i

S j j j i i

i i

S i

j i

u v u v

v v v v

h

S S S T T T

T S I I

T Tx x y y T I I I I

( ) — множество пространственных соседей точки i i

T( , , )x y zI I I I

T( , , )x zxx xyxI I I IT( , , )x zyy yyyI I I I

( ) ( )zI I I x v x

1

T(( , ,1) ( , ,1))D u v u v S

2

T(( , ,1) ( , ,1))D u v u v T

2 2( ) ( )S u u v v

СЛАУ для ui , vi:

GPU-Based Multigrid: Real-Time Performance in High Resolution Nonlinear Image Processing. H. Grossauer, P. Thoman. Computer Vision Systems, Springer Berlin, 2008



Only for Maxus

Итерационное решение

30

1

11

1 2

3 3

nnn

nu

nnv

n

ru u

rv v

M

1 2

1 2 1 2

1 211 11 12 12

( )

12 12 2 2 2 2

(

2

2)

2

2

n nS in n n n n n n n

D i i D i i D i i D i

j i

n nS in n n n n n n n

D i i D i D i i D i i

S j

n

S j

j i

h

h

S T S T

M

S T S T

1 213 13

(2

) 2

n n nS i jn n n n n

u D i i D i i

j i

j i

S ju u ur

h

S T

1 22 3 2 3

(2

) 2

n n nS i jn n n n n

u D i i D i i

j i

j i

S jv v vr

h

S T

GPU-Based Multigrid: Real-Time Performance in High Resolution Nonlinear Image Processing. H. Grossauer, P. Thoman. Computer Vision Systems, Springer Berlin, 2008



Only for Maxus


calcIdJd — вычисление пространственных производных

calcIzIxzIyz — вычисление производных по времени

calcST — вычисление тензоров S и T:

31GPU-Based Multigrid: Real-Time Performance in High Resolution Nonlinear Image Processing. H. Grossauer, P. Thoman. Computer Vision Systems, Springer Berlin, 2008

T S I I

T Tx x y y T I I I I



Only for Maxus



un u u

vn v v

calcPsi — предварительные вычисления

coupledJacobi — вычисление одной итерации



Only for Maxus



Последовательность Yosemite

GPU и GPU-RT — предложенный метод, в GPU-RTприменяется меньше итераций



Only for Maxus



Производительность реализации GPU-RT

GeForce 8800 GTX



Only for Maxus

35


Введение








Only for Maxus


Основная идея — применить предварительную фильтрацию изображений.

36

T( , )x yx2

2 (2 )( , )

iG e e

x

x fx f

T( , ) — частота фильтра x yf f f

Используется фильтр Габора:

( )( , ) ( )( , )I F t I F t t t x x v

Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, 2008



Only for Maxus

Фильтрация

Проводится в различных направлениях:

37

Используется приближение фильтров на основе одномерных свѐрток:

24 ×




Only for Maxus

Фильтрация

38

( )( ) ( )( ) ( ) iR I G e xx x x

2 2( ) Re( ( )) Im( ( )) — амплитуда R R x x x

Im( ( ))( ) arctan

Re( ( ))— фаза

R

R

xx

x

( ) — отфильтрованное изображениеR x

0 vT

,x y

( , )u vv

t

Phase gradient constraint:

v

— проекция на v v




Only for Maxus

Вычисление optical flow

39

2 f

( )( )

2

x fv x

f f

( ) ( )( )

( )

v x v xv x

v x

( )

2

( ) ( )( ( )) ( )

( )O

E

x

v x v xv x v x

v x

( ) — множество направлений , для которых имеется надѐжное предсказание O x v

1 1

2 2

2( ) ( , )

( )— метрика доверия для n nt

a t t

n

x x

x

5 — количество рассматриваемых кадров, использовалось n n

— порог доверия l

Цель — минимизация:




Only for Maxus

Метод может верно определять только вектора, которые меньше половины длины волны фильтра

Пирамидальное вычисление:

Coarse-To-Fine Refinement

Деформация изображения перед уточнением на более высоком разрежении:

40

1( ) ( ) ( )k kI S g I x x — оператор прореживанияS

— фильтр Гауссаg( ) ( )( )k kR I G x x

1 1( , ) 2 ( )( ),k k kcp t x t t t x v x

( 1)

2c

nt




Only for Maxus

Реализация на CUDA

Преимущества GPU: Быстрая реализация свѐртки

Высокая пропускная способность шины

Интерполяция «на лету»

Основные идеи: Банк фильтров реализован с помощью библиотеки CUDA

Вычисление optical flow происходит за одно применение ядра к каждому пикселю изображения

Расчѐт деформированного изображения основан на интерполяции, предоставляемой GPU

Конвейерная обработка

41Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, 2008



Only for Maxus


GeForce 8800 GTX

Измерения включают обмен данными между GPU и CPU

Core 2 Quad 2.4 GHz

Использовалось только одно ядро




Only for Maxus


43

Исходный кадр Ground truth




Only for Maxus


44

Исходный кадр 0.02l




Only for Maxus


45





Only for Maxus


46





Only for Maxus


47

Исходный кадр Ground truth




Only for Maxus


Phase-based Другие методы




Only for Maxus





Only for Maxus

Список литературы

1. Optical flow estimation. Fleet, D. J. and Weiss, Y. The Handbook in Mathematical models for Computer Vision. N. Paragios, Y. Chen, and O. Faugeras, Springer, 2005

2. The Computation of Optical Flow. S. S. Beauchemin and J. L. Barron. ACM Computing Surveys, 1995

3. Performance of optical flow techniques. J. L. Barron, D. J. Fleet, and S. S. Beauchemin. International Journal of Computer Vision, 1994

4. Performance of Optical Flow Techniques on Graphics Hardware. M. Durkovic, M. Zwick, F. Obermeier, K. Diepold. IEEE International Conference on Multimedia and Expo, 2006

5. Towards ultimate motion estimation: combining highest accuracy with real-time performance. A. Bruhn, J. Weickert. IEEE International Conference on Computer Vision, 2005

6. GPU-Based Multigrid: Real-Time Performance in High Resolution Nonlinear Image Processing. H. Grossauer, P. Thoman. Computer Vision Systems, Springer Berlin, 2008

7. Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, 2008

51



Only for Maxus

Вопросы

?52



Only for Maxus Лаборатория компьютерной

графики и мультимедиа

Видеогруппа это:

Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)

Выпускниками защищено 5 диссертаций

Наиболее популярные в мире сравнения видеокодеков

Более 3 миллионов скачанных фильтров обработки видео

53


http://en.wikipedia.org/wiki/Comparison_of_video_codecs



optical flow на gpu

Education