Анализ изображений и видео 1, осень 2014: model fitting

Анализ изображений и видео

Наталья Васильева [email protected] HP Labs Russia

26 ноября 2013, Computer Science Center

Лекция 6: Геометрическая согласованность локальных признаков, подгонка параметров моделей

2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Сравнение изображений при помощи локальных признаков: основные шаги

1. Локализация особых точек

2. Выделение особых фрагментов – окрестности ключевых точек, инвариантные к различного рода преобразованиям

3. Построение векторов признаков для найденных фрагментов

4. Сопоставление наборов локальных признаков для двух изображений

Fig. credit: K. Grauman, B. Leibe


Какие могут быть сложности?

• Особые фрагменты не всегда уникальны и однозначно сопоставимы

• Могут быть ложные соответствия


Сравнение изображений при помощи локальных признаков: основные шаги

1. Локализация особых точек 2. Выделение особых фрагментов –

окрестности ключевых точек, инвариантные к различного рода преобразованиям

3. Построение векторов признаков для найденных фрагментов

4. Сопоставление наборов локальных признаков для двух изображений

5. Проверка геометрической согласованности (взаимное расположение особенностей относительно друг друга), отбраковка выбросов

Fig. credit: K. Grauman, B. Leibe


Когда еще полезно ограничение на взаимное расположение? • Умеем находить локальные особенности

•Края, углы,...

• Во многих случаях знаем, что особые точки должны располагаться относительно друг друга определенным образом

•прямые линии, окружности,...

• Если геометрическая модель заранее известна, то можно сгруппировать данные по модели => получим более компактное, точное и высокоуровневое представление данных

9300 Harris Corners Pkwy, Charlotte, NC

Slide credit: S. Lazebnik


Когда еще полезно ограничение на взаимное расположение?

При распознавании объектов заранее известной формы


Как задать ограничение на взаимное расположение?

При помощи параметрической модели:

Простая модель: линии Простая модель: окружности

Более сложная модель: машина

Source: K. Grauman


Как задать ограничение на взаимное расположение?

При помощи параметрической модели:

Source: K. Grauman

Модель преобразования: перенос + поворот + сжатие/растяжение


Примеры задач на сопоставление

Составление панорам

Распознавание объектов

Source: S. Lazebnik


Параметрическая модель

где – вектор данных (наблюдаемые и ожидаемые значения), – вектор параметров модели.

0),( =axF

При распознавании объектов заданной геометрической формы:

При сопоставлении изображений:

xa

),( yx=x

),,,( 2211 yxyx=x


Общая схема решения

• Выбрать модель (с точностью до параметров), которая будет наилучшим образом описывать имеющийся набор данных

• Оценить параметры модели по набору данных • Чтобы модель при подобранных параметрах как можно более точно

описывала данные, несмотря на наличие шума/выбросов • Необходимо максимизировать число точек, удовлетворяющих модели (“inliers”)

• Имея модель и параметры, отфильтровать лишние точки – отбраковать выбросы (“outliers”)


В чем сложности?

•Наличие шума в данных («помехи измерения») •Наличие «посторонних» точек: не принадлежащие линиям, принадлежащие другим линиям •Отсутствие «нужных» точек: перекрытия

На примере обнаружения линий

Source: S. Lazebnik


Задачи и методы

• Даны точки, удовлетворяющие модели. Как найти оптимальные параметры модели? – Метод наименьших квадратов

• Если данные заведомо содержат выбросы? – Робастные методы: М-оценки, RANSAC

• Если данные – смесь моделей (несколько линий)? – Схемы голосования: RANSAC, преобразование Хафа (Hough transform)

• Если мы не знаем, какая модель? – Model selection (выбор модели)

Source: S. Lazebnik


Подгонка прямой линии

Дано: набор точек (x1, y1), …, (xn, yn) Задача: найти прямую, наилучшим образом аппроксимирующую точки

Уравнение прямой: y = m x + b


Метод наименьших квадратов для прямой

Дано: (x1, y1), …, (xn, yn) Уравнение прямой: yi = m xi + b Здача: найти (m, b), которые минимизируют

∑=−−=

n

i ii bxmyE1

2)(

y=mx+b

Source: S. Lazebnik


Метод наименьших квадратов для прямой

Дано: (x1, y1), …, (xn, yn) Уравнение прямой: yi = m xi + b Здача: найти (m, b), которые минимизируют

∑=−−=

n

i ii bxmyE1

2)(

y=mx+b

022 =−= YXXBXdBdE TT

[ ]

)()()(2)()(

1

11 2

211

1

2

XBXBYXBYYXBYXBY

XBYbm

x

x

y

y

bm

xyE

TTTT

nn

n

i ii

+−=−−=

=−=

−

=

−=∑ =

YXXBX TT =

Source: S. Lazebnik


Недостатки классического МНК

• Не инвариантен к повороту

• Не подходит для вертикальных линий

• Предполагает большую контролируемость измерения x по сравнению с y

Source: S. Lazebnik


Метод полных наименьших квадратов Расстояние от (xn, yn) до линии ax+by=d (a2+b2=1): |ax + by – d| Найти (a, b, d) минимизирующие

ax+by=d

∑=−+=

n

i ii dybxaE1

2)(

Нормаль: N=(a, b) (xi, yi)

Source: S. Lazebnik


Метод полных наименьших квадратов Расстояние от (xn, yn) до линии ax+by=d (a2+b2=1): |ax + by – d| Найти (a, b, d) минимизирующие

ax+by=d

∑=−+=

n

i ii dybxaE1

2)(

Нормаль: N=(a, b) (xi, yi)

0)(21

=−+−=∂∂ ∑ =

n

i ii dybxadE ybxax

nbx

nad n

i in

i i +=+= ∑∑ == 11

)()())()((

211

12 UNUN

ba

yyxx

yyxxyybxxaE T

nn

n

i ii =

−−

−−=−+−=∑ =

0)(2 == NUUdNdE T

Решение (UTU)N = 0, при условии ||N||2 = 1: собственный вектор UTU, соответствующий минимальнному собственному значению

Source: S. Lazebnik


Метод полных наименьших квадратов

−−

−−=

yyxx

yyxxU

nn

11

−−−

−−−=

∑∑

∑∑

==

==n

ii

n

iii

n

iii

n

ii

T

yyyyxx

yyxxxxUU

1

2

1

11

2

)())((

))(()(

second moment matrix

Source: S. Lazebnik


−−

−−=

yyxx

yyxxU

nn

11

−−−

−−−=

∑∑

∑∑

==

==n

ii

n

iii

n

iii

n

ii

T

yyyyxx

yyxxxxUU

1

2

1

11

2

)())((

))(()(

),( yx

N = (a, b)

second moment matrix

),( yyxx ii −−

Source: S. Lazebnik

Метод полных наименьших квадратов


Вероятностная интерпретация: максимум правдоподобия

Модель: точки на линии зашумлены в направлении нормали (x, y)

(u, v)

ax+by=d

+

=

ba

vu

yx

ε

точка на линии Гауссов шум с нулевым

матожиданием и стандартным

отклонением σ

нормаль

Source: S. Lazebnik


Вероятностная интерпретация: максимум правдоподобия

Модель: точки на линии зашумлены в направлении нормали (x, y)

(u, v)

∏∏==

−+−∝=

n

i

iin

iin

dbyaxdbaxPdbaxxP1

2

2

11 2

)(exp),,|(),,|,,(σ

Правдоподобие точек при параметрах (a, b, d):

∑=

−+−=n

iiin dbyaxdbaxxL

1

221 )(

21),,|,,(σ

Логарифм:

ax+by=d

+

=

ba

vu

yx

ε

Source: S. Lazebnik


Наименьшие квадраты для производных кривых

•Минимизируем сумму квадратов расстояний между наблюдаемыми точками и кривой

(xi, yi) d((xi, yi), C)

кривая C

Source: S. Lazebnik


Устойчивость к выбросам

МНК:

Source: S. Lazebnik


Устойчивость к выбросам

МНК:

Недостаток: квадрат ошибки делает метод очень чувствительным к выбрсам

Source: S. Lazebnik


Робастные оценки

Основная идея: минимизировать ri (xi, θ) – ошибка в i-ой точке при параметрах модели θ ρ – робастная функция влияния с оценкой масштаба σ

( )( )σθρ ;,iii

xr∑

Функция влияния ρ ведет себя как квадрат расстояния при малых значениях u, но стремится к константе при больших значениях u

Source: S. Lazebnik


Влияние выбора параметра масштаба

Source: S. Lazebnik


Влияние выбора параметра масштаба: слишком маленький

Вклад в ошибку практически одинаков для всех точек

Source: S. Lazebnik


Влияние выбора параметра масштаба: слишком большой

Ведет себя почти как МНК

Source: S. Lazebnik


Робастные М-оценки

• Робастная подгонка параметров – задача нелинейной оптимизации

• Часто решается итеративно при помощи последовательных приближений

• Важно хороше первое приближение, можно использовать МНК в качестве первого приближения

• Как выбрать параметр масштаба? Нужна устойчивость к выбросам. “магическое” число раз медиана ошибки

Source: S. Lazebnik


RANSAC

• Робастные методы могут справится, если процент выбросов невелик. Что, если у нас много выбросов?

• Random sample consensus (RANSAC): Очень общий подход для подгонки параметров модели при условии большого числа выбросов

• Общая схема метода

– Строим небольшую выборку данных случайным образом

– По выборке осуществляем подгонку параметров модели (строим гипотезу)

– Производим оценку гипотезы на всех данных

– Повторяем много раз и выбираем наилучшую гипотезу

M. A. Fischler, R. C. Bolles. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Comm. of the ACM, Vol 24, pp 381-395, 1981.

Source: S. Lazebnik


RANSAC для линий

Повторяем N раз: • Выбираем s точек равномерным случайным образом • Подгоняем параметры прямой под эти s точек, получаем гипотезу прямой • Ищем среди остальных данных точки, удовлетворяющие построенной

гипотезе (например, точки на расстоянии меньше t от линии-гипотезы) • Если число точек, удовлетворяющих гипотезе, больше d, принимаем эту

гипотезу и уточняем параметры линии по всем точкам, удовлетворяющим этой гипотезе

Source: S. Lazebnik


Выбор параметров • s: количество элементов в выборке

– Обычно минимальное число, необходимое для оценки параметров модели

• t: пороговое значение для расстояния – Выбираем t таким образом, что вероятность для «inlier» равна p (e.g. 0.95) – При наличии гауссова шума с нулевым матожиданием и ст. отклонением σ:

t2=3.84σ2

•N: число выборок – Выбираем N таким образом, что с вероятностью p, по крайней мере одна выборка

не будет содержать выбросов (e.g. p=0.99, e – процент хороших точек в наборе)

Source: M. Pollefeys


Выбор параметров • s: количество элементов в выборке

– Обычно минимальное число, необходимое для оценки параметров модели

• t: пороговое значение для расстояния – Выбираем t таким образом, что вероятность для «inlier» равна p (e.g. 0.95) – При наличии гауссова шума с нулевым матожиданием и ст. отклонением σ:

t2=3.84σ2

•N: число выборок – Выбираем N таким образом, что с вероятностью p, по крайней мере одна выборка

не будет содержать выбросов (e.g. p=0.99, e – процент хороших точек в наборе)


( ) ( )( )sepN −−−= 11log/1log

( )( ) peNs −=−− 111


Сколько нужно выборок?


proportion of outliers e s 5% 10% 20% 25% 30% 40% 50% 2 2 3 5 6 7 11 17 3 3 4 7 9 11 19 35 4 3 5 9 13 17 34 72 5 4 6 12 17 26 57 146 6 4 7 16 24 37 97 293 7 4 8 20 33 54 163 588 8 5 9 26 44 78 272 1177

S – размер выборок e – процент выбросов в данных

• Количество итераций (выборок) быстро растет с увеличением размера выборки и доли выбросов • Если заранее не знаем долю выбросов?


Адаптивное задание числа итераций

Доля выбросов обычно заранее неизвестна, поэтому начинаем с грубой оценки, например 50%, затем переопределяем для каждой гипотезы (например, согласованность 80% точек с текущей гипотезой дает e=0.2) Адаптивная процедура:

• N=∞, sample_count =0 • While N >sample_count

– Строим новую выборку, строим гипотезу по этой выборке, проверяем гипотезу на всех данных

– Вычисляем долю выбросов для построенной гипотезы: e = 1 – (number of inliers)/(total number of points)

– Обновляем значение N относительного нового значения e:

– Increment the sample_count by 1 ( ) ( )( )sepN −−−= 11log/1log

Source: S. Lazebnik


RANSAC: достоинства и недостатки

• Достоинства – Прост в использовании, общий – Подходит для решения большого числа различных задач – Часто хорошо работает на практике

• Недостатки

– Большое количество настраиваемых параметров – На практике не всегда удается получить хорошее первое приближение модели по

минимальной выборке – Иногда требуется очень большое число итераций – Может не сработать, если доля выбросов очень велика – Часто можно предложить более эффективный метод, чем построение равновероятных

выборок

Source: S. Lazebnik


Схемы голосования

•Пусть каждый элемент данных голосует за те модели, которым он удовлетворяет

•Гипотезы с максимальным числом голосов побеждают

•Надеемся, что выбросы не будут голосовать согласовано

•Пропущенные данные не имеют значения, пока хватает голосов имеющихся данных за правильные модели

Source: S. Lazebnik


Преобразование Хафа (Hough transform) • Одна из первых схем голосования • Основная идея:

• Дискретизируем пространство параметров (разделим на ячейки) • Каждая точка на изображении голосует за все ячейки,

соответствующие параметрам моделей, которым удовлетворяет точка • Найдем ячейки с максимумом голосов

P.V.C. Hough, Machine Analysis of Bubble Chamber Pictures, Proc. Int. Conf. High Energy Accelerators and Instrumentation, 1959

Image space Hough parameter space

Source: S. Lazebnik


Преобразование Хафа для прямых

• Каждая прямая задается уравнением

• Через произвольную точку проходит бесконечное число прямых

• Преобразование Хафа основано на «голосовании» точек за те линии, на которых они могут лежать

• Линии с максимальным числом голосов выигрывают

Основная идея


Преобразование Хафа

image space Hough space

• Для данного набора точек (x, y) найти все точки (a, b), такие что y = ax+b

y=ax+b

• Точке (xi, yi) соответсвует прямая в пространстве Хафа: b = –xia + yi



• Разбиваем пространство параметров на «ячейки накопления»

• Для каждой точки из заданного множества точек на плоскости перебираем все значения параметра a и вычисляем соответствующее значение параметра b, увеличиваем счетчик соответствующей ячейки

• Выбираем ячейки с большим значением счетчика



Обычно, используют полярные координаты:



Диапазон θ: [-90°, 90°] Диапазон ρ: [-D√2, D√2]


features votes

Влияние шума

Source: S. Lazebnik


features votes

Влияние шума

Максимумы голосов становятся «размытыми»

Source: S. Lazebnik


Случайные точки

Равномерно распределенные случайные точки могут приводить к пикам в накопителе

features votes

Source: S. Lazebnik


Практические вопросы

• Фильтрация лишних признаков (точек) • Для линий берем только точки с большим значением градиента

• Выбор хорошей сетки • Слишком грубая: голоса за разные линии будут попадать в одну

ячейку • Слишком мелкая: будем пропускать линии из-за шума

• При поиске максимумов можно сглаживать соседние значения в накопителе

• Какая точка соответствует какой линии? • Помечаем голоса

Source: S. Lazebnik


Преобразования Хафа: достоинства и недостатки

• Достоинства –Работает в условиях перекрытий –Ищет все имеющиеся на изображении экземпляры объекта за один проход –Обладает некоторой устойчивостью к шуму: выбросы обычно голосуют

несогласовано

• Недостатки –Сложность алгоритма растет экспоненциально с увеличением числа

параметров модели –Наличие других объектов на изображении может приводить к случайным пикам

в накопителе –Сложно выбрать правильный шаг сетки для пространства параметров

Source: S. Lazebnik


Учет градиента

• Когда находим края, мы знаем градиент

• Это значит, что направление линии уже определено! • Улучшенный алгоритм: For each edge point (x,y) θ = gradient orientation at (x,y) ρ = x cos θ + y sin θ H(θ, ρ) = H(θ, ρ) + 1 end

Source: S. Lazebnik


p

Обобщенное преобразование Хафа • Решаем задачу нахождения объекта произвольной формы на изображении по его контуру и референтной точке

• Для каждой точки контура p, можем определить вектор смещения r = a – p как функцию от направления градиента θ

D. Ballard, Generalizing the Hough Transform to Detect Arbitrary Shapes, Pattern Recognition 13(2), 1981, pp. 111-122.

a

θ r(θ)

Source: S. Lazebnik


Обобщенное преобразование Хафа

•Для моделируемого объекта: построим таблицу с парами значений (θ,r), где θ – направление градиента, r – вектор смещения. Проиндексируем по θ.

•На шаге распознавания: для каждой точки края p с направлением градиента θ:

– Выберем из таблицы все r, соответствующие θ

– Для каждого r(θ), добавим один голос в ячейку пространства Хафа, соответствующую p + r(θ)

•Максимуму голосов в пространстве Хафа будет соответстовать референтная точка с максимальной поддержкой точек контура

•Предполагаем, что рассматриваемое преобразование - перемещение, направление и масштаб объекта фиксированы

Source: K. Grauman


Применение обобщенного пребразования Хафа

Вместо определения смещения как функции от градиента, определим функцию от “визуального ключевого слова” (visual code word)

Обучающее изображение

Визуальное слово с векторами смещения

B. Leibe, A. Leonardis, and B. Schiele, Combined Object Categorization and Segmentation with an Implicit Shape Model, ECCV Workshop on Statistical Learning in Computer Vision 2004


Применение обобщенного пребразования Хафа

B. Leibe, A. Leonardis, and B. Schiele, Combined Object Categorization and Segmentation with an Implicit Shape Model, ECCV Workshop on Statistical Learning in Computer Vision 2004

Тестовое изображение

Вместо определения смещения как функции от градиента, определим функцию от “визуального ключевого слова” (visual code word)


Применение параметрических моделей для сопоставления изображений

Две задачи: • Попиксельное сопоставление • Сопоставление на основе признаков

T

xi ' xi

∑ ′i

ii xxT )),((residualНайти преобразование Т, такое что


Пример распознавания объектов

David G. Lowe. "Distinctive image features from scale-invariant keypoints.” IJCV 60 (2), pp. 91-110, 2004.


Пример склейки панорам



• Извлекаем признаки



• Извлекаем признаки • Вычисляем поточечные соответствия



• Извлекаем признаки • Вычисляем поточечные соответствия • В цикле:

• Строим гипотезу преобразования T (используя небольшое подмножество поточечных соответствий)





• Проверяем гипотезу (ищем остальные пары поточечных соответствий, согласованных с T)


Заключение

Для оценки геометрической согласованности локальных признаков используются параметрические модели и методы подгонки параметров

Рассмотренные методы МНК – не устойчив к выбросам, подходит для «чистых» данных М-оценки, рандомизированные методы (RANSAC) Схемы голосования, преобразование Хафа

Наиболее применяемые методы в анализе изображений RANSAC – широкое применение при сопоставлении изображений

(построение панорам, восстановление 3D модели) Схемы голосования, преобразование Хафа – широкое применение

в поиске и распознавании объектов на изображении

Анализ изображений и видео 1, осень 2014: model fitting

Documents