2015-06-04

1

Analiza obrazu

SEGMENTACJA OBRAZU

UWAGI WSTĘPNE Schemat naturalnego przetwarzania obrazu.

Akwizycja obrazu

narząd wzroku

Wstępne

przetwarzanie

obrazu

Analiza

obrazu

Podejmowanie

decyzji

Pamięć

Reszta

organizmu

człowieka

Świat zewnętrzny

Ludzki mózg

Działanie

Segmentacja

SEGMENTACJA OBRAZU

UWAGI WSTĘPNE

Segmentacja obrazu.

Proces segmentacji obrazu jest

czynnością spinającą poziom

wstępnego przetwarzania obrazu

z programami analizy

poszczególnych obiektów.

SEGMENTACJA OBRAZU

WSTĘP

Segmentacja

Segmentacja jest techniką przetwarzania obrazu,

umożliwiającą wydzielenie obszarów obrazu spełniających

pewne kryteria jednorodności. Takimi kryteriami mogą być np.

kolor obszaru, poziom jasności, faktura.

Proces segmentacji polega na podziale obrazu (uprzednio

przefiltrowanego) na fragmenty odpowiadające poszczególnym

widocznym na obrazie obiektom. Towarzyszy temu zwykle

opisana dalej indeksacja obiektów (labelling), czyli przypisanie

do wszystkich pikseli tych obiektów identyfikatorów (etykiet),

wskazujących, do którego obiektu który piksel można przypisać.

Liczba rekordów w bazie IEEE Xplore

dotycząca segmentacji obrazów

2015-06-04

2

Segmentacja najczęściej służy do wydzielenia

obiektu od tła – bez względu na szczegóły obiektu Przykład rozpoznawanej sceny

a) zdjęcie satelitarne: z wyekstrahowanymi budynkami, b) układ budynków

Wykreowana wektorowa mapa Inny przykład zadania segmentacji

Obrazy przed i po segmentacji Dalsze

przykłady

segmentacji

2015-06-04

3

Przykłady segmentacji dla

obrazów medycznych

Przykłady segmentacji dla

obrazów medycznych

Przykłady segmentacji dla

obrazów medycznych

Przykłady segmentacji dla

obrazów medycznych

W najprostszym ujęciu segmentacja jest techniką

służącą do lokalizacji i wydzielania poszczególnych

obiektów występujących na złożonym obrazie

Korzystne jest jeśli przy segmentacji możliwe jest wydzielenie części obrazu

zawierających wizerunek rozważanych obiektów przy minimalnym tylko udziale

elementów tła

2015-06-04

4

Przykład segmentacji obrazów

preparatów histologicznych Wśród obiektów wydzielonych w wyniku segmentacji

trzeba czasem przeprowadzić selekcję ze względu na kształt

Segmentacja obrazu często związana jest z wydzieleniem na obrazie

tak zwanych regionów zainteresowania (ROI)

Inny przykład ROI

Taksonomia metod wyznaczania

progu segmentacji obrazu

Najprostszy sposób segmentacji polega na

zastosowaniu podziału pikseli obrazu

na zbiór należący do badanego obiektu oraz

na zbiór należący do tła

w zależności od tego, czy ich jasność jest

większa czy mniejsza od założonego progu T.

2015-06-04

5

nu

mb

er o

f p

ixel

s

levels of image intensity T

background

object

Zasada segmentacji przez progowanie Przykładowy obraz medyczny dla którego wykonano

binaryzację ze zmieniającym się progiem

Inny przykład efektów

progowania adaptacyjnego

SEGMENTACJA OBRAZU

TECHNIKI SEGMENTACJI Segmentacja przez progowanie

Tl Tu

Przykład segmentacji z podwójnym progiem.

Ustalenie górnego i dolnego progu w celu wyizolowania koloru skóry Barta.

Przykład segmentacji za pomocą binaryzacji z pojedynczym progiem.

T

Wyniki segmentacji przykładowych obrazów

pokazują, że najlepsze wyniki uzyskuje się

przy bardzo różnych wartościach progu

(podany pod odpowiednimi obrazami)

2015-06-04

6

W przypadku obrazów medycznych prosta segmentacja przez progowanie

zwykle prowadzi do powstania nadmiernej liczby pseudo-segmentów,

które jednak można uporządkować poprzez ich sklejanie

Ciekawe możliwości w zakresie

doboru progu segmentacji dają

histogramy wielorozdzielcze

Najskuteczniejszym sposobem wyboru

optymalnej wartości progu do segmentacji jest

użycie kryterium -entropii

Załóżmy, że histogram obrazu ma postać: p1, p2, ..., pn gdzie n jest liczbą poziomów

szarości, a pi oznacza prawdopodobieństwo występowania poziomu szarości i .

Rozbijmy ten histogram na dwa podzbiory punktów należących odpowiednio do

badanego obiektu oraz do tła. Kryterium podziału jest związane z progiem t .

Wtedy można zdefiniować -entropię odpowiednio dla obiektu i dla tła:

Podział (segmentacja) obrazu będzie

optymalna, jeśli dla danego progu t*

osiągnięte będzie maksimum

sumarycznej -entropii:

Potem trzeba wykonać jeszcze kilka

kosmetycznych zabiegów

i segmentacja jest gotowa.

Schemat blokowy kompleksowego algorytmu

segmentacji obrazu medycznego

Przykład segmentacji obrazu medycznego

obraz mammograficzny z widocznym rakiem

2015-06-04

7

Przykład segmentacji obrazu medycznego

(komórka Purkinjego) Przykład segmentacji obrazu w przestrzeni barw

(wydobywanie znaków drogowych z obrazu drogi)

Wydobycie obiektów

zainteresowania z trudnego obrazu

Najbardziej znanymi metodami segmentacji obiektów

i wydzielania ich konturów są algorytmy:

Canny Sobela Prewitta Laplacian

Obiekt wydzielony w następstwie segmentacji może być

potem poddany szczegółowym analizom bez utrudnień

wynikających z konieczności uwzględniania innych obiektów

Często się zdarza, że niedobrze dobrana metoda segmentacji

wydziela nadmiernie dużo rzekomych obiektów

2015-06-04

8

Do ustalenia lokalizacji obiektu w obrębie

obrazu można użyć funkcji podobieństwa

Wyszukiwany

obiekt

Funkcja podobieństwa

z wyraźnym

maksimum w miejscu

lokalizacji obiektu

Dobrze przeprowadzona segmentacja pozwala na

wydobycie z obrazu jego istotnej dla rozważań części

(tu zmiany nowotworowej w obrazie

mammograficznym)

Segmentacja

powinna być

poprzedzona

filtracją obrazu.

Wydobywanie

konturów

z zaszumionych

obrazów jest

utrudnione,

a wyniki są mniej

dokładne

Zadania segmentacji mogą się cechować

różnym stopniem złożoności

Wyszukiwanie na obrazie komórki poprzez

rozpoznawanie przynależności pikseli

do trzech klas: tło, wnętrze i brzeg

Problem segmentacji nadmiarowej

2015-06-04

9

Problem rozdzielenia stykających się obiektów Lokalizowanie komórek

Porównanie miejsca radiacji obliczonego za pomocą największego

wpisanego okręgu (zaznaczone kolorem niebieskim), za pomocą środka

geometrycznego (zielonym) oraz za pomocą przecięcia osi głównych

(czerwonym).

Lokalizowanie komórek

Porównanie miejsca radiacji obliczonego za pomocą największego

wpisanego okręgu (zaznaczone kolorem niebieskim), za pomocą środka

geometrycznego (zielonym) oraz za pomocą przecięcia osi głównych

(czerwonym).

Lokalizowanie komórek

Porównanie miejsca radiacji obliczonego za pomocą największego

wpisanego okręgu (zaznaczone kolorem niebieskim), za pomocą środka

geometrycznego (zielonym) oraz za pomocą przecięcia osi głównych

(czerwonym).

Wyjątkowo wyrafinowany przykład segmentacji – wydobycie z obrazu mózgu

wyłącznie dróg połączeń nerwowych

http://www.biomed.ee.ethz.ch/research/bioimaging/brain/diffusion_fiber_tracking

Segmentacja obrazu może mieć różne zastosowania.

Pokazany na następnym slajdzie przykład dotyczy

użycia segmentacji do ujawnienia wewnętrznej

struktury kości (beleczkowania trabecula).

Na wyodrębnionym obrazie beleczkowania

ujawniona zostaje linia, która przecina najmniejszą

liczbę najcieńszych beleczek.

Jest to linia najbardziej prawdopodobnego złamania.

2015-06-04

10

Metoda prognozowania linii złamania

Wyniki prognozowania linii złamania

Inny przykład medyczny:

wydobywanie naczyń krwionośnych

na obrazie dna oka

Segmentacja połączona z

interpretacją fragmentów obrazu

Przykład segmentacji wraz z klasyfikacją

Przykład segmentacji wraz z klasyfikacją

2015-06-04

11

Przykład segmentacji wraz z klasyfikacją Obiekty wydobyte w wyniku segmentacji stają się

lepiej widoczne i łatwiejsze do interpretacji

Obraz tomograficzny przekroju klatki piersiowej

z uwidocznionym przekrojem serca

Po wydobyciu w wyniku segmentacji

wyłącznie naczyń krwionośnych serca

ich analiza i obserwacja nieprawidłowości

staje się znacznie łatwiejsza

SEGMENTACJA OBRAZU

TECHNIKI SEGMENTACJI Techniki Segmentacji

Wyróżniamy następujące techniki segmentacji:

- segmentacja przez podział obszaru (region – splitting)

- segmentacja przez rozrost obszaru (region - growing)

- segmentacja metodą wykrywania krawędzi (contour based)

(stosowany jest operator gradientu)

- segmentacja oparta na statystyce opisującej wnętrze regionów

(texture based)

Generalnie segmentacja obrazu

wykonywana przez człowieka

(wynik na rysunku środkowym)

jest zorientowana na wydzielenie

rozpoznanych wcześniej obiektów,

podczas gdy segmentacja automatyczna

(po prawej) koncentruje się na lokalnych

właściwościach fragmentów obrazu

Czasem prowadzi to dekompozycji

obrazu na ogromną liczbę

do niczego nieprzydatnych segmentów

Problem nadsegmentacji

2015-06-04

12

Wyznaczanie konturów na podstawie

histogramów kierunkowych Zamiana

obrazu

na graf

Przy segmentacji obrazu ważne jest,

żeby tworzone metody były niewrażliwe

na kontury nieistotnych szczegółów obiektów

W następstwie wyznaczania konturów nie

powinno dochodzić do zlewania się obiektów

Kolejny przykład obiektów, które podlegają sklejeniu

przy prostej segmentacji oraz mogą zostać rozdzielone

gdy się zastosuje wcześniej procedurę

wydobywania konturów (Sobela)

2015-06-04

13

Segmentacja mikroskopowego

obrazu wnętrza komórki

Segmentacja na podstawie kolory skóry jest ważnym

elementem w systemach rozpoznawania twarzy

Skuteczność segmentacji zależy w dużym stopniu od przyjętego modelu barw. Na kolejnych

fotografiach pokazane są segmentacje uzyskane w przestrzeniach RGB, HSV, TSL, HIS, YCrCb

SEGMENTACJA OBRAZU

TECHNIKI SEGMENTACJI Segmentacja przez podział obszaru

Segmentacja przez podział obrazu (region splitting, clustering), zwana też iteracyjną

(rekursywną), polega na stopniowym podziale dużych obszarów obrazu na mniejsze,

w których piksele mają odpowiednią własność (kolor, jasność, teksturę), jednakową

lub bardzo zbliżoną w granicach wydzielonego obszaru a jednocześnie znacznie

różniącą się od własności pikseli w innych obszarach.

W metodzie tej wartość jasności każdego elementu obrazu porównywana jest

z wartością progową, po czym element jest przydzielony do jednej z dwóch kategorii

o wartości progowej przekroczonej lub nie przekroczonej. Wyboru wartości progowej

dokonuje się przeważnie na podstawie histogramu.

Problemy pojawiające się przy tej metodzie to wybór progu dyskryminacji (gdy krzywa

rzeczywistego histogramu jest wielogarbna, a wierzchołki są trudne do wyróżnienia)

oraz powstawanie „fałszywych obiektów” (izolowanych punktów o wartości 1 gdy

dookoła są wyłącznie punkty tła).

SEGMENTACJA OBRAZU

TECHNIKI SEGMENTACJI Segmentacja przez podział obszaru

Algorytm segmentacji rekursywnej wygląda następująco:

1. Rozważyć cały obraz jako jeden obszar i policzyć dla niego histogram, biorąc pod

uwagę odpowiednią cechę (np. odcienie, jasność, nasycenie)

2. Znaleźć najwyższy szczyt histogramu i wyznaczyć progi z jego obu stron. Dokonać

segmentacji na dwa regiony.

3. Wygładzić zbinaryzowany obraz, aby został tylko pojedynczo-połączony podregion.

4. Powtarzać kroki 1-3 dopóki nie da się utworzyć kolejnych podregionów, tzn. żaden

histogram nie posiada znaczących szczytów.

Region 2

Region 2

Region 1

Liczba

pikseli

Wartość cechy

Segmentacja nieprawidłowa. Źle

dobrany próg dyskryminacji.

Obraz po poprawnej segmentacji:

SEGMENTACJA OBRAZU

TECHNIKI SEGMENTACJI Segmentacja przez podział obszaru

Obiekty podlegające segmentacji.

SEGMENTACJA OBRAZU

TECHNIKI SEGMENTACJI Segmentacja przez rozrost obszaru

W metodzie rozrostu obszaru poszukuje się grup elementów o zbliżonej jasności.

Najprostsza postać tej metody to rozpoczęcie od jednego elementu i sprawdzenie

czy elementy sąsiednie mają podobną jasność. Jeśli tak, są one grupowane w obszar.

Wykonujemy tu tylko zlepianie (merging).

2015-06-04

14

SEGMENTACJA OBRAZU

TECHNIKI SEGMENTACJI Segmentacja przez rozrost obszaru

Ogólnie segmentacja przez rozrost bazuje na technice dzielenia i zlepiania

obrazu (split and merge), której algorytm przebiega następująco:

1. Ustalić test jednolitości. Kryteriami mogą być jasność, kolor itp.

2. Podzielić obraz na obszary o takich samych rozmiarach.

3. Zastosować test jednolitości dla każdego regionu.

4. Jeśli obszar jest jednolity należy zlepić go z jego ewentualnym sąsiadem (sąsiadami).

Jeśli obszar nie spełnia kryterium jednolitości dokonać ponownego podziału.

5. Proces kontynuować, aż wszystkie obszary zdadzą test jednolitości.

I

Cały obraz.

I1

I4

I2

I3

Pierwszy podział.

I1 I2

I3

I41 I42

I43 I44

Drugi podział.

I1 I2

I3

I41 I42

I43

Zlepienie (Merge). Drzewo obrazu (picture tree).

Efekt segmentacji obrazu

powierzchni skały uzyskany metodą

drzewa czwórkowego

SEGMENTACJA OBRAZU

TECHNIKI SEGMENTACJI Wyznaczanie kryterium jednolitości

Obszar jest jednolity, gdy dla ustalonego progu T jest spełniony poniższy warunek :

TSnmLRnm

|),(max,

Ustalając próg T ustala się więc także prawdopodobieństwo tego, że do wydzielonego

obszaru włączone będą obiekty nie należące do niego. Jeśli obszar obiektu jest

jednolity, to wartość średnia S jest optymalnym oszacowaniem wartości jasności tego

obszaru. W takim przypadku odchylenie wartości elementu od średniej S będzie

zależało jedynie od zakłóceń.

I e dzn

z

x

2

2

2

22

Prawdopodobieństwo, że jasność elementu

L(m,n) różni się od jego średniej S o więcej

niż pewna wielkość x wyraża się wzorem jak

pokazano po lewej stronie, w którym

- odchylenie standardowe zakłóceń

SR

L m nm n R

1

# ,

( , )

gdzie,

L(m,n) - elementu obrazu

#R - wielkość (liczba pikseli) obszaru R.

T - próg

S to średnia jasność obszaru:

Elementem segmentacji obrazu jest także selekcja,

pozwalająca odróżnić rzeczywiste interesujące elementy od

elementów podobnych do nich, ale nie niosących

wymaganych informacji

Obraz oryginalny ze

wskazaniem podejrzanej

struktury

Obraz po segmentacji

wydobywającej wszystkie

regiony podobne do

podejrzanej struktury

Obraz z wyodrębnieniem

samej podejrzanej struktury

(rak sutka)

W zastosowaniach medycznych dosyć wygodną metodą segmentacji

jest analiza profili densytometrycznych wzdłuż wybranych linii

(np. promieni wychodzących z pewnego ustalonego punktu)

Wyodrębnione zwapnienia

(zielona obwódka)

w pobliżu ścian naczynia

krwionośnego

(niebieska obwódka)

Segmentacja wododziałowa

Zalewanie z minimów

Zalewanie z markerów

2015-06-04

15

Przykład segmentacji za pomocą

działów wodnych

Segmentacja zmiany na obrazie mammograficznym

za pomocą losowych pól Markowa

Oryginalny obraz Obraz gradientu Obraz z zaznaczona zmianą

Rekonstrukcja wybranych

elementów obrazu

Rekonstrukcja obrazu pozwala na

otrzymanie z pierwotnego obrazu

niektórych, zawartych w nim struktur

wskazywanych przez lokalizację znaczników

(markerów).

W rezultacie otrzymuje się obraz będący

pewnym podzbiorem pierwotnego obrazu

W kolejnych krokach rekonstrukcji następuje rozrost

obszarów wokół znaczników,

realizowany poprzez operacje dylatacji.

W celu uniemożliwienia rozrostu obszaru poza

granice pożądanych struktur

po każdej operacji dylatacji obrazu wyznaczana

jest wspólna cześć otrzymanego w jej efekcie

wyniku z oryginalną wersją obrazu,

usuwająca fragmenty wykraczające poza strukturę.

Pierwotny obraz oraz lokalizacja markerów

Początkowa oraz końcowa faza rekonstrukcji

2015-06-04

16

Segmentacja metodą wykrywania krawędzi

Wykrywanie krawędzi jest metodą segmentacji polegającą na poszukiwaniu granic

między obszarami, które niebezpośrednio definiują obiekt. Metoda ta rozpoczyna się

od znalezienia tych pikseli, które mogą należeć do krawędzi. Punkty te są następnie

zlepiane do pojedynczych segmentów linii, a te z kolei są łączone i tworzą granicę

obiektu.

Znajdowanie punktów nagłych zmian, co może oznaczać krawędź, odbywa się z

zastosowaniem omawianych już gradientów Sobela, Prewitta itp.

Piksele te reprezentują lokalne nieciągłości występowania pewnych cech, jak

jasność, kolor, tekstura itp.

Po wykryciu krawędzi dokonuje się progowania wybierając najgłębszą dolinę na

histogramie, a w przypadku bardzo zakłóconych obrazów jako próg można przyjąć

10-20 % wartości szczytu.

Przykładowa technika segmentacji metodą wykrywania krawędzi

Obszar z brakującymi krawędziami.

Przykładowa prosta metoda łączenia krawędzi zaproponowana przez Forsena.

Etap 1 Etap 3 Etap 2

Na początku łączymy linią prostą dwa punkty końcowe A i B. Następnie szukamy

najbardziej oddalonego punktu (C) od odcinka AB. Jeśli separacja tego punktu od

odcinka AB jest wyraźna, to tworzymy odcinki AC i BC, a odrzucamy odcinek AB.

Procedura jest kontynuowana, aż zostanie uznane, że segmenty utworzonej linii

łamanej dobrze reprezentują wszystkie posiadane punkty konturu.

Segmentacja oparta na krawędziach zmusza do

decyzji, które krawędzie należy brać pod uwagę (na

przykład oparte na wartości laplasjanu lub gradientu)

Obraz medyczny (a) oraz

krawędzie ustalone na nim

różnymi metodami:

metodą ważoną (b),

metodą laplasjanu (c),

metodą wartości gradientu

(d) i metodą kierunku

gradientu (e).

Obraz z wykrytymi krawędziami

(gradient Sobela)

Budowa linii granicznej z użyciem

algorytmu LW (Living Wires)

Niekorzystne (u góry) i korzystne (u dołu) warianty

metody LW używanej do segmentacji obrazu

2015-06-04

17

Automatyczna segmentacja wątroby

http://suzukilab.uchicago.edu/research.htm

Wykrycie konturów

obiektów na obrazie

medycznym jest często

kluczem do prawidłowej

diagnozy.

Mało czytelny obraz

mammograficzny (u góry)

staje się łatwiejszy do

interpretacji, gdy algorytm

wydzielania konturów

zaznaczy widoczne na nim

obiekty (na zdjęciu są to

mikro-zwapnienia będące

najwcześniejszym

symptomem raka).

Segmentacja obrazu płuc

http://www-radiology.uchicago.edu/krl/ct.htm

Znajdowanie konturów spoidła

wielkiego na obrazie przekroju

mózgu metodą „rozciągania węża”

Tą samą metodą wydobywa się

kontury wnętrza komór serca

Segmentacja połączona z indeksacją

2015-06-04

18

Segmentacja obrazu ułatwia wnioskowanie na jego

temat. Pokazano porównanie konturów tego samego

narządu (prostata) u dwóch pacjentów

Dosyć popularną metodą segmentacji jest metoda

oparta na koncepcji działów wodnych

Przekrój obrazu (po gradientowaniu) wzdłuż jednej ustalonej linii

Nieostrożne stosowanie tej metody prowadzi zwykle do wydzielenia

nadmiernej liczby segmentów

nadmiernie

posegmentowany

obraz

(2907 zlewisk)

Zmniejszanie nadmiernej segmentacji poprzez

progowanie obrazu gradientowego

Czasem zachodzi

potrzeba

wydobywania

z całego obrazu

bardzo

specyficznych

elementów,

będących

przedmiotem

analizy

To jest obraz zapisu

z autobusowego

tachografu.

Przedmiotem analizy

ma być wyłącznie ta

linia

Efekt segmentacji opartej na fakcie, że interesująca

linia położona jest w określonej odległości

od centrum obrazu

2015-06-04

19

Punkty będące przedmiotem analizy

wydobyte z obrazu

Algorytm segmentacji elementów

obrazu metodą działów wodnych

Segmentacja obrazu na podstawie barwy obszarów

(preparat geologiczny)

Segmentacja obrazu na podstawie barwy obszarów

(preparat geologiczny)

Brain/Non-brain Separation:

original image filtered image skull-stripped brain image

Przykład nieudanej segmentacji

obrazu medycznego

Trzy wyodrębnione klasy nie mają prawidłowej identyfikacji anatomicznej

2015-06-04

20

Przykład poprawnej segmentacji

obrazu medycznego

Cztery wyodrębnione klasy mają prawidłową identyfikację anatomiczną

Wynik segmentacji uzyskanej metodą

nie nadzorowanego grupowania (z lewej) oraz

opartej na modelowaniu obszarów (po prawej)

SEGMENTACJA OBRAZU

TECHNIKI SEGMENTACJI Segmentacja przez rozrost (Regiony atomowe)

Inną procedurą segmentacji przez rozrost jest procedura, która scala najpierw tak zwane regiony atomowe, badając wartość średnią określonego atrybutu w stosunku do określonego zakresu progowania.

Zastosowany w tym etapie próg T może być inny, mniej szczegółowo wyznaczany niż przy ekstrakcji regionów atomowych.

Następne scalenia są oparte na względnych własnościach atrybutu dwóch sąsiednich obszarów.

Jeśli jeden obszar w dużym stopniu otacza inny, to są one także scalane (likwidacja słabych granic).

SEGMENTACJA OBRAZU

TECHNIKI SEGMENTACJI Segmentacja przez rozrost (Regiony atomowe)

2

21 },{

PPMIN

D

3C

D

Niech R1 i R2 będą dwoma sąsiadującymi obszarami o obwodach P1 i P2 i każdy z nich

powstał ze zlepienia mniejszych podobszarów, które mogą różnić się jasnością.

Niech C oznacza długość wspólnej krawędzi i niech D reprezentuje tę część C, dla której

różnica jasności Yi wzdłuż krawędzi jest istotnie mniejsza od wybranego współczynnika 1.

Regony R1i R2 zostaną zlepione jeśli spełniona jest nierówność przy 2=1/2

Drugi warunek mówi, że regiony styczne zostaną zlepione gdy dla 3=3/4

W pierwszym etapie piksele o podobnej jasności oraz te, które łączą się ze sobą

czterema krawędziami są grupowane w regiony atomowe.

Następnie stosowana jest metoda omówiona poniżej w celu zlikwidowania „słabych”

granic.

Odmienną grupę problemów rodzi segmentacja

oparta na statystyce

Technika ta stosowana jest w przypadku gdy obszary jednorodne wypełnione

są pewnym stałym wzorcem (teksturą).

Pojedyncze obszary znacznie różniące się od siebie stanowią jeden obszar.

W procesie tym określa się pewne statystyczne własności obszarów i

przeprowadza się segmentację o nie opartą.

Segmentacja trójwymiarowa

Nowoczesne techniki obrazowania medycznego dostarczają

często informacji o kształcie badanego narządu w wielu

przekrojach, tworzących sekwencję.

Przy próbie rekonstrukcji trójwymiarowego obiektu (na

przykład przestrzennego obrazu narządu) dochodzi do

konieczności segmentacji przeprowadzanej w sposób

powiązany na kilku kolejnych przekrojach.

Przy stosowaniu tej techniki zaczyna się zwykle od

wyznaczenia konturu na jednym przekroju, a następnie

przenosi się ten kontur na sąsiednie przekroje stosując

kryterium bliskości położenia konturu pierwotnego i konturów

na kolejnych przekrojach.

2015-06-04

21

Sposób przenoszenia punktów z przekroju na

przekrój podczas rekonstrukcji obrazu 3D

z serii obrazów 2D

Metoda przenoszenia konturu

z przekroju na przekrój może wiązać

się z ryzykiem pomyłek

Przykład pary sąsiednich przekrojów, z których jeden ma już

zaznaczony obrys interesującego obiektu (płuca)

Sekwencja

przekrojów

z zaznaczonym

badanym

elementem

Sekwencja przekrojowych

obrazów medycznych (stawu

kolanowego) z konturem

wydzielonej struktury

anatomicznej (kości udowej)

i uzyskana na tej podstawie

trójwymiarowa rekonstrukcja

tej struktury

Inny przykład:

rekonstrukcja

przestrzenna płuc

2015-06-04

22

Sporym problemem przy

segmentacji jest zawsze rozdzielanie

obiektów, które powinny być

rozpatrywane oddzielnie, ale których

obrazy stykają się ze sobą

Krok 1. Czyszczenie brzegów. Krok 2. Zamknięcie i wypełnienie

otworów.

Krok 3. Erozja warunkowa i

powstanie obrazu znaczników dla

każdego erodowanego obiektu.

Krok 4. Wykonanie jednej operacji

dylatacji dla Każdego

zerodowanego obiektu..

Krok 5. Operacja SKIZ aż do stanu

ustalonego, po każdej dylatacji

obraz mnożony logicznie z

obrazem wejściowym.

Krok 6. Obcięcie gałęzi i

przemnożenie logiczne obrazu po

obcięciu z obrazem oryginalnym.

Usunięcie „fiordów”.

SEGMENTACJA OBRAZU

TECHNIKI SEGMENTACJI Segmentacja obiektów stykających się

Obraz wejściowy.

wyrzucenie pikseli o indeksie takim

samym jak piksel przy krawędzi indeksacja Zapełnienie dylatacja erozja negacja i indeksacja

Finalny obraz zawiera obiekty rozseparowane i posegmentowane

SEGMENTACJA OBRAZU

TECHNIKI SEGMENTACJI Uwaga: opisane metody trzeba stosować

z umiarem, bo automatyczna segmentacja

obiektów stykających się bywa

czasem wadliwa!

Błędnie wyznaczone

granice obiektów

Dzieleni obiektów,

które powinny

pozostać integralne

Etykietowanie obiektów

Indeksacja polega na przeglądaniu zbinaryzowanego obrazu linia

po linii, aż do napotkania punktu obiektu wartości 1.

Po napotkaniu takiego punktu (piksela), oznaczonego dalej jako X,

nadaje mu się etykietę analizując wartości pikseli A, B, C, D,

stanowiących tę część jego otoczenia, która była już wcześniej

analizowana .

Indeksacja obiektów (labelling)

A B C

D X Gdy A = B = C = D = 0 to X=L+1 (to znaczy, że nowy

punkt należy do nowego, wcześniej nieznanego obiektu)

0 0 0

L L

L L L

L L

0 L L

0 L

0 0 L

0 L

0 L L

L L

L 0 L

0 L

Przykłady sytuacji, w których wykrywa się, że kolejny punkt należy do obiektu,

który już miał przypisaną etykietę.

2015-06-04

23

Indeksacja obiektów (labelling)

Gdy w otoczeniu badanego punktu X pojawią się punkty należące do dwóch różnych obiektów

o indeksach L1 i L2, to znaczy, że należy utożsamić z jednym obiektem dwa regiony wcześniej

rozważane jako dwa różne obiekty. W takim przypadku przyjmowana jest zasada, że punktowi X

przypisuje się mniejszy z wchodzących w grę indeksów (na rysunku założono, że L1 < L2).

L1 0 L2

L1 L1

L1 0 L2

0 L1

Przykład etykietowania obrazów w wyniku którego doszło do błędnego podziału obiektów

Błędny podział obiektu na fragmenty w trakcie

wstępnej indeksacji. Obszary różniące się odcieniem

szarości otrzymały różne etykiety

A(i) B(i) C(i) C(i+1)

D(i) X(i) X(i+1)

Do eliminacji takich błędów w indeksacji stosowana jest tzw.

tablica sklejeń

0 0 0 0 .... .... .... 0 0 0 0 0

255 254 253 252 .... .... .... 5 4 3 2 1

Zawartość tablicy sklejeń przed znalezieniem jakiegokolwiek obiektu.

0 0 0 0 .... .... .... 0 0 0 0 1

255 254 253 252 .... .... .... 5 4 3 2 1

Przypisanie pierwszego wolnego miejsca dla nowego obiektu.

0 0 0 0 .... .... .... 0 0 3 2 1

255 254 253 252 .... .... .... 5 4 3 2 1

Zgodne etykietowanie, nic się nie zmienia (znaleziono trzy obiekty).

0 0 0 0 .... .... .... 0 4 1 2 1

255 254 253 252 .... .... .... 5 4 3 2 1

Aby zapobiec kolizji (wystąpienie w sąsiedztwie piksela L1=1 i L2=3)

większemu z kolidujących indeksów przypisuje się etykietę mniejszego.

Wykryto, że

„obiekty” 1 i 3

są tym samym

obiektem!

Tablica sklejeń: przykład zastosowania

Ten sam obraz po zastosowaniu

tablicy sklejeń zostaje poprawnie

podzielony, co widać po

prawidłowym etykietowaniu

Obraz po błędnym

etykietowaniu podczas

pierwszego przebiegu

algorytmu

Inny przykład obiektu podczas

etykietowania (stułbia) Przykład segmentacji bardziej

skomplikowanego obrazu

2015-06-04

24

Przykład segmentacji bardziej

skomplikowanego obrazu Przykład segmentacji obrazu CT:

a) obraz źródłowy,

b) wynik

modyfikacji

wartości okna

i poziomu,

c) wynik

segmentacji

(4 klasy)

W segmentacji obrazów medycznych

pożądane jest, by poszczególne klasy pikseli

odpowiadały tkankom rozróżnialnym w

badaniu danego typu i zostały wyodrębnione

w sposób automatyczny.

Często segmentacja jest połączona z (w miarę

możliwości automatyczną) identyfikacją

poszczególnych klas pikseli i przypisywaniem

im etykiet znaczących w kontekście

rozwiązywanego problemu (np. nazw tkanek).

Przykład zastosowania segmentacji obrazu:

a) źródłowy obraz MRI,

b) wynik separacji tkanek mózgu

Segmentacja wydzielająca na obrazie przekroju czaszki

osobno substancję białą, osobno korę mózgową i osobno

struktury nie należące do mózgowia

Czasem celem segmentacji jest wydobycie

jakiegoś konkretnego szczegółu na obrazie.

Obraz MNR podlegający segmentacji Obraz po segmentacji wydobywającej oczy

2015-06-04

25

Dla polepszenia jakości segmentacji można czasem

użyć dwóch (lub więcej) dopasowanych obrazów

źródłowych, na których wykonuje się niezależną

binaryzację, a wyniki poddaje się operacji AND.

a) Wynik segmentacji obrazu MRI T1,

b) Wynik segmentacji obrazu MRI PD,

c) wynik logicznej operacji AND między dopasowanymi obrazami a) i b)

Jako podstawy do segmentacji obrazu można

też użyć histogramu dwuwymiarowego

SEGMENTACJA OBRAZU

TECHNIKA INDEKSACJI OBRAZU

Zastosowanie w medycynie.

Labbeling w MATLAB 6.

obraz=imread(‘wej.bmp');

X=bwlabel(obraz,4);

map=[0 0 0;jet(3)];

figure, imshow(X+1,map,'notruesize')

Zastosowanie segmentacji

i indeksacji obrazu