digital image processing chapter 10: image segmentation 13 july 2005

Digital Image ProcessingChapter 10:

Image Segmentation13 July 2005

Digital Image ProcessingChapter 10:

Image Segmentation13 July 2005

PreprocessImage acquisition, restoration, and enhancement

Intermediate processImage segmentation and feature extraction

High level processImage interpretation and recognition

ISAN-DSP GROUP

Element of Image Analysis Element of Image Analysis

Image segmentation is used to separate an image into constituentparts based on some image attributes. Image segmentation is an important step in image analysis

Benefit1. Image segmentation reduces huge amount of unnecessary

data while retaining only importance data for image analysis 2. Image segmentation converts bitmap data into better

structured data which is easier to be interpreted

Importance of Image Segmentation Importance of Image Segmentation

1. Similarity properties of pixels inside the object are used to grouppixels into the same set.

2. Discontinuity of pixel properties at the boundary between objectand background is used to distinguish between pixels belonging to the object and those of background.

Discontinuity:Intensity change

at boundary

Similarity:Internal

pixels sharethe same intensity

Image Attributes for Image Segmentation Image Attributes for Image Segmentation

Spatial Filtering Application to Shape Detection Spatial Filtering Application to Shape Detection

One application of spatial filtering is shape detection: findinglocations of objects with the desired shape.

Unlike frequency selective masks that are designed basedon the concept of frequency, shape detection masks arederived from the shapes to be detected themselves.

A mask for shape detection usually contains the shape or a partof the shape to be detected.

The location that is most correlated to the mask is the location where the highest filter response occurs. The shape is most likely to exist there.

Point Detection Point Detection

We can use Laplacian masksfor point detection.

Laplacian masks have the largest coefficient at the center of the maskwhile neighbor pixels have anopposite sign.

This mask will give the high response to the object that has the similar shape as the mask such as isolated points.

Notice that sum of all coefficients of the mask is equal to zero. This is due to the need that the response of the filter must be zero inside a constant intensity area

-1 -1

-1

8

-1

-1

-1

-1

-1

-1 0

0

4

-1

-1

0

-1

0

Point Detection Point Detection

X-ray image of the turbine blade with

porosity

Laplacian image After thresholding

Location of porosity

Point detection can be done by applying the thresholding function:

otherwise 0

),( 1),(

Tyxfyxg

(Images from Rafael C. Gonzalez and Richard E. Wood, Digital Image Processing, 2nd Edition.

Line Detection Line Detection

Similar to point detection, line detection can be performedusing the mask the has the shape look similar to a part of a line

There are several directions that the line in a digital image can be.

For a simple line detection, 4 directions that are mostly used areHorizontal, +45 degree, vertical and –45 degree.


Line detection masks

Line Detection Example Line Detection Example

Binary wirebond mask

image

Absolute valueof result after

processing with-45 line detector

Result after thresholding


Notice that –45 degreelines are most sensitive

Edges Edges

Generally, objects and background have different intensities. Therefore,Edges of the objects are the areas where abrupt intensity changes occur.


Ideal step edge Ideal ramp edge

Blurred edge

Ideal Ramp Edges and its Derivatives Ideal Ramp Edges and its Derivatives


Original image

Edge

Gray level profile

The 1st derivative

-1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3 3.5-0.20

0.20.40.60.8

11.2

-1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3 3.5-0.06-0.04-0.02

00.020.040.06

-1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3 3.5-5-4-3-2-1012345

x 10 -3

Edge Edge

Minimum point

Maximumpoint

+ +- -

Zero crossing

Inte

nsit

y

Smoothed Step Edge and Its Derivatives Smoothed Step Edge and Its Derivatives

The 2nd derivative

Derivative Based Edge Detection Derivative Based Edge Detection

From the previous slide, we can conclude that:Local maxima of the absolute of the 1st derivative and Zero crossing of the 2nd derivative occur at edges.

Therefore, for detecting edges, we can apply zero crossing detection to the 2nd derivative image or thresholding the absolute of the 1st derivative image.

Nevertheless, derivative operator is very sensitive to noise as wewill see in the next slide.

Noisy Edges and Derivatives Noisy Edges and Derivatives


Derivative operator is a highpass filter and thus enhances noise.

Edge responses are buried by noise.

AWGN = 0.1

AWGN = 1.0

AWGN = 10

dx

df2

2

dx

fdf(x)

Masks for Estimating Partial Derivatives Masks for Estimating Partial Derivatives


Normally, the mask for estimating partial derivative is anti-symmetry with respect to the orthogonal axis

x

f

For example, the Sobel mask for

computing is anti-symmetry

with respect to the y-axis. It has the positive sign on the right side and negative sign on the left side.

Notice that sum of all coefficients is equal to zero to make sure that the response of a constant intensity areais zero.

Masks for Detecting Diagonal Edges Masks for Detecting Diagonal Edges


The mask for detecting -45-degreeedges is anti-symmetry with respect to the –45-degree lines while the mask for detecting 45-degree edges is anti-symmetry with respect to the 45-degree lines.

Example of Image Gradient Example of Image Gradient


x

f

y

f

),( yxf

y

f

x

f

Example of Image Gradient Example of Image Gradient


Note: the original image is smoothed by a 5x5 moving average mask first.

x

f

y

f

),( yxf

y

f

x

f

Example of Diagonal Edges Example of Diagonal Edges


Note: the original image is smoothed by a 5x5 moving average mask first.

Using -45-degree mask Using 45-degree mask

Laplacian Masks Laplacian Masks


2

2

2

22

y

P

x

PP

The Laplacian masks are used to estimate the Laplacian image:

Ideally, the Laplacian mask must be directional invariant: symmetry inall direction (radially symmetry ). However, for 3x3 masks, there areOnly 8 possible directions. Hence, we can use the following masks:

Laplacian Masks Laplacian Masks


For a large scale Laplacian mask, we can use a Laplacian of Gaussian(LOG) as a mask:

2

22

2

4

2222 ),(

yx

eyx

yxG

Surface plot of LOG, Looks like a “Mexican hat” LOG image

Cross sectionof LOG

5x5 LOG mask

Example of Laplacian ImageExample of Laplacian Image


The angiogram image(blood vessels)

PWe can compute theLaplacian image by:

1. Smooth the imageby the Gaussian mask2. Compute the Laplacianimage using the mask

12

PG *2

Zero crossingThreshold ofThe left image

เป็�นวิ�ธีการแยกองค์�ป็ระกอบของร�ป็ภาพโดยด�จากค์วิามเหม�อนก�นของค์ ณสมบ�ติ�ของพ�กเซลภายในพ�'นที่)เพยงอย*างเดยวิ เช่*นวิ�ธีการ Intensity Thresholding

0 50 100 150 200 250

0

100

200

300

400

500

T = 102

1 ( , ) ( , )

0 ( , )

f x y Tg x y

f x y T

ใช่,ได,ดก�บภาพที่)วิ�ติถุ ก�บฉากหล�งแยกก�นช่�ดเจน ส�งเกติได,จาก Histogram ของภาพเป็�นแบบ multimodal

After thresholding

สของแบค์ที่เรยสของฉากหล�ง

Pixel Oriented Image Segmentation: ThresholdingPixel Oriented Image Segmentation: Thresholding

Intensity Thresholding ExampleIntensity Thresholding Example


Automatic Threshold Level Selection Automatic Threshold Level Selection The major problem of intensity thresholding is to find a good threshold level

Algorithm: effective for bimodal histogram

1. Set initial value of T

2.

3.

4.

5. Repeat step 2

)),(),((1 TyxpyxpAverageT

)),(),((2 TyxpyxpAverageT

221 TT

T

Automatic Threshold Level Selection Example Automatic Threshold Level Selection Example


ในบางกรณที่)มวิ�ติถุ ที่)มค์วิามเข,มติ*างก�นอาจจ0าเป็�นติ,องใช่, Threshold Level หลายค์*า

0 50 100 150 200 250

0

500

1000

1500 T1 = 158

T2 = 196

T3 = 228

Histogram

T1< P <T2 T2< P <T3 P > T3

Multilevel Intensity Thresholding Multilevel Intensity Thresholding

0 50 100 150 200 250

0

50

100

150

200

250

เม�)อใช่,ก�บภาพที่)มส�ญญาณรบกวิน จะที่0าให,ได,ภาพที่)ไม*ติ*อเน�)อง

Image degraded byGaussian noise ( =12)

Histogram

T1 = 158

T2 = 196

T3 = 228

T1< P <T2 T2< P <T3 P > T3

peak ไม*ช่�ดเจน

Noise ProblemNoise Problem

Nonuniform Illumination ProblemNonuniform Illumination Problem


An image can be expressed as

),(),(),( yxryxiyxf

i(x,y) = illumination componentr(x,y) = reflectance component

Reflectance Function r(x,y)

Illumination Function i(x,y)

Histogram

Image histogram

f(x,y)

Nonuniform Illumination and Global ThresholdingNonuniform Illumination and Global Thresholding


Global thresholding of nonuniform illumination image can cause hugeerrors!

Histogram

Global threshold level

Nonuniform illumination image

Global thresholding result

Nonuniform Illumination and Local ThresholdingNonuniform Illumination and Local Thresholding

Local thresholding:1. Divide an image into subimages.2. Threshold each subimage independently

2.1 Compute histogram of each subimage and select a suitable threshold value for each subimage2.2 threshold each subimage using a threshold value in 2.12.3 Combine all local thresholding results

16 subimages Result of local thresholding

Error

Histogram of Subimages and Local ThresholdingHistogram of Subimages and Local Thresholding


If areas of object and background are nearlyequal, a histogram will be bimodal

If areas of object and background are not balanced, a histogram will be unimodal.

เม�)อใช่,ภาพที่)ค์วิามสวิ*างไม*เที่*าก�นติลอดภาพ จะที่0าให,ผลล�พธี�ผ�ดไป็อย*างมาก

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

0

100

200

300

400

500

600

700

800

900

T=0.4

Error บร�เวิณขอบภาพISAN-DSP GROUP

Example of Nonuniform Illumination Problem Example of Nonuniform Illumination Problem

Optimum Thresholding Optimum Thresholding


p1(z) = PDF of object pixels p2(z) = PDF of background pixelsObject

Background

Error due to background pixelsclassified as object pixels is :

T

dzzpTE )()( 21

Error due to object pixels classified as background pixels is:

T

dzzpTE )()( 12

Total error = )()()( 2112 TEPTEPTE

P1 = Probability of occurrence of object pixelsP2 = Probability of occurrence of background pixels

Pixel Oriented Image Segmentation for Color Images Pixel Oriented Image Segmentation for Color Images

RGB, CMY color models: Thresholding based on distance in the color space.

HSI color model: Thresholding based on H and S component mainly.


Color Segmentation in HSI Color Space Color Segmentation in HSI Color Space

Hue

Saturation Intensity

Color image

1 2

3 4


Color Segmentation in HSI Color Space (cont.) Color Segmentation in HSI Color Space (cont.)

Product of and

5 6

7 8

52Binary thresholding of S componentwith T = 10%

Histogram of 6 Segmentation of red color pixels

Red pixels


Color Segmentation in HSI Color Space (cont.) Color Segmentation in HSI Color Space (cont.)

Color image Segmented results of red pixels



Color Segmentation in RGB Vector Space Color Segmentation in RGB Vector Space

1. Each point with (R,G,B) coordinate in the vector space represents one color.2. Segmentation is based on distance thresholding in a vector space

TyxD

TyxDyxg

T

T

)),,(( if 0

)),,(( if 1),(

cc

cc

cT = color to be segmented.c(x,y) = RGB vector at pixel (x,y).D(u,v) = distance function



Example: Segmentation in RGB Vector Space Example: Segmentation in RGB Vector Space

Color image

Results of segmentation inRGB vector space with Thresholdvalue

Reference color cT to be segmentedbox thein pixel ofcolor average Tc

T = 1.25 times the SD of R,G,B valuesIn the box

Color Image Segmentation ExampleColor Image Segmentation Example


0.2

0.4

0.6

0.8

10.2

0.4

0.6

0.8

10

0.5

1

RedGreen

Blu

e

Image Domainภาพถุ*ายเม�อง Munich จากอวิกาศ

Feature Space (RGB)

หล�กการของ pixel oriented image segmentation สามารถุน0าไป็ใช่,ก�บภาพแบบmultispectrum เช่*นภาพส ได, โดยการแบ*ง partition ใน Feature space หร�อการแยกองค์�ป็ระกอบติามสของพ�กเซลน�'นเอง

From www.jpl.nasa.gov/radar/sircxsar/munch.html

PartitionBoundary

Pixel Oriented Image Segmentation for Multispectral Images Pixel Oriented Image Segmentation for Multispectral Images

เราสามารถุใช่, Self Organizing Map (SOM) ในการค์0านวิณหาสที่)เหมาะสมที่)จะใช่,ในการแยกองค์�ป็ระกอบติามสของพ�กเซลได,

ขั้��นตอนการหาสี�หลั�ก1. ก0าหนดจ0านวินสหล�กที่)จะใช่,แบ*ง 2. ก0าหนดค์*าเร�)มติ,นให,ก�บสหล�กที่ กส3. ส0าหร�บพ�กเซลแติ*ละพ�กเซล น0าค์*า (R,G,B) มาค์0านวิณหาระยะที่างระหวิ*างสหล�กที่ กส ก�บสของพ�กเซลที่)ได,4. หาสหล�กที่)ระยะที่างในข,อ 3 ติ0)าที่)ส ด (สหล�กที่)ช่นะ) สหล�กที่)ได,จะเป็�นสที่)ใกล,เค์ยงก�บสของพ�กเซลมากที่)ส ด ที่0าการป็ร�บค์*าสของสหล�กสน�'นในที่�ศที่างเข,าส�*สของพ�กเซล5. กล�บไป็ที่0าข,อ 3-4 จนกระที่�)งค์*าสของสหล�กไม*เป็ล)ยนแป็ลงมาก

ขั้��นตอนการแยกองค์�ประกอบ1. ส0าหร�บพ�กเซลแติ*ละพ�กเซล น0าค์*า (R,G,B) มาค์0านวิณหาระยะที่างระหวิ*างสหล�กที่ กส ก�บสของพ�กเซลที่)ได,2. หาสหล�กที่)ระยะที่างในข,อ 1 ติ0)าที่)ส ด (สหล�กที่)ช่นะ) จ�ดให,พ�กเซลน�'นอย�*ในกล *มของสหล�กที่)ช่นะ

Self Organizing Map for Color Image SegmentationSelf Organizing Map for Color Image Segmentation

ภาพเม�อง Munich ป็ระกอบด,วิยสขาวิ พ�'นที่)ส�)งก*อสร,างในเม�อง สม*วิง พ�'นที่)ป็4าที่5บ สเขยวิแก* พ�'นที่)การเกษติรหนาแน*น สด0า พ�'นที่)แหล*งน0'าสผสม พ�'นที่)การเกษติรเบาบาง

ผลของการแยกองค์�ป็ระกอบติามสของร�ป็ภาพโดยใช่, SOM

ISAN-DSP GROUP

Self Organizing Map for Color Image SegmentationSelf Organizing Map for Color Image Segmentation

ข,อดเน�)องจากวิ�ธีการน'ใช่,ข,อม�ลของค์ ณสมบ�ติ�ของพ�กเซลเพยงอย*างเดยวิ

ที่0าให,ไม*ติ,องมการค์0านวิณมาก และใช่,เวิลารวิดเร7วิ

ข,อเสยไม*สามารถุใช่,ก�บภาพที่)มส�ญญาณรบกวิน และภาพที่)มค์วิามสวิ*าง

ไม*ค์งที่) และผลล�พธี�ม�กได,ภาพที่)ไม*ติ*อเน�)อง

ISAN-DSP GROUP

Advantages and Disadvantage of Pixel Oriented Image SegmentationAdvantages and Disadvantage of Pixel Oriented Image Segmentation

เป็�นวิ�ธีการแยกองค์�ป็ระกอบของภาพโดยด�จากติ0าแหน*งของพ�กเซลและค์วิามเหม�อนก�นของค์ ณสมบ�ติ�ของพ�กเซลภายในพ�'นที่) โดยถุ,าพ�กเซลที่)อย�*ติ�ดก�นและมค์ ณสมบ�ติ�เหม�อนก�นจะถุ�กจ�ดให,เข,ากล *มเดยวิก�น ข,อดของการที่0าเช่*นน'จะได,พ�'นที่)ที่)ติ*อเน�)องติ�วิอย*างวิ�ธีการ Region oriented image segmentation

1. Region Growing

2. Region Splitting and Merging

P

Pixel P and its neighbors

Connectedpixels

Region Oriented Image SegmentationRegion Oriented Image Segmentation

เร�)มจาก seed pixel ที่0าการรวิมกล *มพ�กเซลข,างเค์ยงที่)มค์ ณสมบ�ติ�เหม�อนก�นให,พ�'นที่)โติข5'นเร�)อยๆ

พ�'นที่)เร�)มขยายติ�วิ

การที่0างานจะหย ดเม�)อไม*สามารถุขยายพ�'นที่)ออกไป็ได,มากกวิ*าน' (เม�)อช่นก�บขอบของวิ�ติถุ )

ISAN-DSP GROUP

Region Growing AlgorithmRegion Growing Algorithm

ติ�วิอย*าง Region growing โดยใช่,กฏการรวิมก�น ถุ,าพ�กเซลข,างเค์ยงมค์*าค์วิามเข,มของแสงติ*างก�บพ�กเซลป็:จจ บ�นไม*เก�น 4 ให,จ�ดอย�*ในกล *มเดยวิก�นเร�)มติ,น

จากภายใน

ส�'นส ดที่)ขอบ

ISAN-DSP GROUP

Region Growing Image Segmentation ExampleRegion Growing Image Segmentation Example



X-ray image of defective weld

Histogram

1. Region Splitting1. แบ*งภาพติ�'งติ,นออกเป็�นภาพย*อยๆ2. ส0าหร�บภาพย*อยแติ*ละภาพ ถุ,าพ�กเซลของพ�'นที่)ภายในย�งไม*มค์ ณสมบ�ติ�เป็�นหน5)งเดยวิก�นให,แบ*งติ*อไป็เร�)อยๆ

ขบวินการน'ม 2 ข�'นติอนค์�อ1. แบ*งภาพเป็�นภาพย*อยที่) แติ*ละภาพย*อยมพ�กเซลภายในที่)ค์ ณสมบ�ติ� uniform2. รวิมภาพที่)แบ*งได,เข,าเป็�นกล *มติามค์วิามเหม�อนก�นของค์ ณสมบ�ติ�ของพ�กเซล

ISAN-DSP GROUP

Region Splitting and Merging AlgorithmRegion Splitting and Merging Algorithm


Quadtree for Region Splitting RepresentationQuadtree for Region Splitting Representation

Region Splitting

ISAN-DSP GROUP

Region Splitting AlgorithmRegion Splitting Algorithm

ภาพติ�'งติ,น

ผลของการที่0า Region Spliting โดยให, standard deviation ของพ�กเซลในภาพย*อยไม*เก�น 5

ISAN-DSP GROUP

Region Splitting ExampleRegion Splitting Example

2. Merging น0าภาพย*อยที่)แบ*งได,ที่�'งหมดที่)มพ�กเซลภายในที่)ค์ ณสมบ�ติ�เหม�อนก�นมารวิมก�น

ISAN-DSP GROUP

Region Merging AlgorithmRegion Merging Algorithm


ผลของการที่0า Region Merging โดยให,ค์*าเฉล)ยของพ�กเซลในภาพย*อยที่)จะรวิมก�นติ*างก�นไม*เก�น 50

ISAN-DSP GROUP

Region Merging ExampleRegion Merging Example


Region Splitting and Merging ExampleRegion Splitting and Merging Example

ป�ญหาอ�ปสีรรค์ขั้องวิ�ธี�การ Region Growing

1. การก0าหนดกฎเกณฑ์�ที่)เหมาะสมที่)ใช่,ติรวิจสอบวิ*าพ�กเซลน�'น “มค์ ณสมบ�ติ�เหม�อนก�น”เพ�)อใช่,ในการรวิมกล *มเข,าด,วิยก�น2. การก0าหนด seed pixel มค์วิามส0าค์�ญมาก ติ,องก0าหนดไวิ,ภายในพ�'นที่)ที่)จะที่0าการแยกองค์�ป็ระกอบ3. การก0าหนดกฎเกณฑ์�ที่)เหมาะสมในการให,โป็รแกรมหย ดการที่0างานเม�)อพ�'นที่)ขยายไป็ถุ5งขอบของวิ�ติถุ

ป�ญหาอ�ปสีรรค์ขั้องวิ�ธี�การ Region Splitting and Merging

1. การก0าหนดกฎเกณฑ์�ที่)เหมาะสมที่)ใช่,ติรวิจสอบวิ*าพ�กเซลที่�'งหมดในภาพย*อยแติ*ละภาพมค์ ณสมบ�ติ�เป็�นหน5)งเดยวิก�นหร�อไม*2. ติ,องการโค์รงสร,างข,อม�ลที่)ซ�บซ,อนในการจ�ดการก�บภาพย*อยที่)แบ*งได,

ISAN-DSP GROUP

Obstacle of Region Oriented Image SegmentationObstacle of Region Oriented Image Segmentation

เป็�นวิ�ธีการแยกองค์�ป็ระกอบของภาพอาศ�ยค์วิามไม*ติ*อเน�)อง (Discontinuity) ของค์ ณสมบ�ติ�ของพ�กเซลบร�เวิณรอยติ*อระหวิ*างวิ�ติถุ ก�บฉากหล�ง วิ�ธีการน'ม *งที่)ขอบของวิ�ติถุ เป็�นหล�กผลล�พธี�ที่)ได,จากวิ�ธีการน'จะอย�*ในร�ป็เส,นพรมแดนระหวิ*างพ�'นที่)ติ*างๆ

ค์วิามไม*ติ*อเน�)องของสบร�เวิณรอยติ*อ

ISAN-DSP GROUP

Edge Oriented Image SegmentationEdge Oriented Image Segmentation

Gray level profile

The 1st derivative

-1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3 3.5-0.20

0.20.40.60.8

11.2

-1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3 3.5-0.06-0.04-0.02

00.020.040.06

-1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3 3.5-5-4-3-2-1012345

x 10 -3

Edge Edge

Minimum point

Maximumpoint

+ +- -

Zero crossing

Inte

nsit

y

Smoothed Step Edge and Its Derivatives Smoothed Step Edge and Its Derivatives

The 2nd derivative

Derivative Based Edge Detection Derivative Based Edge Detection

From the previous slide, we can conclude that:Local maxima of the absolute of the 1st derivative and Zero crossing of the 2nd derivative occur at edges.

Therefore, for detecting edges, we can apply zero crossing detection to the 2nd derivative image or thresholding the absolute of the 1st derivative image.

Nevertheless, derivative operator is very sensitive to noise as wewill see in the next slide.

Masks for Estimating Partial Derivatives Masks for Estimating Partial Derivatives


Normally, the mask for estimating partial derivative is anti-symmetry with respect to the orthogonal axis

x

f

For example, the Sobel mask for

computing is anti-symmetry

with respect to the y-axis. It has the positive sign on the right side and negative sign on the left side.

Notice that sum of all coefficients is equal to zero to make sure that the response of a constant intensity areais zero.

Operator ที่)เก)ยวิข,องก�บอน พ�นธี�อ�นด�บ 1 ของภาพ 2 ม�ติ� ค์�อ Gradient Operator ( )ซ5)งสามารถุใช่,ในการติรวิจจ�บขอบได,

ˆ ˆP PP i j

x y

22P P

Px y

ภาพติ�'งติ,น P P

Gradient Magnitude

P

x

P

y

Gradient ImageGradient Image

พ�'นผ�วิของ P บร�เวิณขอบมล�กษณะเหม�อนส�นเขา ติ0าแหน*งของขอบค์�อส�นเขา

PGradientVectorField


P

Gradient เป็�นป็ร�มาณแบบVector ที่)บอกถุ5งขนาดและที่�ศที่างของขอบของวิ�ติถุ

Gradient Vector FieldGradient Vector Field


P|

Thresholding

Edge map

T=60 T=100ใช่, T มค์*าติ0)าไป็จะได,ขอบที่)หนา

ใช่, T มค์*าส�งไป็จะได,ขอบที่)ขาดบร�เวิณม ม

P

Gradient Based Image SegmentationGradient Based Image Segmentation

Operator ที่)เก)ยวิข,องก�บอน พ�นธี�อ�นด�บ 2 ของภาพ 2 ม�ติ� ค์�อ Gradient Operator ( )ซ5)งสามารถุใช่,ในการติรวิจจ�บขอบได,2 2

22 2

P PP

x y

ภาพติ�'งติ,น P 2P2

2

P

x

2

2

P

y

Laplacian ImageLaplacian Image

2P

พ�'นผ�วิของ2P

เค์ร�)องหมายของ เป็�นลบภายนอกวิ�ติถุ

ภาพติ�'งติ,น P

เค์ร�)องหมายของ เป็�นบวิกภายในวิ�ติถุ

2P2P

Laplacian ImageLaplacian Image


P

ZeroCrossingDetection

Edge map

Laplacianขยายส�ญญาณรบกวินให,ช่�ดเจนข5'น

2P

Zero crossingDetection ที่0าได,โดยที่0า thresholdingก�บ โดยใช่, T=02P

ISAN-DSP GROUP

Laplacian Based Image SegmentationLaplacian Based Image Segmentation

Gradient

P

Laplacian

P

ผลติอบสนองติ*อขอบแบบข�'น(step edge) ของวิ�ติถุ

Local Extremaof |P|

Zero Crossing

ค์วิามส0าค์�ญ บอกถุ5งที่�ศที่างและขนาดของขอบของวิ�ติถุ

บอกถุ5งติ0าแหน*งของขอบของวิ�ติถุ

การติรวิจจ�บขอบ Thresholding

|P|

Zero Crossing Detection

จ ดอ*อน ผลล�พธี�ม�กได, edge map ที่)ไม*สมบ�รณ�

ม�กไม*ที่นที่านติ*อส�ญญาณรบกวิน

ISAN-DSP GROUP

Gradient VS LaplacianGradient VS Laplacian

Gradient field Tangential velocity field

ˆ ˆP PP i j

x y

ˆ ˆP P

P i jy x

Gradient Vector Field Edge Vector Field(Hamiltonian Gradient Field)

Boundary ExtractionBoundary Extraction Based on Particle motion in a Vector Field Based on Particle motion in a Vector Field

Tangential velocity field

Tangential velocity field

ˆ ˆP PP i j

y x

Edge vector fieldมล�กษณะเหม�อนกระแสน0'าไหลวินรอบวิ�ติถุ

ISAN-DSP GROUP

Edge Vector FieldEdge Vector Field

1 1k k kp p e

kp

ติ0าแหน*งป็:จจ บ�นของอน ภาค์ที่)เวิลา k

1kp ติ0าแหน*งในอดติของอน ภาค์ที่)เวิลา k-1

1ke

edge vector field ณ ติ0าแหน*ง ที่) 1kp

ติ0าแหน*งของอน ภาค์ค์0านวิณได,จากTangential velocity field

ติ0าแหน*งเร�)มติ,นของอน ภาค์ผลล�พธี�: ใน edge vector field อน ภาค์โค์จรรอบวิ�ติถุ มระยะห*างจากวิ�ติถุ ไกลข5'นเร�)อยๆ จนเก�ดที่างเด�นร�ป็ก,นหอย (spiral trajectory)

ค์*าค์งที่) > 0

Particle Trajectory in an Edge Vector FieldParticle Trajectory in an Edge Vector Field

P0

ภาพติ�'งติ,น P

Edge vector field ที่างเด�นของอน ภาค์

Example: Particle Trajectory in an Edge Vector FieldExample: Particle Trajectory in an Edge Vector Field

Gradient field Sign of Laplacian image Normal compressive velocity field

n

2PP

เพ�)อที่)จะที่0าให,อน ภาค์เค์ล�)อนที่)ไป็ติามขอบของวิ�ติถุ โดยไม*หล ดไป็จากขอบของวิ�ติถุ เราติ,องการ vector field อกสนามที่)มค์ ณสมบ�ติ� “บบอ�ด” (normal compressive) เพ�)อบ�งค์�บให,อน ภาค์เด�นติามขอบ

ติ�วิอย*าง Normal Compressive Field21

n P Pc

A Normal Compressive Vector FieldA Normal Compressive Vector Field

Normal compressive velocity field

21n P P

c

ISAN-DSP GROUP

Example: A Normal Compressive Vector FieldExample: A Normal Compressive Vector Field

v e n

t + n

มล�กษณะล�*เข,าส�*ขอบและไหลวินรอบวิ�ติถุ v

ISAN-DSP GROUP

Combined Vector FieldCombined Vector Field

t + n 1 1 1k k k kp p e n

ติ0าแหน*งของอน ภาค์

ติ0าแหน*งเร�)มติ,นของอน ภาค์

อน ภาค์โค์จรรอบวิ�ติถุ ติามเส,นที่างเดยวิ

เราสามารถุแกะรอยเส,นขอบของวิ�ติถุ ได,จากที่างเด�นของอน ภาค์

Particle Trajectory in a Combined Vector FieldParticle Trajectory in a Combined Vector Field

P0

Edge vector field 21n P P

c

1 1 1k k k kp p e n

Particle trajectory

Shape distortion at a corner

Example: Example: Particle Trajectory in a Combined Vector FieldParticle Trajectory in a Combined Vector Field

ถุ,าให,อน ภาค์เด�นไป็ในที่�ศที่างเดยวิจะมโอกาสได,เส,นขอบที่)ไม*สมบ�รณ�

2-way boundary extraction1-way boundary extraction

ISAN-DSP GROUP

Boundary Extraction of Multiple ObjectsBoundary Extraction of Multiple Objects

1. เล�อก Mask ที่)เหมาะสมในการค์0านวิณ Gradient และ Laplacian ของภาพ2. ค์0านวิณ edge vector field และ normal compressive vector field

3. ก0าหนดติ0าแหน*งเร�)มติ,นให,อน ภาค์ ณ ติ0าแหน*ง Local maxima ของGradient magnitude image4. แกะรอยเส,นขอบติามที่างเด�นของอน ภาค์5. หย ดการที่0างานเม�)ออน ภาค์เด�นกล�บมาที่)จ ดเร�)มติ,นหร�อพบก�บเส,นขอบที่)เค์ยผ*านมาแล,วิ

ISAN-DSP GROUP

Boundary Extraction Algorithm Based on ParticleBoundary Extraction Algorithm Based on ParticleMotion in a Vector FieldMotion in a Vector Field

(Obtained using multiple scale Gaussian differential masks with min = 0.5, max = 2.0)

ISAN-DSP GROUPภาพจาก The whole brain atlas, www.med.harvard.edu/AANLIB/home.html

Boundary Extraction ExampleBoundary Extraction Example

Original X-ray image Gradient image

Boundary extraction results (=1.0)

Boundary Extraction Example: Flaw DetectionBoundary Extraction Example: Flaw Detection

Flaws

1=0.5 2=4.77 3=18.81

Gradient images and extracted boundaries

Multiscale Boundary ExtractionMultiscale Boundary Extraction

Image segmentation ที่)มป็ระส�ที่ธี�ภาพ จะติ,องมค์ ณสมบ�ติ�ส0าค์�ญด�งน'1. มขบวินการป็ร�บป็ร งภาพที่)ดเพ�)อที่0าให,ภาพง*ายติ*อการแยกองค์�ป็ระกอบ2. ใช่,ข,อม�ลส0าค์�ญให,เป็�นป็ระโยช่น� 2.1 ค์ ณสมบ�ติ�ที่)เหม�อนก�นของพ�กเซลภายในพ�'นที่)เดยวิก�น 2.2 ค์ ณสมบ�ติ�ที่)แติกติ*างก�นของพ�กเซลในพ�'นที่)ที่)ติ*างก�น 2.3 ติ0าแหน*งของพ�กเซล และการเช่�)อมติ*อก�น 2.4 ติ0าแหน*ง ขนาด ที่�ศที่างของรอยติ*อระหวิ*างพ�'นที่) 2.5 สมม ติ�ฐานเบ�'องติ,นที่)จ0าเป็�น (ค์วิามร� ,ช่� 'นส�ง)

3. มโค์รงสร,างข,อม�ลที่)สามารถุรองร�บวิ�ธีการแยกองค์�ป็ระกอบภาพได,4. ติ,องการ user defined parameters น,อยที่)ส ดเที่*าที่)จ0าเป็�น

ISAN-DSP GROUP

ConclusionsConclusions

Edge LinkingEdge Linking

digital image processing chapter 10: image segmentation 13 july 2005

Documents

image segmentation13

image analysisbenefit1

shape detection masks

line detection similar

simple line detection

similar shape

desired shape

line detectorresult