Level Set Evolution without Re‐initilization

Outline

• Parametric active contour (snake) models.• Concepts of Level set method and geometric active contours.Concepts of Level set method and geometric active contours.• A level set formulation without reinitialization.• Mumford‐Shah functional.• Piecewise constant and piecewise smooth models.

L l bi fi i d l• Local binary fitting model.

2

Image Segmentation and Applicationsg g pp

• Image segmentation: extract objects of interest in images.• Image segmentation is a fundamental step in computer vision and image 

analysis.analysis.• Applications of image segmentation:

1. Shape recovery, analysis, recognition…2. Measurement3 Vi li ti3. Visualization4. Medical applications: tissue measurement, diagnosis, study of anatomical 

structures, computer‐integrated surgery …

3

Classical Methods

Thresholding Edge detectionAn image of blood vessel

4

An Advanced Method: Active Contour Model

5

Parametric Active Contours (Kass et al 1987)( )

For a contour , define energy:

High energy

Low energy

6

Low energy

Evolution of Active Contours

Gradient descent flow:

Advantages: • Smooth and closed contour • Sub‐pixel accuracy.

Disadvantages: • Cannot change topology. 

7

g p gy• Initial contour must be close to the object boundary.

Geodesic Active Contours (Caselles et al, 1997)( , )

• Minimize a weighted length of C

where

• Gradient descent flow:

• Add balloon force:

High energyLow energy

8

Level Set Representation of Curvesp

l lzero level

zero level

9

zero level

Level Set Method (Osher and Sethian, 1988)( , )

• Curve evolutionwhere F is the speed function N is normal vector to the curve Cwhere F is the speed function, N is normal vector to the curve C

• Level set formulation

N

10

Geodesic Active Contour: Level Set Formulation

• Curve evolution of geodesic active contour:

• Level set formulation of geodesic active contours:

11

Drawbacks of Geodesic Active Contour

• Unstable evolution, requires periodic reinitialization to signed distance function.• Balloon or pressure force cause boundary leakageBalloon or pressure force cause boundary leakage.• Slow evolution due to small time step.

12

Variational Level Set Method without Reinitialization (Li t l 2005)et al, 2005)

Define an energy functional on level set function:

where 

Level set regularization

Internal energy:• Penalize the deviation from a signed distance function

Level set regularization

External energy:D i th ti f th l l t

g

13

• Drive the motion of the zero level set

External Energy for Image Segmentationgy g g

Edge indicator function for image I

I Image

Define external Energy: 0 0

Weighted length:0

Weighted area:

14

Energy Functional and Gradient Flowgy

Define energy functional:

The gradient flow of the functional is the evolution equation:

15

Results

23

3D Segmentation of Corpus Callosumg p

24

Conclusion

The proposed variational level set formulation has three main advantages over the traditional level set formulations:

•First, a significantly larger time step can be used for numerically solving h l l d ff l d h f d hthe evolution partial differential equation, and therefore speeds up the curve evolution.

•Second the level set function can be initialized with general functions that•Second, the level set function can be initialized with general functions that are more efficient to construct and easier to use in practice than the widely used signed distance function.

•Third, the level set evolution in our formulation can be easily implemented by simple finite difference scheme and is computationally more efficient. 

25

Region-based Methods

27

Mumford‐Shah Functional

• Piece wise smooth model‐‐‐ Approximate image by piecewise smooth functions

Data fitting termSmoothing term Length term

28

Active Contours without Edges (Ch & V 2001)(Chan & Vese 2001)

• Define a region‐based energy functional: 

29

Level Set Formulation of Chan‐Vese Model

30

Results

31

Piecewise Smooth Model (Vese and Chan, 2002)

Minimize the energy functional:

32

Solve PDEs:

33

Examplesp

34

Local Binary Fitting Active Contours/Surfaces

35

Local Binary Pattern in General Imagesy g

f1

f2

Assumption: image I can be locally approximated by a binary image.   

36

Local Binary Fittingy g

xf1

Cx

f2

C

37

Level Set Formulation

The LBF energy functional on a contour C   

is equivalent to the level set formulation:   

38

Level Set Formulation (Cont’d)( )

For extracting the entire object boundary, the local binary fitting energy is integrated over all x in the image domain:

Add two terms for regularization of the contour and the embedding level set function, and define the following energy functional:and define the following energy functional:

39

Data fitting term Length term Level set regularization

Energy Minimization Using Gradient Flowgy g

The minimization of the energy functional F is achieved by solving the gradient flow:

wherewhere  

40

Result

Synthetic noisy image                                         

41

2D Segmentation of Real Color Imagesg g

A real image of potatoes                              

42

2D Vessel Segmentationg

43

Segmentation of White Matter in MR imagesg g

44

Effect of the Level Set Regularizationg

Without level set regularization                                         

45

Final zero level contour Final level set function

Comparison with Piecewise Smooth Modelp

Comparison of computational efficiency                                      

46

Comparison with Piecewise Smooth Modelp

Our method                                        

PS model                             

47

3D Vessel Segmentationg

MRA Vessel Segmentation                                        

48

SummarySummary

• Variational and level set methods for image segmentation.• My recent works on variational level set methods:

1. A new level set formulation without the need for reinitialization (CVPR 05).2. A region‐based model that draws upon local image information. (CVPR 07).              

49

AcknowledgmentAcknowledgment 

• Dr. John Gore,  Vanderbilt University• Dr Zhaohua Ding Vanderbilt UniversityDr. Zhaohua Ding, Vanderbilt University• Dr. Chiu‐Yen Kao,  Ohio State University• Dr. Chenyang Xu,  Siemens• Dr. Kishori Konwar, Goldman Sachs

h f f• Dr. Changfeng Gui, University of Connecticut• Dr. Martin Fox, University of Connecticut  

50

Thank you

51