SETIT 2009 5th International Conference: Sciences of Electronic,

Technologies of Information and Telecommunications March 22-26, 2009 – TUNISIA

- 1 -

Extraction de Zones d’Intérêt par Graph Cuts Khalid HOUSNI*, Driss MAMMASS*, Youssef CHAHIR**

*Laboratoire IRF – SIC, Faculté des sciences - Agadir -Maroc khalidhousni@yahoo.fr

driss_mammass@yahoo.fr

** Laboratoire GREYC-UMR CNRS 6072, Université de Caen – France chahir@info.unicaen.fr

Résumé : La minimisation d’énergie par les graph cuts est de plus en plus utilisée en vision par ordinateur. Une des facettes les plus attrayantes de cette approche, est qu’elle permet, sous certaines conditions, de trouver des minima globaux des fonctions, évitant ainsi l’écueil classique des minima locaux. Dans ce papier, nous décrivons notre approche de segmentation semi-supervisée et d’extraction d’objets à partir d’informations à priori, réduisant ainsi l’espace de recherche. Nous présentons différentes applications et nous discutons l’application de cette méthode sur des images couleurs et nous évaluons un certain nombre des fonctions de pénalités « coûts des arêtes» utilisées pour la construction des graphes. Mots clé: minimisation d’énergie, graph cuts, extraction des zones d’intérêts.

INTRODUCTION Nombreux sont les problèmes en vision par

ordinateur qui peuvent être traités comme un problème d’étiquetage. C’est le cas de la segmentation où segmenter une image en deux régions (objet/fond) revient à assigner une étiquette unique à chaque pixel. Ces problèmes d’étiquetage peuvent être représentés en terme de minimisation d'énergie, qui peuvent être résolus par les graph Cuts sous certaines conditions [Kolmogorov 04]. Cette approche de minimisation d’énergie par les graph cuts, a été introduite en vision par D.M. Greig en 1989 [Greig, al 89]. Elle a été étendue à plusieurs problématiques et elle est la base de plusieurs algorithmes tels que les approches alpha-expansion et alpha-beta-swap [Boykov, al 99]. Dans ce papier, on va utiliser cette approche de minimisation d’énergie pour la segmentation des images couleur et pour l’extraction des objets d’intérêt. Le papier est organisé comme suit : dans la section 1, nous présentons la problématique de la segmentation par minimisation d’énergie et sa résolution par graph cuts. Dans la section 2, nous traitons le cas de l’extraction d’objets d’intérêt et nous présentons les différents seuils utilisés. Ensuite, nous présentons dans la section 3, les résultats de validation sur des images couleurs.

1. Segmentation d’image par graph cuts La segmentation d’image peut être reformulée en

termes de minimisation d’énergie. Cette énergie est de la forme :

iNjni

jiji

p

iii xxVxDxE

..11),()()(

Où (Xp) p=1...n est un vecteur de variables dans un espace fini L (L pour label). Une variable Xi est associé à chaque pixel. Ni désigne l’ensemble des voisins du pixel i. D représente un terme d’attache aux données qui incite le résultat à être proche des données initiales, et V est un terme de régularité portant sur des pixels voisins pour imposer une cohérence spatiale. Le choix de la résolution de ce problème peut se justifier dans un cadre Bayesien. On peut, en effet, écrire à une constante de normalisation près P(X / I)=P(I/ X) P(X), soit en passant au logarithme, log(P(X|I) = log(P(I|X)+log(P(X).

Le premier terme de notre énergie correspond à la probabilité d’observer I connaissant X, et le second correspond à un à priori sur la forme de X (ici une cohérence spatiale).

Toute l’idée des Graph Cuts est de ramener le problème de minimisation d’énergie à un problème de coupe minimale dans un graphe. Greig et al. ont

(1)

SETIT2009

- 2 -

montré que cette minimisation (de type estimation du maximum à posteriori d’un champ aléatoire de Markov) peut être réalisée par la coupe minimale d’un graphe avec deux nœuds spécifiques "source" et "puits" pour la restauration d’images binaires [Greig, al 89]. Plus tard, l’approche a été étendue aux problèmes non-binaires connus sous le nom ”S-T Graph Cut” [Boykov, al 99]. V. Kolmogorov [Kolmogorov 04] a donné une condition nécessaire et suffisante, dite condition de sous modularité, pour qu’une fonction puisse être minimisable par graph cuts. Dans le cas de l’énergie E(x), V ij est un terme de voisinage, ce qui permet de vérifier la condition, et la construction de graph se fait comme suit :

Chaque pixel Pij de l'image correspond à un noeud Vij du graphe. Deux autres nœuds supplémentaires forment la source et le puits, représentant respectivement l’objet et le fond. Chaque nœud (pixel) est relié à ses voisins par des arêtes n-liens (neighbor), avec une connectivité choisie, et dont les capacités dépendent des différences de l'intensité. Chaque nœud (pixel) est aussi relié par des arêtes, t-liens, aux terminaux (source et puits).

Fig. 1 – Construction de graphe pour une image (3x3) avec une connectivité V8. Chaque pixel correspond à un noeud, et tous les noeuds sont reliés à la source et au puits.

La valeur de E (x) est égale à une constate plus le coût de la s-t coupe minimale. Nous disons que E est exactement représentable par G, si la constante =0.

Pour le calcul de la coupe minimale, plusieurs algorithmes ont été développés : augmentation de chemin [Ford, al 62], Poussage-réétiquetage [Goldberg, al 88] et le nouvel algorithme de Boykov - Kolmogrov [Boykov, al 00]. Dans notre application, nous avons utilisé l’algorithme de Boykov–Kolmogrov pour sa vitesse d’exécution.

2. Extraction d’objets d’intérêt L’extraction d’objet d’intérêt dans une image a

une utilité importante surtout pour l’analyse des images médicales. Plusieurs approches ont été proposées ces dernières années à savoir : la segmentation par gradient morphologique [Vachier, al

97], les contours actifs basés sur la déformation d’une surface initialement formé [Kass, al 88] et le contour actif géodésique qui intègre les approches frontières et les approches région [Caselles 97]. Dans ce papier, on propose une approche d’extraction d’objets par les graph cuts à partir d’informations à priori., comme en [Boykov, al 01].

Il s’agit d’utiliser certaines contraintes topologiques, dites “contraintes dures“ qui peuvent indiquer que certains germes d’image sont connus à priori comme faisant partie de « l’Objet » ou du « Fond ». La segmentation doit satisfaire les contraintes suivantes :

0:

1:

p

p

xFpxOp

Le coût des arêtes est donné par :

(a) W(p, S) = * argmin(- ln(Pr(Ip /"font")), cts) si FOp

avec Pr(Ip /"Objet") + Pr(Ip /"fond") # 0 (b) W(p, S) = ∞ si Op (c) W(p, S) = 0 si Fp

ou Pr(Ip /"Objet") + Pr(Ip /"fond") = 0 (d) W(p, T) = * argmin*(- ln(Pr(Ip /"objet")), cts)

si FOp avec (Pr(Ip /"Objet") + Pr(Ip /"fond") # 0

(e) W(p, T) = ∞ si Fp (f) W(p, T) = 0 si Op

ou Pr(Ip /"Objet") + Pr(Ip /"fond") = 0

),(1)

*2exp(),( 2

2

qpdistII

qpW qp

: Spécifie une importance relative des propriétés de région D (.) contre les propriétés de frontière B(.)

: Ecart types des intensités des germes d’objet

S : source, T : puits.

2.1. Segmentation semi-supervisée Les germes d’objet sont reliés avec un poids infini

(max) à la source (voir 3-b), et avec un poids nul au puits (3-c). Le principe est inversé pour les germes de fond (3-e) et (3-f). Ceci permet de satisfaire les contraintes (2).

Pour les pixels dont l’intensité ne figure pas dans les germes appartenant à l’objet et au fond (Pr(Ip /"Objet") + Pr(Ip /"fond") = 0) les poids des liens terminaux sont nul. Et le marquage de ces pixels (objet ou fond) sera fait par ses voisins.

Les pénalités −lnPr(Ip|"fond") et −lnPr(Ip|" objet") (3-a & 3-d) sont justifiées par la formulation fondamentale de MAP-MRF [Ford, al 62] [Boykov, al

Puits

Source

(3)

(4)

(2)

SETIT2009

- 3 -

98]. Le calcul de ces termes est donné dans la figure 2.

Fig. 2 – Cette figure, histogrammes des germes

d’objet et de fond, illustre comment les termes (3-a) et (3-d) seront calculés.

W(p, q) est grand quand |Ip - Iq| , c’est à dire quand les deux pixels p et q sont similaires. Il est plus petit et tend vers zéro quand |Ip – Iq| . Le but est d’encourager la segmentation (la coupe) qui passe par des régions où le gradient de l’image est assez fort.

(b) (c)

Fig. 3 – Exemple de segmentation d’une image 3x3 avec une connectivité V8. Le poids de chaque arrête est reflété par l'épaisseur de cette dernière. Les poids de n-liens sont calculés par (4) pendant que les coûts des arêtes t-liens sont calculés par (3). Les contraintes dures (germes) seront rendues effectif par des arêtes t-liens avec les coûts infinis. (a) image initiale avec contraintes dures, (b) graphe correspondant, (c) graphe résiduel après la convergence de l’algorithme de coupe minimale, (d) résultat de la segmentation.

Image originale Région d’intérêt Image sans région d’intérêt

Fig. 4 – résultats obtenus pour IRM médicale

(Images de la mammographie et Image du cerveau).

Pour les images bruitées, telles que les images sonars, on a utilisé le processus suivant :

Image restauration par un algorithme de restauration (tel que alpha-expansion) segmentation

(a) (b)

(c) (d)

Fig. 5 – Application pour l’image sonar (a) image originale (b) image restaurée à 255 niveaux (c) résultat de la segmentation d’image originale (d) résultat pour l’image restaurée.

Pour le coût des arêtes, l’utilisation de la probabilité sans passer au logarithme permet aussi d’obtenir de bons résultats.

La méthode des coupes de graphe permet aussi d’extraire des objets isolés non sélectionnés par des contraintes dures. La figure 6 illustre un tel cas.

pqw

t-link Ds

n-links

Puits

Source

Puits

Source

t-link-Dp

La coupe

SETIT2009

- 4 -

Fig. 6 – la figure illustre le cas de l’extraction des

objets isolés contenant des trous.

2.2. Segmentation à base des seuils Les contraintes dures ne sont pas, en général,

requises. La segmentation peut être faite à base de deux seuils déduits à partir de l’histogramme ; l’un représente l’objet IObjet et l’autre le fond IFond. Ces seuils seront utilisés pour remplacer l’information apportée par les germes d’objet et de fond entré par l’utilisateur. Le coût des arêtes t-liens sera donné par :

(a)

(b)

(c) (d)

Fig. 7 – (a) image originale, (b) calcul des seuils

I source et I puits à partir d’histogramme de (a), (c) résultat pour =20(d) résultat pour =30.

3. Application sur des images couleurs Pour une image couleur, le principe reste le

même ; dans ce cas une image I est composée d’un vecteur (Ix,Iy,Iz), et d’après les histogrammes des germes d’objet dans les déférentes couches (RVB), comparés avec l’histogramme de l’image en niveau de gris correspondante (fig 9-e), il apparut que la segmentation des couches (RVB) séparément, puis la superposition des résultats obtenus va permettre d’exploiter au maximum l’information à priori.

Image originale =0.1 =0.2

Fig. 8 – comparaison entre l’extraction d’objets (segmentation) par le traitement des couches (RVB)

22 2/||||exp)( objetpp IIsourceD

175

22 2/||||exp)( fondpp IIpuitD

SETIT2009

- 5 -

séparément et l’extraction par utilisation de l’image en niveau de gris correspondante.

(a) (b)

(c) (d)

Histogrammes des grains objet

0

5

10

15

20

25

30

1 22 43 64 85 106 127 148 169 190 211 232 253

intensités

nom

bre

des

pixe

ls

G_objetB G_objetR G_objetV G_objetGris

(e)

Fig. 9 – D’après les intensités (b) de la zone sélectionnée (a) et l’histogramme des germes d’objet (e G_objetGris), il apparut que les germes sélectionnés pas l’utilisateur ne permettent pas, quelque soit la valeur de , d’extraire cette zone. Par contre dans le cas de la couleur (c) les germes d’objet de la couche B (e G_objetB) permettent d’extraire cette zone.

4. Conclusion Nous avons présenté dans ce papier comment la

méthode des graph cuts peut être utilisée pour l’extraction d’objets d’intérêt et la segmentation à base de seuils. Nous avons aussi montré que l'exploitation de la couleur permet de simplifier effectivement l'identification des objets et leur extraction sur des images couleurs.

REFERENCES [Bascle, al 94] B. Bascle, R. Deriche, 1994, Region tracking

through image sequences. INRIA Rapport de recherche No 2439.

[Boykov, al 01] Y. Boykov M-P Jolly July 2001, Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images. Proceedings of “Internation Conference on Computer Vision”, Vancouver, Canada.

[Boykov, al 99] Y. Boykov, O. Veksler et R. Zabih septembre 1999, Fast approximate energy minimization via graph cuts. Dans IEEE International Conference on Computer Vision, volume 1, pages 377–384.

[Boykov, al 00] Y. Boykov and V. Kolmogorov September 2000, An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision. In 3rd. Intnl. Workshop on Energy Minimization Methods in Computer Vision and Pattern Recognition (EMMCVPR). Springer-Verla.

[Boykov, al 98] Y. Boykov, O. Veksler, and R. Zabih 1998, Markov random fields with efficient approximations. In IEEE Conference on Computer Vision and Pattern Recognition, pages 648–655.

[Caselles 97] V. Caselles, R. Kimel, and G. Sapiro. 1997, Geodesic active contours. Int. Journal of Computer Vision, 22(1) pp :61-79.

[Cohen, al 93] L.Cohen & I. Cohen 1993, Finite-Element Methods for active contours models and ballons for 2D and 3D images, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 15 pp : 1131-1147.

[Ford, al 62] L. Ford and D. Fulkerson 1962, Flows in Networks. Princeton University Press.

[Goldberg, al 88] A. Goldberg and R. Tarjan October 1988, A new approach to the maximum flow problem. Journal of the Association for Computing Machinery, 35(4):921–940.

[Greig, al 89] D.M. Greig, B.T. Porteous, and A.H. Seheult 1989, Exact maximum a posteriori estimation for binary images. J. R. Statist. Soc. B, 51 :271–279.

[Kass, al 88] M Kass, A. Witking, & D. Terzopoulos, 1988, Snakes : Active contour models, Int. J. Comput. Vis. Vol. 1, pp. 321-332.

[Kolmogorov 04] V. Kolmogorov FEBRUARY 2004, What Energy Functions Can Be Minimized via Graph Cuts? IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 26, NO. 2.

[Vachier, al 97] C. Vachier, S. Muller et S. Bothorel 1997, Analyse morphologique des clichs mammo-graphique en vue de la dtection des opacits du sein. Dans Proceedings of ADEBIO.