synthèse

Applications des réseaux de neurones en

reconnaissance de formes et en vision par

ordinateur

Synthèse

GPA-779 Application des réseaux de neurones et des systèmes expertssynthèse - 2

Espace d'entrée

XExtraction

desprimitives

Espace des primitives

YSystème

dedécision

Espace des décisions

D

1- Reconnaissance de formes


Apprentissage supervisé: rétro-propagation du gradient d’erreur


SonarTravaux de Sejnowski & Gorman, 1988Pré-traitement: TFDApprentissage: spectres en fréquence


Approximation complexe: conduite d’un véhicule motorisé

1217 unités

à gauche

à droite

route + claireou + foncée

= 256

= 960 (dans le bleu)


Approximation complexe: conduite de véhicule motorisé

Projet développé à Carnegie-Mellon

Apprentissage: 1200 images présentées 40 fois chacune. Les images représentent une grande diversité de courbes, d’intensité et de distortion. L’apprentissage dure ~30 min.

Résultats: Le meilleur à … ~5 km/hrs dans une route boisée.


Classification de chiffres manuscrits


Classification de chiffres: Mémoire associative (réseau de Hopfield)


Structure du ART 1

€

F1(a)=Entrée=Xk

F2 Catégoriesj

€

Wf=bji

€

Wb=tij RAZRAZ

<ρ?

G1

G2

F1(b) =Interface

F1 Caractéristiques

i


= 0,9

= 3 et plus

nouvelle catégorie

dans F2


Classification de polices: Kohonen


Classification de lettres


Classification de lettres: 2 approches


2- Vision par ordinateur


Modèle algorihmique du système de vision

Niveau 0

Niveau 1

Niveau 2

Niveau 3

Niveau 4

Segmentation

Interpolation

AutresOmbrageStéréo

Images

droitegauche

Détection des arêtes

Esquisse

Esquisse2 1/2 D

Description

Détection des arêtes

Croquis Croquis

3D


2.1 Extraction des primitives

2

2 41

333

Occultations: masquage d’un objet par un autre

Arête 3D: discontinuité du vecteur normal

Marques: texture, albédo, etc.

Ombre: discontinuité de l’éclairage incident

1-

2-

3-

4-


I

∇I

∇2I

Caractéristiques de scène projetées sur l’image d’éclairement


Approximation du gradient

sortie = |dx| + |dy|

dx dy


Détection des arêtes orientées

∇2Gσ * I


Système BCS de Grossberg

-+ - +

Max.


Extraction par apprentissage supervisé

Extraction des primitives

Sous-image pour l’apprentissage


1- Choix d’une base d’apprentissage

586 vecteurs 3x3 d’apprentissage sont sélectionnés (distance euclidienne plus grande que 0,17)


2- Construction du réseau

Réseau à rétro-propagation

NI = 3x3

Nh = 6

No = 1

Entrée

Couche cachée

Sortie (arête)


3- Apprentissage

4- Généralisation

Structure d’appel des différents programmes et fichiers de données.

Sélection des v ecteurspour l’apprentissage

base_vect.cc

ImageEntree.pgm

ImageDesiree.pgm

Apprentissage

batchman (SNNS)

Constructiondu réseau

SNNS

Visualisation etimpression de l’image

xv, imagetool, etc.

Conversionet mise-à-l’échelle

pgm2pat.cc

Généralisation

SNNS

Conversionet mise-à-l’échelle

res2pgm.cc

leo.pgmcampanile.pgm

cam.pgmfrog.pgm

etc.

binairisée

lab2_out.net

leo.res

leo_bin.pgm

leo.pat

lab2.netvecteurs.pat

apprentissage.param

batchman.log


2.2 Stéréoscopie


f

d

xg xd

df Δδ–()

δ--------------------=

δ xg xd–=

0 0

Géométrie


Mesure de disparité

épipolaireligne

image d’arêtes gauche image d’arêtes droitefusion

x=x1 x=x1 x=x1−δmin=x x1−δmin−δmax

δmax


Compétition entre les neurones de disparité

épipolaireligne


x=x1 x=x1


Mesure de la disparité résultante

épipolaireligne


x=x1 x=x1


3- Télédétection

Cellular Neural Network for Automated Detectionof Geological Lineaments on Radarsat Images

Richard Lepage, Rouhana G. Rouhana, Benoît St-Onge, Rita Noumeir, and Robert Desjardins

IEEE Transactions on Geoscience and Remote Sensing,Vol. 38, No. 3, p. 1224-1233, May 2000


• Linéaments

Qualité visuelle Direction consistante

Continuité sur une longue distance

Longs éléments rectilignes ou curvilignes indiquant des phénomènes géologiques


• Réseau neuronique cellulaire

Grande matrice de cellules Grande matrice de cellules identiquesidentiques Connexions locales avec les cellules voisines

Cellules adjacentes: effet direct

Cellules non adjacentes: effet indirect

Avantage :Avantage : Adapté aux algorithmes Adapté aux algorithmes de visionde vision


Structure en treillis du réseau cellulaire


Élément de calcul à chaque noeud

∑ f* B

* A

∫+

+

-

+

xi xi

1

1-1-1

f

vi

vj

I

uk


Nœud à chaque pixel


Modèle à grand voisinage circulaire Chaque pixel:

–induit un champs de gradient dans un voisinage circulaire

–applique un effet d’inhibition sur lui même

Le rayon de voisinage diminue avec une certaine vitesse et un certain pas


P

e

A

B

e’

e’

D

C

e’

e’ e' = e cos

Champ d’induction circulaire


P

eA

BD

CQ

e’ = e’

I

II

e’<< e’Sélectivité circulaire:

e' = e cos

Sélectivité directionnelle:

e' = e cos3

Champ directionnel d’induction: comparaison avec le champ circulaire


Résultats: région de Charlevoix


Image Radarsat dimensions : 768x768 précision : 9m


Détection classique: masque de Sobel directionnel


Détection par réseau neuronique cellulaire à induction directionnelle


4- Inspection automatisée

Projet de coopération franco-québécoise 97-99

ÉTS - INSA de Lyon


CCD CAMÉRA

INSPECTION

entraî-

Mémoireassociative

Rapportd'inspection

CAO

géon

2D

géon

3Dnement

Base de donnéesModèles CAODescriptions géonsImages 2DImages 3D

Contexte de l'inspection


Étapes Construction d’une banque de données choix de pièces étalons représentations CAO

–volumétrique (CSG)–surfacique (STL et B-Rep)

conversion en géons (à partir du format neutre de fichier)

image 3D des objets–balayage laser (CNRC)–machine à mesurer coordonnées


Extraction des géons à partir de la caméra CCD

Mise en registrereprésentation CAO (STL) et image 3Dreprésentation CAO (NURBS) et image 3D

Sélection rapide par mémorisation associative des géons

constituants


CCD CAMÉRA

INSPECTION

entraî-

Base de donnéesmodèles CAOImages 2DImages 3D

Mémoireassociative

CAO

géon

3Dnement

Descriptions géons

Base de données


Pièce 1 Pièce 2 Pièce 3 Pièce 4 Pièce 5

Pièce 6 Pièce 7 Pièce 8 Pièce 9 Pièce 10

Pièces de la base de données


courbe

COURBUREDE L'AXE

droit

TYPE D'ARÊTESGÉNÉRATRICES

droites

courbes

rotationnelleSYMÉTRIE DELA SECTION

réflective et

réflective

asymétrie FONCTION DEBALAYAGE

constante

variable

hybrides

MATÉRIALITÉ

solide

creux

Représentation visuelle par géons


au dessus

au dessus

au dessus

Exemple de décomposition en géons


Attributs des géons Type

positif négatif

Axe droit incurvé

Symétrie du profil réflective réflective et rotationnelle asymétrique


Types d'arêtes du profil droites courbes hybrides

Dimension du profil contante variable


Attribut de connectivité entre deux géons1: axes colinéaires (géons bout-à-bout)

2: axes à angle (jonction en T)3: axes parallèles (côte à côte, inclusif)

4: axes croisés (jonction en X)5: axes confondus (géons concentriques)


CCD

Base de donnéesmodèles CAO

Mémoireassociative

2D

géon

Extraction des géons d’une image 2D


Images 2DProblématique

–Occlusions–Réflets de lumière sur les pièces métalliques

–Jonctions manquantes, traits discontinus–Géons de forme imprévisible :


entraî-

Base de donnéesmodèles CAOImages 2DImages 3D

CAO

géon

nement

Descriptions géons

Conversion CAO en géons


Entrée : fichier de données CAO– format neutre (logiciel de conception assistée par ordinateur ProEngineer)

– B-Rep F(E) surfaces frontières arêtes limitrophes

Conversion F(E) à F(L(E(V)))– F surface– L boucles– E arêtes– V sommet


Extraction des géons par analyse des boucles internes–un géon correspond à un élément symbolique dans KBV

attributs relation spatiale avec les voisins


CCDentraî-

Base de donnéesmodèles CAO

Mémoireassociative

CA O

géon

2D

géon

nement

Mémoire associative


Type : Analyse syntaxique + Kohonen–Algorithme Shift-Reduce–Ex.: The boy who liked the girl | | article nom \ / sujet–Réseau de type SARDSRN

Utilise une carte topologique de Kohonen pour représenter les divers états du système

Décroissance temporelle de l’activation des anciennes instances


Réseau pour tenir compte de la connectivité

Couche cachée Copie

Attributsde connectivité

Attributsdes géons

Cartes Kohonen


Apprentissage–La base d'apprentissage est constituée de l'ensemble des modèles CAO convertis en modèle visuel perceptuel par géons

Sortie–Chaque neurone de sortie pointe vers un des modèles CAO de la base de données. Les neurones activés représentent les modèles CAO les plus probables.


Activation–Progressive. Les neurones de sortie s'activent de plus en plus au fur et à mesure que l'information se précise à l'entrée.

–L'information à l'entrée est fournie graduellement, au rythme de l'extraction des géons dans l'image d'entrée.


CAMÉRA

INSPECTION

Rapportd'inspection

3D

Base de donnéesModèles CAO

Inspection


Mise en registre–Les mesures 3D provenant de la caméra 3D par balayage laser sont comparées avec chacun des modèles CAO identifiés par le réseau associatif

–Chacun des modèles CAO est transformé pour minimiser un signal d'appariement

–Un rapport d'inspection est généré à la suite des mesures de comparaison avec le modèle CAO finalement sélectionné


Vérification de tolérance–Planéité–Parallélisme–Perpendicularité, inclinaison, forme

Numérisation–Trajectoire optimale de la caméra(position optimale de la tête de numérisation)

synthèse

Documents