metaheuristiques et optimisation combinatoire...fourmis optimisationparessaims particulaires....
TRANSCRIPT
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
1/33
Metaheuristiques et optimisationcombinatoire
Wilfried Segretier
LAboratoire de Mathématiques, Informatique et Applications (LAMIA)Université des Antilles et de la Guyane
Campus de Fouillole, Guadeloupe13 février 2019
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
2/33 Plan
1 Introduction
2 Problèmes d’optimisation et Métaheuristiques
3 Algorithmes évolutionnaires
4 Optimisation multi-Objectifs
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiquesProblèmesd’optimisationHeuristiquesMétaheuristiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
3/33 Problèmes d’optimisation
Couple (S , f )
S : Espace de recherche
f : S → Y
∀s ∈ S ,f (s ′) > f (s) (resp f (s ′) < f (s))
1 Cas continu
2 Cas discret/combinatoireVoyageur de commerce (Traveller salesman problem, TSP)
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiquesProblèmesd’optimisationHeuristiquesMétaheuristiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
4/33 Méthodes de résolution
Différents types de méthodes de résolution
I Méthodes exactesTrouvent toujours la meilleure solution.Exemple : Parcours exhaustif de l’espace de recherche.
I Méthodes approchéesExplorent un sous-ensemble de l’espace de recherche.Se rapprochent de la solution optimale.
I Méthodes déterministesExécutent toujours la même suite d’opérations
I Méthodes stochastiquesGuidées par des choix probabilistes (tirages aléatoires)
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiquesProblèmesd’optimisationHeuristiquesMétaheuristiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
5/33 Méthodes de résolution
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiquesProblèmesd’optimisationHeuristiquesMétaheuristiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
6/33 Heuristiques
HeuristiquesI Grec ancien : eurisko, je trouveI Méthodes approchéesI Stratégie : Connaissance du problème considéréI Bon sensI Réduction de la complexité : Polynomial
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiquesProblèmesd’optimisationHeuristiquesMétaheuristiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
7/33 Métaheuristiques
I Méthodes approchéesI meta : a un niveau supérieur, non spécifiques à un problème
particulierI Guident la recherche de solutions optimalesI Exploration efficace de l’espace de rechercheI Métaphores/Bio-inspirationI Mécanismes d’intensification/diversification (extraction des optimums
locaux)
1 Solution unique :
Recherche tabouRecuit simuléGRASP
2 Population de solutions
Algorithmes évolutionnairesAlgorithmes de colonies defourmisOptimisation par essaimsparticulaires
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiquesProblèmesd’optimisationHeuristiquesMétaheuristiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
8/33 Méthodes à solution unique
Recuit simulé (Kirkpatrick et al., 1983)
I Simulation du processus de refroidissement d’un métalI Température T : probabilité choix voisin x’ de x selon f(x’) (fonction
objectif)
P(∆E ,T ) = e−f (x′)−f (x)
T
I Schéma de refroidissement par palliers
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiquesProblèmesd’optimisationHeuristiquesMétaheuristiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
9/33 Méthodes à population de solutions
Algorithmes de colonies de fourmis (Dorigo et al., 1991)
I Initialement proposé pour leTSP
I Problèmes à solutionspartielles (construction)
I Phéromones : Renforcementdes solutions optimales
I Paramètres : α, β,évaporation de la piste
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsupervisée
Optimisationmulti-Objectifs
10/33 Méthodes à population de solutions
Algorithmes évolutionnaires :
I J. Holland 1975 :travaux sur les mécanismesd’auto adaptativité
I Evolution naturelle :
survie du plus adaptébrassage génétiquemutations
I Evaluation=Fonction objectif=Fitness
I Largement utilisés depuis(Goldberg 1989)
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsupervisée
Optimisationmulti-Objectifs
11/33Algorithmes évolutionnaires : représentation etvariation
ReprésentationI Caractérisation d’une solution sous une
forme appréhendable par l’AGI Complète : toute solution doit etre
représentableI problem dependantI Exemples : chaines binaires, tableau
d’entiers, ensembles de var,...
Opérateurs de variationI Faire varier la population en créant de
nouveaux individus à partir des existantsI problem dependant (representation)
I doivent générer des individus viablesI Opérateurs de diversification
Croisement (crossover)
I Recombinaison de l’informationgénétique, hérédité
I 2 parents → 2 enfantsI stratégieI Monopoint, multipoints, uniformes, ...I representation dependantI Taux d’application (0.5, 0.6, ...)
MutationI Modification aléatoires ponctuelles à un
individuI Introduction de diversitéI Taux d’application typiquement très
faibleI 0.001
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsupervisée
Optimisationmulti-Objectifs
12/33Algorithmes évolutionnaires : représentation etvariation
I Individu
I Croisement
I Mutation
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsupervisée
Optimisationmulti-Objectifs
13/33 Algorithmes évolutionnaires : Opérateurs de sélection
Opérateurs de sélectionI Sélectionner des sous-ensembles de la
populationI deux types Remplacement/Reproduction
I basés sur la qualité des individusI opérateurs d’intensificationI réduction de la diversitéI taux d’applicationI ne pas négliger les individus moins bons !I → pression de sélectionI forte : privilégier les meilleursI faible : conservation de diversité
ReproductionI Choisir les individus de la population
auxquels seront appliqués les opérateursde variation
I Roulette Wheel : probabilité d’êtresélectionné proportionnelle à sa qualité
I Tournoi n-aires : formation de n-upletsdont on garde le meilleur : n grand →pression de sélection forte
I Déterministe : N meilleurs de lapopulation
RemplacementI Choisir les individus qui participeront à
la génération suivanteI Remplacement générationnel : seuls les
enfants sont gardés (courant)
I élitisme : idem mais le ou les meilleursindividus sont gardés, si ils avaient étéperdus → croissance monotone de laqualité du meilleur individu.
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsupervisée
Optimisationmulti-Objectifs
14/33 Algorithmes évolutionnaires : exemple du TSP
N villes : N ! permutations
Fonction objectif : longueur parcoursChromosomes : Parcours villes :
1 4 2 5 6 3 - 1 2 5 4 6 3 - 1 5 4 3 6 2 - ...
Croisement : Echange de gènes, Vérification de la conformité
1 4 2 5 6 3 - 1 2 5 4 6 31 2 5 5 6 3 - 1 4 2 4 6 3→ non valable !
Mutation : Permutation de villes
1 4 2 5 6 3 → 1 4 6 5 2 3
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsupervisée
Optimisationmulti-Objectifs
15/33 Algorithmes évolutionnaires en fouille de données
I Préparation : Sélection d’attributsProblème d’optimisationMeilleures combinaisons d’attributsEvaluation : coefficient de corrélation, Info Gain, Gain ratio(Freitas 2002, Jourdan 2003)
I Modélisation : Règles classificationSystèmes de classeursPools de règles / apprentissage par renforcement(Holland 1975, Smith 1983)
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsupervisée
Optimisationmulti-Objectifs
16/33 Régression polynômiale évolutionnaire (EPR)
Approche de régression hybride
Recherche d’un polynôme de la forme :
Problème d’optimisation :matrice d’exposants=solution
individu : -1 0 1 0 1 -1 1 0 0 1 1 0
Evaluation
I Recherche des coefficientsrégression linéaire :moindres carrés
I RMSE=√√√√1n
n∑i=1
(yi − y ′i )
2
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsuperviséeDonnéeshydro-météorologiquesVariablesagrégées etalgorithmeévolution-naireRésultats
Optimisationmulti-Objectifs
17/33
1 Introduction
2 Problèmes d’optimisation et Métaheuristiques
3 Algorithmes évolutionnairesExemples d’utilisationMétaheuristiques en classification supervisée
Données hydro-météorologiquesVariables agrégées et algorithme évolutionnaireRésultats
4 Optimisation multi-Objectifs
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsuperviséeDonnéeshydro-météorologiquesVariablesagrégées etalgorithmeévolution-naireRésultats
Optimisationmulti-Objectifs
18/33 Modélisation hydrologique
I Approche Conceptuelles :
I Approches Dirigées par les Données :
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsuperviséeDonnéeshydro-météorologiquesVariablesagrégées etalgorithmeévolution-naireRésultats
Optimisationmulti-Objectifs
19/33 Evénements hydrologiques
0.2
0.4
Tr
0.6
0.8
1
-9 -6 -3 0 3 6 9 12 15
0
20
40
60
80
100
-9 -6 -3 0 3 6 9 12 15H
aute
ur
d’e
au r
elat
ive
Pre
cip
itat
ion
s (m
m)
Temps (h)
Temps (h)
soudonblanche
scismgueblanche
desiradepompage
pontrn1spitz
bois-lezardcolson
olivecirad
0.2
0.4
Tr
0.6
0.8
1
-9 -6 -3 0 3 6 9 12 15
0
20
40
60
80
100
-9 -6 -3 0 3 6 9 12 15
Hau
teu
r d
’eau
rel
ativ
e
Pre
cip
itat
ion
s (m
m)
Temps (h)
Temps (h)
soudonblanche
scismgueblanche
desiradepompage
pontrn1spitz
bois-lezardcolson
olivecirad
I
Crue
I
NonCrue
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsuperviséeDonnéeshydro-météorologiquesVariablesagrégées etalgorithmeévolution-naireRésultats
Optimisationmulti-Objectifs
20/33 Concept de Variable Agrégée
I Selection de variables pertinentes
I Fonctions statistiques (moyenne, écart-type, max, ...)
(Segretier 2011, 2012, 2013, 2014)
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsuperviséeDonnéeshydro-météorologiquesVariablesagrégées etalgorithmeévolution-naireRésultats
Optimisationmulti-Objectifs
21/33 Principe de calcul d’une VA
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsuperviséeDonnéeshydro-météorologiquesVariablesagrégées etalgorithmeévolution-naireRésultats
Optimisationmulti-Objectifs
22/33 Jurys et problème d’optimisation combinatoire
Représentation :
1
100000
1e+10
1e+15
1e+20
1e+25
1e+30
1e+35
1e+40
1 2 3 4 5
|Sj|,
tail
le d
e l’
esp
ace
de
rech
erch
e (l
og
)
n, taille du jury
taille espace
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsuperviséeDonnéeshydro-météorologiquesVariablesagrégées etalgorithmeévolution-naireRésultats
Optimisationmulti-Objectifs
23/33 Algorithme Evolutionnaire mis en œuvre
Opérateur de croisement : Paramètres :
I Leave one out cross validation,I 50 expériences (2500 runs)I Précocités minimales : 60, 120, 180, 240,
300, 360 minutesI Jurys de taille 3 : efficacité vs complexitéI EA : 8000 générations, crossover 0.75,
mutation 0.001, taille population 100
Fonctions de fitness (objectif) : TP, TN, FP, FNI
IV =∑
(P(Si |N)− P(Si |F ) ∗ log(P(Si |N)/P(Si |F ))
I
MCC =(TP × TN)− (FP × FN)√
(TP + FP)× (TP + FN)× (TN + FP)× (TN + FN)
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-nairesExemplesd’utilisationMétaheuristiquesenclassificationsuperviséeDonnéeshydro-météorologiquesVariablesagrégées etalgorithmeévolution-naireRésultats
Optimisationmulti-Objectifs
24/33 Courbe ROC - 120 minutes de précocité
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 1
Tau
x d
e v
rais
po
siti
fs
Taux de faux positifs
AV2D (IV) - AUC = 0.815339BFT - AUC = 0.565876MLP - AUC = 0.761740
RF - AUC = 0.774589NBD - AUC = 0.663404C4.5 - AUC = 0.600996
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
25/33 Optimisation multi-objectifs
I Extension de l’optimisation classique (mono-objectif)I 2 approches : a priori (mono-objectif pondéré) et
a posteriori
I Optimiser un vecteur de n fonctions objectifI F = (f 1, f 2, f 3, ..., fn) définies sur SI parfois impossible d’améliorer un objectif sans en détériorer
un autreI → recherche d’ensemble de solutions non-dominées
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
26/33 Dominance de Pareto
I Une solution s domine une solution s ′ si :I ∀i ∈ {1, 2, ..., n}, fi (s) ≤ f (s ′)
I et ∃j ∈ {1, 2, ..., n} tel que fi (s) < f (s ′)
I Une solution s est dite non-dominée (ou Pareto Optimale)si
I @s ′ ∈ S tel que s ′ domine s
I L’ensemble de toutes les solution non dominée estl’ensemble optimal de Pareto
I Sa projection dans l’espace objectifs est le front optimal dePareto
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
27/33 Dominance de Pareto : Exemple
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
28/33 Dominance de Pareto : Exemple 2
Problème bi-objectifs :Maximiser f1 et minimiser f2
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
29/33 Propriétés
Lors de la recherche de fronts de Pareto, il est important deprivilégier
I La convergence : approcher au maximum le front optimalde Pareto
I La diversité : etre aussi distribué que possible sur le frontde Pareto
Lorsque n (nombre d’objectifs) augmente, la complexité de larecherche augmente rapidement !
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
30/33 Algorithmes génétiques multiobjectifs
Plusieurs approches :I MOGA (1993) : Multi Objective Genetic Algorithm
Notation, calcul du rang de dominance + interpolationI NSGA (1993) : Non-dominated Sorting Genetic Algorithm
Notation, tri par rapport aux différents degrés dedominance
I NPGA (1993) : Niched Pareto Genetic AlgorithmSélection, tournoi de dominance
I SPEA : Strength Pareto Evolutionary Algorithm, Notationrelative au nombre d’individus dominés
I NSGA II (2000) : Sélection tournoi classique + préférenceen fonction de degré d’encombrement de l’espace
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
31/33 MOGA
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
32/33 NSGA
Introduction
Problèmesd’optimisa-tion etMétaheuris-tiques
Algorithmesévolution-naires
Optimisationmulti-Objectifs
33/33 TP : Sac à dos multiobjectifs