validation d'une prévision d'ensemble

Colloque National d’Assimilation- Toulouse - Dec 2014 - slide 1/21

Validation d’une prévision d’ensemble(projet INSU/LEFE/MANU/VIPS)

François Bouttier, Jeffrey Beck, Etienne Chabot, Guilllem Candille (CNRM-GAME)

Etude des méthodes de vérification de prévisions d’ensemble météo à haute résolution ● l’outil : PE AROME - campagne HyMeX● application : comparaison entre plusieurs ensembles● rôle des erreurs d’obs● problèmes spécifiques à la pluie

Lien avec l'assimilation :● prévisions d’ensemble dans les assimilations d'ensemble● représentation des PDFs d'ébauche et d'obs


La prévision d’ensemble AROME

AROME = modèle de prévision numérique de l’atmosphère :● aire limitée, résolution horizontale 2,5km● non-hydrostatique, 5 espèces microphysiques, TKE pronostique, physique Méso-NH, assimilation 3D-Var (système dérivé d’IFS/ARPEGE)● opérationnel dans ~20 pays d’Europe et d’Afrique du Nord

Prévision d’ensemble AROME :● but : échantillonner la PDF des erreurs de prévision● 12 membres, échéance ~36h● couplage à la P.E. globale ARPEGE (perturbs initiales & latérales)● perturbs de surface, physique stochastique● opérationnelle en 2016


Validation par les observationsPour calculer des scores robustes il faut :● des expériences assez longues, et des évènements assez fréquents● de vraies obs (analyses inutilisables car échéances courtes : errfc~errana)

● au moins O(100) obs/jour (radiosondes inutilisables)

→ il faut des expériences de plusieurs mois.

Le coût est réduit avec des obs plus denses : ici campagne de mesure HyMeX (hydrologie en Méditerranée, SOP1 automne 2012, après contrôle de qualité)

obs de routine données HyMeX: 4x plusNb obs/jour par carré 1x1degré (pluie, 5 Sept - 6 Nov 2012)


Importance du nombre d’observations

● problème de validation des évènements à fort impact

● le diagramme de fiabilité de PE AROME pour les précipitations fortes (rr3>20mm) a moins de bruit d’échantillonnage avec les obs HyMeX (4x plus d’obs)

avec obs deroutine MF

avec obsSOP1 HyMeX SOP1


Application : Résolution vs taille de l’ensembleVariable : pluie rr (sur 3h en mm)Comparaison entre PE AROME 12 membres (dx=2,5km en bleu) et PE ARPEGE 35 membres (dx=10km en rouge)

ratio dispersion/erreur diag. de rang CRPS

Brier

Brier Fiabilité

Fiabilité ROC

ROC Valeur économique

Valeur économique

rr>3 rr>3 rr>3 rr>3

rr>10rr>10rr>10rr>10


Résolution vs taille de l’ensembleComparaison entre PE AROME 12 membres (dx=2,5km bleu) et PE ARPEGE 35 membres (dx=10km rouge)

Conclusions :● ici la résolution du modèle apporte plus que le nombre de membres● mais cela coûte cher● L’approche ensembliste atténue la problématique de la ’double peine’

des scores (de pluie) à haute résolution

● avoir plus de membres ● n’apporterait rien à la dispersion● serait surtout intéressant pour la pluie (courbes ROC anguleuses)


Pour avoir plus de membres : le superensembleCombinaison des sorties de plusieurs ensembles indépendants, de résolutions comparables(mais modèles, assimilations et perturbations très différentes) → c’est optimal

(pas seulement parce qu’il y a plus de membres)

Vert : MOGREPS-UK, Rouge : PE AROME, Bleu : MOGREPS+AROME


le superensemble

- PE AROME- COSMO-DE-EPS- Superensemble

40 days, summer 2012)obs in overlap zone :

n’est pas optimal si les ensembles sont de qualité trop différente.


Remarque sur les (trop nombreux)scores de prévision d’ensemble

groupage subjectif des principaux scores en terme de sensibilité aux principaux aspects du système de PE : (modèle, taille, perturbations initiales, latérales, stochastiques)

dispersion/erreur

diag. de rang

variablecentréeréduite

CRPS

Brier

diag. defiabilité

ROC

Valeuréconomique

scores de dispersionscores de

probabilitésbrutes

scores deprobabilités

calibrées

mieux adaptés auxmodélisateurs

mieux adaptés auxusagers


Rôle des erreurs d’observation sur lavalidation des ensembles

Problème crucial à courte échéance (erreurs d'obs comparables aux erreurs de prévision)

2 familles de solutions :● représenter chaque obs par une PDF (au lieu d'un Dirac)● perturber aléatoirement les écarts (obs-prévision)


Rôle des erreurs d’observation

σo=5 %sous-dispersifs

σo=0sous-dispersifs

sur des diagrammes de rang (humidité relative à 2m)avec 2 estimations vraisemblables de l'erreur d'obs : 5% et 10%

σo=10 %sur-dispersifs

on ne peut pas décider si l'ensemble est sur- ou sous-dispersif.



σo=0.2+0.2rr(sur-estimation

de σo)σo=0 σo=0.1

σo=0.01(sous-estimation

de σo)

sur des diagrammes de rang de précipitationmodèle vraisemblable d'erreur d'obs : σo=0.1 + 0.1 rr [mm]

le diagnostic est hypersensible à l'erreur d'obs au voisinage de zéro



Conclusions :● pour la plupart des paramètres, il est impossible de décider si l’ensemble est sur- ou

sous-dispersif● en général, cela n’a pas d’importance pour les usagers (pas d’impact sur leurs

scores)● pour la pluie, certains scores sont inutilisables car ils sont dominés par la

représentation des erreurs d’obs sur les faibles pluies.


Problèmes spécifiques à la pluie

Commun à toutes les variables qui valent fréquemment zéro (réflectivités radar, brouillard, turbulence, givrage, etc)

● exclure les situations où la variable est non-nulle biaiserait l’échantillon.● les transitions pluie/nonpluie sont beaucoup plus fréquentes que les occurences de fortes pluies


Distribution climatologique des valeurs de pluie sur 3 mois :● >90 % des valeurs (observées ou prévues) sont nulles● les pluies fortes (rr>10mm en 3h) sont rares : fréquence<1 %, nb~O(1000)● biais fréquentiels du modèle sur la distinction pluie/non-pluie


Exemple de prévision d'ensemble des pluies● représentées sous forme d'observables (réflectivité radar simulées)● ici : orages dans flux de SW, cellules intenses et localisées● prévision : bonne distribution régionale, intensité 20mm/h dans tous les membres● mais trajectoires et timings incertains

9 June 2014 - 250hPa AROME reflectivity ensemble 18h-fcast prévision déterministe

obs radar


Représentation spatiale de la probabilité de pluie :

Cartes des probabilités P(Zrefl>10mm/h) :on n'atteint jamais 20%à cause de l'intermitence spatiale du phénomène

Avec une tolérance spatiale dans le calcul de la PDFc'est encore pire...

On ne sait pas restituer la physique de l'ensemblesous forme de probabilités


Représentation spatiale de la probabilité de pluie :

Explication : l’ensemble est trop petit pour échantillonner des structures qui sont à la fois petites, mobiles et complexes

Exemple 1D : 4 membres qui prévoient tous un orage, mais le quantile Q50 est partout proche de 0

intensité

positionQ50


Représentation spatialisée de la probabilité de pluie

obsproba brute proba spatialisée

Solution : considérer plutôt l'évènement spatialisé : '’pluie dans un voisinage V(x)'’c'est à dire : P(max(refl)>10)

ex V = disque de rayon 15km <<résolution effective du modèle(idéalement on devrait prendre en compte un voisinage temporel et le mouvement des cellules)


Essai de validation objective de la spatialisation(G. Candille)

Score de valeur économique par rapport aux obs brutes :

-> la valeur max est dégradée , mais il existe un optimum pour les usagers ayant unpetit rapport coût/perte (=qui veulent surtout éviter les non-détections, ex : prévisiond'évènements dangereux)

raw PDFeco value

cost/loss ratio

increasinglyspatialized

PDFs

cost/loss~1/10


Conclusions

● nécessité d’acquérir beaucoup d’observations pour valider les ensembles

● la notion de sur- ou sous-dispersion n’est pas toujours accessible à cause de notre méconnaissance des erreurs d’observation

● les scores sont à améliorer pour les variables asymétriques comme la pluie

● intérêt pour clarifier la relation entre tolérance spatiale et qualité des PDF prévues

● quelles implications pour l’assimilation des pluies ?

validation d'une prévision d'ensemble

Documents