S f d l l fStatus of and early results from the IPWG/WGNE modelthe IPWG/WGNE model 

precipitation intercomparisonp ec p tat o te co pa so

M S iMatt SapianoColorado State UniversityColorado State University

O tliOutline

• How model forecast precipitation is useful– Results from prior research

• The IPWG/WGNE model validationThe IPWG/WGNE model validation collaboration– Uses and availability of operational data to IPWG members

• Preliminary work on using model variables to estimate skill of model precipitation

I t d tiIntroductionExample: US

• Current satellite estimates are best for convective precipitation 

BUT: less good for large scale precipitation– BUT: less‐good for large scale precipitation which leads to deficiencies in high latitudes 

– Models and satellites therefore have complimentary strengths which should becomplimentary strengths which should be exploited

• Ultimate goal is to merge model and satellite data to obtain improved estimates of precipdata to obtain improved estimates of precip– This requires some understanding of the errors: 

when should model have higher weight than satellite?

• Model data available are from either reanalysis (stable) or operational models (better?)(better?)– Need to establish errors and characteristics 

relative to satellite estimates

P i lt lid ti f GFS USPrior results: validation of GFS over USSouthern Great Plains

• 3hrly 1° GFS 12hr & 15hr forecast precipitation was obtained 4 times a day from Mar04 – Sep06

Southern Great Plains

y p• Compared with ARM gauge data over OK 

& KA (USA) and corrected TAO/TRITON Buoy precipitation over Pacific

• Plots also include Stage IV Radar, CMORPH and TMPA

• GFS has high cors over SGP in warm l i ld

Winter Summer

season, v. low in cold season– V. low over tropical Pacific

• Big diff between daily (blue dots) and Tropical Pacific Buoys

g y ( )3hrly cors for GFS: indicative of problems with diurnal cycle

• 3hrly GFS performs poorly over whole

West Pac East Pac

• 3hrly GFS performs poorly over whole of Pacific; daily is better

• Note that this version is old4

Sapiano & Arkin, 2009. J. Hydrometeor., 10(1), 149‐166.

M lti S A l i f P i it tiMulti‐Source Analysis of Precipitation• MSAP is a monthly mean 2.5 degree merged 

precipitation analysis that uses Optimal Interpolation to blend model (reanalysis) and t llit ti t f i it tisatellite estimates of precipitation

– Calculate weights by comparison with GPCP– Expect to favor satellites in tropics and models in 

higher latitudeshigher latitudes• Two versions available:

– MSAP V2: SSM/I and ERA‐Interim (1989‐present); includes climatological gauge dadjustment

– MSAP‐OPI: OPI (corrected using new technique) and mix of ERA‐40+ERA‐Interim (experimental dataset; 1979‐present)

• This technique shows inclusion of model data leads to higher skill in high latitudes

• Need better ways to define errors of inputs, especially for high resolution data

Sapiano, Smith & Arkin, 2008. J. Geophys. Res., 113, D22103, doi:10.1029/2008JD010310.

data

IPWG WGNE ll b tiIPWG‐WGNE collaboration• At last IPWG, a framework for a collaboration between IPWG and WorkingAt last IPWG, a framework for a collaboration between IPWG and Working 

Group on Numerical Experimentation (WGNE) was established– WGNE includes major operational NWP centers– Gives a mechanism for IPWG members to obtain NWP data for the purposes of– Gives a mechanism for IPWG members to obtain NWP data for the purposes of 

validation at high resolutions• Several data centers are now providing 3hrly precipitation

Data is archived off line at CSU; pre processed to obtain simple precip files– Data is archived off‐line at CSU; pre‐processed to obtain simple precip files– Non‐US data has strict limits on use– Validation sites also include NRL NOGAPS – yet to be included in this dataset

NWP Center Start Spatial Res Lat Bounds

° °Bureau of Met. Sep 2009 0.25° 90° N/S

ECMWF Aug 2009 0.25° 60° N/S

M F O 2009 0 2 ° 80° /SMeteoFrance Oct 2009 0.25° 80° N/S

JMA Aug 2009 0.25° 90° N/S

NOAA/NCEP J l 2008 0 5° 90° N/SNOAA/NCEP Jul 2008 0.5° 90° N/S

NASA/GMAO Jan 2010 0.25° 90° N/S

Example ofBoM ECMWF

Example of operational Model 

data• Single 3 hour 

accumulation from WGNE/IPWG models 

MeteoFranceJMA

/and CMORPH

• Models have same general features as gCMORPH

• Generally larger spatial extent and features are  GFS (0.5°) CMORPHsmoother than CMORPH– This is due to more 

( )

light rain than observed in CMORPH

13 May 2010 00‐03z

Example of Model data

• 7‐day animation

ImplementationImplementation at IPWG sites• Working to get these data intothese data into validation sites

• Want to validate• Want to validate alongside our precipitationprecipitation estimates

• Example from US pvalidation site (Janowiak, U. of 

l d )Maryland, USA)

http://cics.umd.edu/~johnj/us_web.html

P li i V lid ti t CSUPreliminary Validation at CSUM i it ti (O t• Mean precipitation (Oct 2009‐Sep 2010)F t i il t th

BoM JMA

• Features are similar to those seen in long‐term GPCP (bottom right)(bottom right)– Generally more tropical precipitation than CMORPH 

MeteoFrance ECMWFp pand GPCP

– Smoother features lead to th liksmoother mean; more like 

GPCPGFS CMORPHGPCP (1979‐2009)

CMORPH

GPCP

P li i V lid ti t CSUPreliminary Validation at CSU3h l d d il l l ti ith CMORPH (0 25°)• 3hrly and daily anomaly correlations with CMORPH (0.25 )

• Better agreement exists in mid‐latitudes, worse in tropics (high lats?)• Dramatic improvement in agreement at dailyp g y

– Suggests issues with diurnal cycle as seen with Buoy data and GFS– Correlations not smooth – short period, so effect of individual systems is clear

3hrly correlations vs CMORPH (at 0.25°) Daily correlations vs CMORPH (at 0.25°)

H t d l kill?How to assess model skill?• Hope to develop a technique to 

dynamically estimate model skill based on synoptic conditions

Water Vaporbased on synoptic conditions

• Model precip is derived from two major processes

Large scale condensation

Convective (sub‐grid) 

– Large scale condensation• Well resolved by the model, so this is 

usually good Clouds

condensation

y g– Convective condensation

• Currently takes place at sub‐grid scales and is described through a 

Clouds (ice and liquid)

gparameterization

• Assumptions lead to errors in clouds and precipitation

Large scale precip

Convective precip

• Can we use model variables to diagnose when clouds/precip are formed by each mechanism? Precipitationy

E CAPE f d l killEx: CAPE as a measure of model skillGFS Precip Stage IV

• CAPE: Convective Available Potential Energy– Max energy available to an ascending parcel– Measure of energy a parcel of air would have if lifted 

GFS Precip Stage IV

gy pto level of neutral buoyancy 

– As an measure of atmospheric instability, CAPE is a good measure of amount of convective precip

• Obtained correlations of precip from GFS andGFS Conv Prec

• Obtained correlations of precip from GFS and CMORPH vs StIV composited on CAPE

– Clearly more skill for GFS when CAPE is very low– But: not a good measure of CMORPH skill

Correlations with 0.5°GFS CAPEBut: not a good measure of CMORPH skill

– Need to test this elsewhere (especially in areas where satellite estimates are less reliable)

• CAPE provides a way to dynamically attribute skill d lto model precipitation

– Need to do something similar for precip based on model or obs

– Ex 1: use scattering indexEx 1: use scattering index– Ex 2: knowledge of algorithm uncertainty (e.g. GPROF 

profiles under certain synoptic conditions)   

SSummary• Operational model data has been obtained from• Operational model data has been obtained from several major NWP centers

Progress is being made to finally include these at the– Progress is being made to finally include these at the IPWG validation sites

– Get other data: GEOS‐5; MetOffice?– Get other data: GEOS‐5; MetOffice?– Other data is already available: YOTC, TIGGE

• Data can be used by IPWG members for• Data can be used by IPWG members for validation activities.

C t d t l l t l f– Caveat: need to closely control access of some datasets due to data sharing agreements (ECMWF, JMA BoM)JMA, BoM)

• How to proceed?  Discussions in Validation WG on objectives and plans for validation of theseon objectives and plans for validation of these data