Pierre MalgrangeSilvia Mira d'Ercole

Erreurs de prévision ex ante et ex postIn: Économie & prévision. Numéro 108, 1993-2. pp. 135-138.

Citer ce document / Cite this document :

Malgrange Pierre, Mira d'Ercole Silvia. Erreurs de prévision ex ante et ex post. In: Économie & prévision. Numéro 108, 1993-2.pp. 135-138.

doi : 10.3406/ecop.1993.5614

http://www.persee.fr/web/revues/home/prescript/article/ecop_0249-4744_1993_num_108_2_5614

ZusammenfassungFehler bei Ex-ante- und Ex-post-Progaosen,von Pierre Malgrange und Silvia Mira d'Ercole.

Ziel dieses Aufsatzes ist es, eine Bestandsaufnahme der Ex-post-Frognosen vorzunehmen, die dasMetric-Modell liefert. Es stellt sich die Frage, ob im Falle Frankreichs das gewöhnlich erhalteneErgebnis zutrifft, dem zufolge die Ex-ante-Prognosen bei unvollkommener Kenntnis des Wertes derexogenen Variablen eine höhere Genauigkeit als dieEx-post-Progaosen aufweisen.

RésuméErreurs de prévision ex ante et ex post,par Pierre Malgrange, Silvia Mira d'Ercole.

L'objet de cette note est de faire le point sur les prévisions ex post fournies par le modèle Metric. Lerésultat habituellement trouvé, selon lequel les prévisions ex ante, avec connaissance imparfaite de lavaleur des variables exogènes, sont de meilleure qualité que les prévisions ex post, s'applique-t-il dansle cas français ?

AbstractEx Ante and Ex Post Forecast Errors,by Pierre Malgrange and Silvia Mira d'Ercole.

The object of this paper is to review the ex post forecasts provided by the Metric model. Can the resultnormally found, by which the ex ante forecasts made with an incomplete knowledge of the value of theexogenous variables are of a better quality than the ex post forecasts, be applied to the French case?

ResumenErrores de previsión ex ante y ex post,por Pierre Malgrange y Silvia Mira d'Ercole.

En esta reseña se presenta un análisis de las previsiones ex post proporcionadas por el modelo Metric.¿Puede aplicarse al caso francés el resultado obtenido comentemente, según el cual las previsiones exante- con conocimiento imperfecto del valor de las variables exógenas - presentan una mejor calidadque las previsiones ex post!

Erreurs de prévision ex ante et ex post

Pierre Malgrange(*)

Silvia Mira d'ErcoIe^**)

Il est devenu habituel, depuis les travaux pionniers d'évaluation des prévisions macro-économiques, effectuées à l'aide d'un modèle, de Evans, Haitovsky et Treyz (1972), de distinguer soigneusement, dans le calcul des erreurs de prévisions, la part incombant au modèle de celle relevant du prévisionniste. Plus précisément, l'erreur de prévision peut se décomposer de la manière suivante (voir par exemple Wallis et Whitley, 1991) :

y-f(i,e)-[y-f(x,0)]

+ [f(x,0)-f(x,0)] + [f(x,0)-f(x,e)].

On note symboliquement f(x,e) la procédure formalisée de détermination des éléments endogènes y à partir de la donnée des exogènes prévues^: et des résidus prévus des équations du modèle e , la valeur réalisée des exogènes étant x .

Le premier terme de droite entre crochets [y -/(*>0)] représente la prévision ex post, impliquant une connaissance des vraies valeurs des variables exogènes, et une utilisation exclusive du modèle, résidus fixés à zéro. Cette expression mesure l'erreur modèle. Les deux autres termes de droite entre crochets indiquent les contributions respectives ^es erreurs sur les exogènes, /(*>°) - /(*A>0J et des calages, /(jc,0) -f(x,e), et sont du ressort du prévisjoriniste. L'expression de gauche, y - /( x , e ) , est par contre l'erreur de prévision ex ante, supposant une connaissance imparfaite des exogènes et opérant des calages divers sur les équations. Plusieurs auteurs (par exemple Evans, Haitovsky et Treyz, 1972 ; Fair, 1974 ; Wallis et Whitley, 1991) ont montré, lors de leurs travaux d'évaluation des prévisions, que les prévisions ex ante étaient en moyenne de meilleure qualité que les prévisions ex post. Ce résultat est paradoxal : un modèle construit selon les canons de la théorie

(*) Cepremap, DP. (**)DP. Les auteurs ont bénéficié des remarques et suggestions stimulantes de Jean Luc Tavernier ainsi que d'un rapporteur anonyme.

économétrique, sans erreurs de spécifications, devrait produire des résultats d'autant plus faux en moyenne que les variables exogènes sont erronées. On explique généralement ce paradoxe par le fait que les prévisions ex ante incorporent une information conjoncturelle et/ou des éléments de raisonnement économique, hors modèle.

La présente note est ainsi destinée à faire le point sur la contribution de l'erreur modèle dans les prévisions de la Direction de la Prévision. Malheureusement, les fichiers complets des diverses prévisions ne sont pas conservés. Il en résulte que nous pouvons seulement appréhender la somme des "erreurs prévisionniste" et confronter les erreurs de prévision ex post, y - f( x , 0 ) , et ex ante, y - f( x , e ) .

Il va de soi que des simulations ex post peuvent être menées dès lors que l'on dispose des données historiques des variables exogènes, auxquelles il convient d'ajouter, dans le cadre dynamique qui est le nôtre, les conditions initiales. La détermination de l'aptitude réelle d'un modèle à prévoir impose de plus que l'on se place à l'extérieur de la période ayant servi de base échantillon pour l'estimation. Le modèle Metric, objet du présent exercice, a fait l'objet d'une réestimation sur des données trimestrielles s' arrêtant en général en 1985-4, ce qui a permis de retenir la période 1986-1990 comme période test pour les pseudo-prévisions. Ces dernières ont pris la forme de quatre simulations dynamiques de huit trimestres démarrant respectivement au premier trimestre de chaque année(1).

Résultats

On détaille la précision du modèle Metric utilisé seul, puis l'on confronte ces résultats à ceux des prévisions ex ante effectuées par la Direction de la Prévision.

Economie et Prévision n°108 1993-2

135

Précision de Metric

Le tableau 1 ci-après présente diverses informations sur les écarts en pourcentage, entre les prévisions dynamiques et les réalisations, des niveaux des variables principales du modèle Metric, utilisé seul, avec les valeurs historiques des variables exogènes et sans calage. On peut faire les observations suivantes.

Volumes

- Les colonnes donnant l'écart moyen ME sur la période reflètent la sous-estimation systématique, par le modèle, du PIB et des composantes de la demande intérieure, les exportations étant presque systématiquement surestimées. Seules les importations ne semblent pas avoir de biais systématique, du moins la première année (il y a en fait une surestimation systématique dans l'équation d'importations compensée par la sous-estimation de la demande intérieure).

- La qualité du niveau des prévisions se dégrade en moyenne de l'année 1 à l'année 2, mais moins que proportionnellement, comme le montrent les statistiques de l'écart absolu moyen MAE et de l'erreur en moyenne quadratique RMSE. On observe par exemple un RMSE sur le PIB de 2,1 % la première année et de 3,1 % la deuxième.

- Au total, sur l'ensemble des deux années (avant-dernière colonne), la variable la mieux prévue en termes d'écarts relatifs est la consommation des ménages (1,8 %) ; la moins bien prévue, l'investissement (4,8 %). Les exportations, de même

que les importations, sont d'une qualité comparable à celle du PIB (respectivement 2,7 % et 3,3 %).

Prix et valeurs

- Les prix sont entachés du même biais négatif presque systématique que les volumes, mais d'une ampleur bien moindre. Par contre, la dégradation des résultats de la première à la deuxième année est maintenant plus que proportionnelle. On note que le prix du PIB est prévu plutôt plus précisément que celui des exportations, qui a pourtant un "contenu exogène" nettement plus fort (respectivement RMSE de 0,7 % contre 1,0 %, la première année et de 1,5 % contre 1,8 % la seconde).

- La prévision du taux de salaire horaire moyen par tête se dégrade fortement entre la première et la deuxième année pour atteindre un niveau d'imprécision parmi les plus élevés (de 1,6 % à 4,3 %).

- Les biais de même signe sur les volumes et sur les prix se cumulent dans les valeurs conduisant à leur relative mauvaise performance.

Comparaisons avec d'autres résultats

- Une simulation dynamique post-échantillon de l'ancienne version de Metric avait été effectuée sur les huit trimestres des années 1977-1978 (voir Metric, 1981) donnant des RMSE totaux reproduits dans la dernière colonne du tableau 1 qui reflètent des performances apparemment nettement meilleures sur les volumes, avec la même hiérarchie qualitative, excepté pour le taux de salaire.

Tableau 1 : erreurs ex post de Metric (niveaux en %)

ME MAE RMSE

Volumes

PIB

Année 1 Année 2 Total Année 1 Année 2 Total Année 1 Année 2 Total Metric (81) -2,0 -2,9 -2,4 2,0 2,9 2,4 2,1 3,1 2,7 0,8

Importations 0,0 2,2 1,1 1,6 2,2 1,9 3,3 3,3 3,3 1,6 Investissement -3,7 -5,0 -4,4 3,7 5,0 4,4 4,1 5,5 4,8 3,3 Consommation des ménages -1,3 -1,9 -1,6 1,3 1,9 1,6 1,4 2,0 1,8 1,5 Exportations 1,2 2,1 1,7 1,9 2,1 2,0 2,2 3,1 2,7 1,6

Prix PIB -0,5 -1,2 -0,9 0,5 1,2 0,9 0,7 1,5 1,1 1,2 Importations -1,3 -2,1 -1,7 1,3 2,1 1,7 1,9 2,5 2,2 3,5 Consommation des ménages -U -2,0 -1,5 1,1 2,0 1,5 1,2 2,1 1,7 1,4 Exportations -0,7 -1,5 -U 0,7 1,5 1,1 1,0 1,8 1,5 1,4 Taux de salaire -1,3 -4,1 -2,7 1,3 4,1 2,7 1,6 4,3 3,2 1,3

Valeurs PIB -2,5 -4,1 -3,3 2,5 4,1 3,3 2,6 4,2 3,5 0,6 Consommation des ménages -2,4 -3,9 -3,1 2,4 3,9 3,1 2,5 4,0 3,3 PNB en volume (Fair - 1980) 2,0 2,3 Prix du PNB (Fair - 1980) 1,9 3,5

136

- Par ailleurs, le standard américain généralement admis sur la base des évaluations de Fair (1980) conduit à un RMSE de 2 % sur le niveau du PNB réel et de 1,9 % sur le prix du PNB pour une prévision portant sur quatre trimestres, et respectivement 2,3 % et 3,5 % sur huit trimestres - deux dernières lignes du tableau 1.

Ces résultats donnent des informations qualitatives sur la performance que l'on peut attendre des modèles macro-économiques, et montrent que Metric est dans la norme, mais les comparaisons doivent être considérés avec prudence pour plusieurs raisons, la première étant le degré d'exogénéité très variable suivant les modèles. Ainsi, à côté des exogènes traditionnelles (environnement international, dépenses publiques, taux de TVA), l'on trouve dans Metric des variables exogènes supplémentaires telles que la production et les stocks agricoles et certaines prestations sociales(2). Notons également que l'exercice de Fair était basé sur une période échantillon où les prix étaient bien plus bousculés que lors de l'épisode 1986-1990.

Erreurs ex ante et erreurs ex post

Le tableau 2 compare les RMSE des erreurs des prévisions ex post fournies par le modèle Metric à ceux des prévisions ex ante qu'effectue la Direction de la Prévision deux fois par an, en hiver et en été, portant sur l'année en cours et sur l'année suivante (voir Borowski et alii, 1991), sur la même période 1986-1990, en pourcentage des niveaux.

Les cas où les prévisions ex ante sont plus précises que les prévisions ex post sont soulignés. L'on voit

immédiatement que le résultat annoncé de dominance des prévisions ex ante n'est pas uniforme et dépend de l'échéance ainsi que de la variable : - la propriété est largement invalidée pour le commerce extérieur, volumes et prix ; - par contre, elle est nettement vérifiée pour les variables de prix ;

- les quantités (PIB, consommation, investissement) sont mieux prévues ex ante que ex post à échéance de l'année en cours, mais ce résultat est pratiquement inversé pour les prévisions sur l'année suivante.

Ce dernier résultat doit cependant être nuancé par une analyse directe des résultats année par année, qui révèlent que la forte reprise de l'année 1988 et son renforcement en 1989 n'ont pas été pressentis dans les prévisions respectives de 1987 et de 1988, en raison en particulier d'une très mauvaise anticipation de l'évolution de la demande mondiale, alors que les simulations ex post de Metric supposent par construction cette dernière exacte. Les résultats énoncés sont donc fragiles, reposant sur des moyennes effectuées sur quatre points seulement et n'incorporant pas au moins un cycle macro-économique complet.

En résumé, les prévisions ex post fournies par le modèle Metric possèdent le standard international. Par ailleurs, notre étude contribue à relativiser la propriété de dominance des prévisions ex ante sur les prévisions ex post, si l'on excepte les éléments du commerce extérieur.

Tableau 2 : erreurs Metric et DP (% des niveaux en moyenne quadratique sur la période 1986-1990)

Année en cours Année précédente Ensemble Metric DP hiver

DP été Metric DP hiver DP été Metric DP Ratio

Volumes PIB Consommation des ménages Investissement Importations Exportations

2,1 1,4 3,8 2,0 1,9

1Â L2 3,9 3,9 3,7

09 LQ 2X 2,3 1,9

3,1 2,0 5,4 2,7 2,5

3,4 2,6 8,0 7,9 7,1

Z5. 2,2 5,8 6,5 5,0

2,6 1,7 4,7 2,4 2,2

2,3 1,9 5,4 5,6 4,8

09 1,1 1,2 2,3 2,2

Prix PIB Consommation des ménages Taux de salaire Importations Exportations

0,6 1,2 1,3 1,5 0,8

03 02 02 2,0 1,6

02 01 01 Lu 06

1,4 2,1 4,2 2,4 1,7

Lu 08 Lu 4,1 3,3

06 05. 04 4,4 3,2

1,1 1,7 3,1 2,0 1,3

0,6 0,5 0,6 3,2 2,5

06 03 02 1,6 1,8

Valeurs PIB Consommation des ménages

2,5 2,4

2,0 1Â

Ll 4,2 3,9

4,3 3,5

il 2J

3,5 3,3

2,9 2,4

08 02

137

Notes Bibliographie

(1) Rappelons que les règles de l'exercice impliquent que l'on donne aux résidus la valeur zéro. Ce principe suppose que l'on puisse parfaitement établir la distinction entre variable exogène, variable résiduelle de calage et paramètre, distinction qui n'est pas toujours parfaitement claire en pratique. De plus, la présence de quelques résidus de moyenne non nulle sur la période d'estimation provient essentiellement des équations de prix du commerce extérieur ayant subi l'effet d'un changement de base des variables de taux de change depuis la dernière estimation du modèle. Nous avons donné dans ces cas aux résidus leur valeur moyenne sur la période d'estimation correspondant à un calage systématique traité comme un paramètre. (2) Ces variables restent cependant de nombre et d'importance limités, et ne paraissent pas de nature à introduire un biais substantiel à l'avantage de Metric dans les comparaisons entre modèles.

Borowski D., Bouthevillain C, Doz C, Malgrange P., Morin P. (1991). "Vingt ans de prévisions macro-économiques : une évaluation sur données françaises", Économie et Prévision, n°99, pp. 43-65. Evans M.K., Haitovsky Y., Treyz G.I. (1972). "An Analysis of the Forecasting Properties of U.S. Econometric Models", in Econometric Models of Cyclical Behavior, NBER, Studies in Income and Wealth n°6, Hickman éd., New York. Fair R.C. (1974). "An Evaluation of a Short Run Forecasting Model" ', International Economic Review, vol. 15, pp. 285-303. Fair R.C. (1980). "Estimating the Expected Predictive Accuracy of Econometric Models", International Economic Review, vol. 21, pp. 355-378. Metric (1981). Une modélisation de l'économie française, Insee, Paris. Wallis K.F, Whitley J.D. (1991). "Sources of Error in Forecasts and Expectations: UK Economic Models, 1984-8", Journal of Forecasting, vol. 10, pp. 231-253.

138