prediction of quantiles by statistical learning and application to gdp forecasting

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Prévision de séries temporelles faiblementdépendantes

Avec M. Cornec (INSEE), O. Wintenberger (Dauphine), X. Li (Cergy)

Pierre Alquier

Groupe de travail “Prévision”, ENGREF, 13 avril 2012

Pierre Alquier Prévision de séries temporelles faiblement dépendantes


1 Résumé des épisodes précédents : prévision de la croissancedu PIB

Introduction et notationsApplication à la prévision de la croissance du PIB

2 Dépendance faible et inégalités PAC-BayésiennesEstimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples




Contexte

Soit (Xt)t∈Z un processus stationnaire à valeurs dans Rm. Onobserve (X1, ...,Xn). But : apprendre à prédire le processus.

On se donne une famille de prédicteurs (experts) :

F ⊂{f : (Rm)k → Rm mesurables

}.

Définition

Pour tout f ∈ F , X̂ ft := f (Xt−1, . . . ,Xt−k).




Familles classiques de prédicteurs

Définition

Pour tout f ∈ F , X̂ ft = f (Xt−1, . . . ,Xt−k).

Prédicteurs AR(k) :

X̂ ft = θ0 +

k∑i=1

θiXt−i .

Modèle additif non paramétrique, pour une base (ϕj)∞j=1,

X̂ ft =

k∑i=1

∞∑j=1

θi ,jϕj(Xt−i).




Fonction de perte & risque

Soit ` une fonction de perte : `(X̂ ft ,Xt) ≥ 0 mesure l’erreur

commise par le prédicteur f à la date t.

Définition - le risque R

Pour tout f ∈ F , R(f ) := E[`(X̂ f

t ,Xt

)].

On peut l’estimer par

Définition - le risque empirique rn

Pour tout f ∈ F , rn(f ) := 1n−k

∑nt=k+1 `

(X̂ f

t ,Xt

).




Le problème de la prévision de la croissance

But : lors du 3ème mois du trimestre t, annoncer quelle sera lacroissance ∆GDPt lors de ce trimestre.

Information disponible :

1 le passé : ∆GDPt−1, ..., ∆GDP1, date 1 : 1988-T1.2 les enquêtes de conjoncture, mensuelles, de l’INSEE.3 toute autre information quantitative ou qualitative.






Information disponible :1 le passé : ∆GDPt−1, ..., ∆GDP1, date 1 : 1988-T1.

2 les enquêtes de conjoncture, mensuelles, de l’INSEE.3 toute autre information quantitative ou qualitative.






Information disponible :1 le passé : ∆GDPt−1, ..., ∆GDP1, date 1 : 1988-T1.2 les enquêtes de conjoncture, mensuelles, de l’INSEE.

3 toute autre information quantitative ou qualitative.






Information disponible :1 le passé : ∆GDPt−1, ..., ∆GDP1, date 1 : 1988-T1.2 les enquêtes de conjoncture, mensuelles, de l’INSEE.3 toute autre information quantitative ou qualitative.




Les enquêtes de conjoncture

Il s’agit de questionnaires mensuels envoyés aux plus grandesentreprises françaises, et à un échantillon d’entreprises pluspetites. Ces données :

1 proviennent directement des agents qui font vivrel’économie.

2 sont disponibles quasiment en temps réel (lors dutroisième mois du trimestre, on connaît les résultats pourles deux premiers mois).

→ les résultats sont synthétisés par l’INSEE dans l’indicateurde climat, disons It−1.




Résultats connus

La famille de prédicteurs

∆̂GDPf

t = α+β∆GDPt−1 + γIt−1 + δ(It−1− It−2)|It−1− It−2|

a été utilisée par Cornec (CIRET conference, 2010). Onobtient :

1 des prévisions globalement aussi précises que celles del’INSEE.

2 des prévisions d’autant moins précises que la conjonctureest mauvaise.

→ nécessité de donner un intervalle de confiance ou uneindication de précision.




Résultats : prévision

Prévisions en utilisant la fa-mille de prédicteurs de Cor-nec et la fonction de perte`(x , x ′) = |x − x ′|.Prédicteur :

f̂ ∈ argminf ∈F

rn(f ).

Les performances moyennessont voisines de celles obte-nues par l’INSEE.




Résultats : intervalles de confiance

Intervalles de confiance enutilisant la fonction de pertequantile de Koenker :

`(x , x ′)= (x−x ′)(τ−1(x−x ′ < 0)).



Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

1 Résumé des épisodes précédents : prévision de la croissancedu PIB


2 Dépendance faible et inégalités PAC-BayésiennesEstimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples




Et en théorie ?

On a utiliséf̂ = argmin

f ∈Frn(f )

mais il n’y a pas, a priori, de théorie pour justifier une telleméthode !

Justifié par la théorie des processus ARMA si on suppose quela croissance du PIB est un processus ARMA (�).Il reste deux possibilités :

1 � “Je n’ai pas besoin de théorie, ça marche en pratique !La théorie produit des choses optimales en théorie maisqui ne marchent pas en pratique.”

2 Y si ça marche en pratique, la théorie doit pouvoir direquelque chose dessus !




Et en théorie ?

On a utiliséf̂ = argmin

f ∈Frn(f )

mais il n’y a pas, a priori, de théorie pour justifier une telleméthode !Justifié par la théorie des processus ARMA si on suppose quela croissance du PIB est un processus ARMA (�).Il reste deux possibilités :

1 � “Je n’ai pas besoin de théorie, ça marche en pratique !La théorie produit des choses optimales en théorie maisqui ne marchent pas en pratique.”

2 Y si ça marche en pratique, la théorie doit pouvoir direquelque chose dessus !




Fonction de perte & risque (suite)

Rappel : `(X̂ ft ,Xt) ≥ 0 mesure l’erreur commise par le

prédicteur f à la date t.

Rappel - le risque de prévision R

Pour tout f ∈ F , R(f ) := E[`(X̂ f

t ,Xt

)].

Pour tout estimateur f̂ ,

R(f̂ ) = infF

R︸︷︷︸“biais”

+[R(f̂ )− infF

R︸︷︷︸“variance”

].




Estimateur de Gibbs - minimisation de rn

Définition - min. du risque empiriqueOn pose

f̂ = argminf ∈F

rn(f ).

Soit π une loi a priori sur l’ensemble F .

Définition - l’estimateur de Gibbs f̂λOn pose

f̂λ =

∫fe−λrn(f )π(df )∫e−λrn(f )π(df )

=:

∫f π−λrn(df ).




Hypothèses

1 Le processus (Xt) est borné p.s.,

P(‖Xt‖ ≤ B) = 1.

2 `(x , x ′) = g(x − x ′) avec g convexe et L-Lipshitz.3 Pour tout f ∈ F ,

‖f (x1, . . . , xk)− f (x ′1, . . . , x′k)‖ ≤

k∑j=1

aj(f )‖xj − x ′j‖,

k∑j=1

aj(f ) ≤ K .

4 k ≤ n/2.




Hypothèses


P(‖Xt‖ ≤ B) = 1.

2 `(x , x ′) = g(x − x ′) avec g convexe et L-Lipshitz.

3 Pour tout f ∈ F ,

‖f (x1, . . . , xk)− f (x ′1, . . . , x′k)‖ ≤

k∑j=1

aj(f )‖xj − x ′j‖,

k∑j=1

aj(f ) ≤ K .

4 k ≤ n/2.




Hypothèses


P(‖Xt‖ ≤ B) = 1.

2 `(x , x ′) = g(x − x ′) avec g convexe et L-Lipshitz.3 Pour tout f ∈ F ,

‖f (x1, . . . , xk)− f (x ′1, . . . , x′k)‖ ≤

k∑j=1

aj(f )‖xj − x ′j‖,

k∑j=1

aj(f ) ≤ K .

4 k ≤ n/2.




Inégalité PAC-Bayésienne pour la prédiction

ThéorèmeSous les hypothèses précédentes, pour tout ε ∈]0, 1[, pourtout λ > 0,

P

(R(f̂λ) ≤ inf

ρ

{∫Rdρ +

λκ2nn

+K(ρ, π) + log

(2ε

)λ

})≥ 1− ε.

κn =√2K (1 + L)(B + θ∞,n(1)).




Coefficient de θ-dépendance faible

Introduits par Doukhan et Louhichi (SPA, 1999). SoitFi = σ(Xt , t ≤ i). Pour i < j1 < · · · < j` on pose

θp(Fi , (Xj1 , . . . ,Xjp))

:= supg 1-Lipshitz

‖E [g(Xj1 , . . . ,Xj`)|Fi ]− E [g(Xj1 , . . . ,Xj`)]‖p .

Enfin,

θp,r (k) := max`≤r

supi+k≤j1<j2<···<j`

θp(Fi , (Xj1 , . . . ,Xjp))).




Exemples de calculs de coefficients θTout processus

Xt = F (ξt , ξt−1, ξt−2, . . . )

avec les ξi iid et bornés par b, et

‖F (x1, x2, . . . )− F (x ′1, x′2, . . . )‖ ≤

∞∑j=1

aj‖xj − x ′j‖

vérifie :

θ∞,n(1) ≤ 2b∞∑j=1

jaj .

Inclut par exemple :

Xt = G (ξt ,Xt−1) = G (ξt ,G (ξt−1,Xt−2)) = · · · = H(ξt , ξt−1, . . . ).




Rappel

ThéorèmeSous les hypothèses précédentes, pour tout ε ∈]0, 1[, pourtout λ > 0,

P

(R(f̂λ) ≤ inf

ρ

{∫Rdρ +

2λκ2nn

+ 2K(ρ, π) + log

(2ε

)λ

})≥ 1− ε.

κn =√2K (1 + L)(B + θ∞,n(1)).




Cas où card(F) = M <∞ (1/2)

Si π uniforme,

R(f̂λ) ≤ infρ

{∫Rdρ +

2λκ2nn

+ 2K(ρ, π) + log

(2ε

)λ

}

≤ inff ∈F

{R(f ) +

2λκ2nn

+ 2log(M) + log

(2ε

)λ

}

et λ =√

n log(M)/κn (�) conduit à

Théorème

R(f̂λ) ≤ infF

R + 2κn

√2 log(M)

n+

2κn log(2ε

)n log(M)

.




Cas où card(F) = M <∞ (2/2)

Et pour le minimiseur du risque empirique f̂ ?

Un calcul similaire conduit à

ThéorèmePour un c > 0 connu,

R(f̂ ) ≤ infF

R + c .κn

√log(M)

n+

c .κn log(2ε

)√n log(M)

.

Gros avantage : ne nécessite pas la connaissance de κn.




Cas des prédicteurs AR (1/2)On se restreint à Xt ∈ R et, pour f ∈ F ,

f (Xt−1, ...,Xt−k) =k∑

j=1

θjXt−j

avec ‖θ‖1 ≤ L. Cette fois, on prend π uniforme.

Un calcul similaire quoique plus moche et le choixλ =√

kn/κn (�) conduisent à :

Théorème

R(f̂λ) ≤ infF

R + 2κn

√knlog(

e2LBκn

√nk

)+

2κn log(2ε

)√

nk.




Cas des prédicteurs AR (2/2)

Et pour le minimiseur du risque empirique f̂ ?

Un calcul similaire conduit à

ThéorèmePour un c > 0 connu,

R(f̂ ) ≤ infF

R + c .κn

√knlog(n) +

c .κn log(2ε

)√

nk.

Gros avantage : ne nécessite pas la connaissance de κn.




Cas généralOn peut introduire une mesure de la complexité de l’ensemblede prédicteurs F , en fait :

C(F , π) := supλ>c

log(

1π{θ:R(θ)−infF R≤ 1

λ}

)log(λ)

.

Le résultat est alors :

Théorème

Pour une constante c > 0 connue et λ '√

C(F , π)n/κn,

R(f̂λ)

R(f̂ )

. infF

R + c .

√C(F , π)

nlog(n) + c .

log(1ε)

√n.




Sélection de modèles (1/3)

Soient M familles de prédicteurs F1, ..., FM . Par exemple,

F1 : f (Xt−1, ...,Xt−k) = θ1Xt−1

C(F1, π1) ' 1

F2 : f (Xt−1, ...,Xt−k) = θ1Xt−1 + θ1Xt−2

C(F2, π2) ' 2

......

...

Fk : f (Xt−1, ...,Xt−k) =k∑

j=1

θjXt−j

C(Fk , πk) ' k

On fixe des lois a priori dans chaque famille de prédicteurs :

π1, . . . , πM .





Soient M familles de prédicteurs F1, ..., FM . Par exemple,

F1 : f (Xt−1, ...,Xt−k) = θ1Xt−1 C(F1, π1) ' 1F2 : f (Xt−1, ...,Xt−k) = θ1Xt−1 + θ1Xt−2 C(F2, π2) ' 2...

......

Fk : f (Xt−1, ...,Xt−k) =k∑

j=1

θjXt−j C(Fk , πk) ' k

On fixe des lois a priori dans chaque famille de prédicteurs :

π1, . . . , πM .





On choisit

p1, . . . , pM ≥ 0 avecM∑i=1

pi = 1.

On pose

π =M∑i=1

piπi .

Rappel

π−λrn(df ) =e−λrn(f )π(df )∫e−λrn(g)π(dg)





Définition

λ̂ = argminλ∈Λ

{∫rndπ−λrn +

λκ2nn

+K(π−λrn , π) + log(|Λ|/ε)

λ

}sur une grille finie Λ bien choisie.

Théorème

R(f̂λ̂)

≤ inf1≤j≤M

infFj

R + c .

√C(Fj , πj)

nlog(n) + c .

log(2 log(n)εpj

)√

C(Fj , πj)n

.





Définition

λ̂ = argminλ∈Λ

{∫rndπ−λrn +

λκ2nn

+K(π−λrn , π) + log(|Λ|/ε)

λ

}sur une grille finie Λ bien choisie.

Théorème

R(f̂λ̂)

≤ inf1≤j≤M

infFj

R + c .

√C(Fj , πj)

nlog(n) + c .

log(2 log(n)εpj

)√

C(Fj , πj)n

.Pierre Alquier Prévision de séries temporelles faiblement dépendantes



The end

Merci !


prediction of quantiles by statistical learning and application to gdp forecasting

Documents

travail prvision

prdicteur f

risque rpour tout f

pible problme

trimestre t

pierre alquierprvision

ce trimestre

date t