Méthodes de prévision (STT-3220)

Section 2

Transformation stabilisatrice de variance; moindres carrés pondérés; moindres

carrés repondérés

Version: 22 août 2005

STT-3220; Méthodes de prévision2

Transformation stabilisatrice de variance

Technique qui vise à contrer certains problèmes d’hétéroskédasticité.

Considérons une variable aléatoire yi, et posons également:

On considère une certaine fonction et on développe en série de Taylor la fonction autour du point :

iiyE f

iyfi

STT-3220; Méthodes de prévision3

Développement au premier ordre

On obtient donc:

Ici est la dérivée première évaluée en . On applique la variance de chaque côté de la

formule précédente:

iiiii yffyf ' if ' i

22

2

'

'

ii

iii

f

yVfyfV

STT-3220; Méthodes de prévision4

Résolution d’une petite équation différentielle

Ceci suggère de chercher la fonction qui satisfait la relation:

Ceci implique:

f 222' cf ii

ii

iii

ii

iii

i

dc

dff

dc

dfc

f

'

''

STT-3220; Méthodes de prévision5

Exemple 1.

Supposons que:

Résoudre l’équation donne:

On pourrait donc poser et considérer la transformation logarithmique.

222iiii yEyV

xcdxx

cxf log

1c

STT-3220; Méthodes de prévision6

Exemple 2.

Supposons que:

Résoudre l’équation donne:

On peut poser et considérer la transformation racine carrée.

02 iiii yEyV

xcdxx

cxf 2

21c

STT-3220; Méthodes de prévision7

Moindres carrés pondérés et repondérés

Exemple. Supposons que l’analyste est amené à estimer un modèle de la forme:

Pour les fins de l’illustration, la variable dépendante correspond à un nombre d’usagers d’un système (ex: un guichet automatique).

kTkky βxlog

ky

STT-3220; Méthodes de prévision8

Exemple (suite)

Une modélisation possible pourrait être:

Dans un tel cas: Puisque le modèle de régression est un

modèle transformé:

kk Poissony : kkk yEyV

kkk

k yEyEyE

yV 1

21

log

STT-3220; Méthodes de prévision9

Moindres carrés pondérés

Dans l’exemple précédent, effectuer les moindres carrés pondérés suggère de résoudre:

De plus, la discussion précédente suggère de prendre les poids:

Or ces poids ne sont pas connus!

2

log βxTkkk yw

kkk yEw

kTkky βxlogRappel:

STT-3220; Méthodes de prévision10

Moindres carrés repondérés

Puisque les poids sont inconnus, on peut tenter de les estimer.

La technique des moindres carrés repondérés (en anglais: Iteratively Reweighted Least Squares ou IRLS) est une procédure itérative qui cherche à effectuer des moindres carrés pondérés avec des poids estimés.

On doit répéter l’algorithme jusqu’à convergence.

2

log βxTkkk ywRappel:

kk yEw

STT-3220; Méthodes de prévision11

Algorithme pour IRLS On va donner l’algorithme pour notre exemple.

Il faut modifier l’algorithme, cas par cas.

Étape 1. (Initialisation des poids) Poser

Étape 2. (Régression usuelle) Faire une régression usuelle, dans notre exemple de la variable sur . Garder OLS de

Étape 3. (Estimation des poids) Notons l’estimateur courant Calculer les poids. Dans notre exemple:

kwk ,1

kylog kx

βxβx ˆexpˆ; Tkkkw

STT-3220; Méthodes de prévision12

Algorithme pour IRLS (suite)

Étape 3. (suite) On note que les poids sont fonction de On utilise donc les valeurs prédites:

Étape 4. (Moindres carrés pondérés) Résoudre en utilisant les poids estimés. Garder WLS de

Étape 5. Retourner à l’étape 3. On fait les Étapes 3 à 5 jusqu’à convergence.

kk yEw

βxβx ˆexpˆˆˆlog Tkk

Tkk yy

2

log βxTkkk yw