least angle regression, forward stagewise and the lassohastie/talks/larstalk.pdf · least angle...
TRANSCRIPT
![Page 1: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/1.jpg)
March 2003 Trevor Hastie, Stanford Statistics 1�
�
�
�
Least Angle Regression, ForwardStagewise and the Lasso
Brad Efron, Trevor Hastie, Iain Johnstone and Robert TibshiraniStanford University
http://www-stat.stanford.edu/∼hastie/Papers/#LARS
![Page 2: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/2.jpg)
March 2003 Trevor Hastie, Stanford Statistics 2�
�
�
�
Background
• Today’s talk is about linear regression
• But the motivation comes from the area of flexible functionfitting: “Boosting”— Freund & Schapire (1995)
![Page 3: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/3.jpg)
March 2003 Trevor Hastie, Stanford Statistics 3�
�
�
�
Least Squares Boosting
Friedman, Hastie & Tibshirani — see Elements of StatisticalLearning (chapter 10)
Supervised learning: Response y, predictors x = (x1, x2 . . . xp).
1. Start with function F (x) = 0 and residual r = y
2. Fit a CART regression tree to r giving f(x)
3. Set F (x) ← F (x) + εf(x), r ← r − εf(x) and repeat step 2many times
![Page 4: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/4.jpg)
March 2003 Trevor Hastie, Stanford Statistics 4�
�
�
�
Least Squares Boosting
ε = 1
ε = .01
Single tree
Prediction Error
Number of steps
![Page 5: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/5.jpg)
March 2003 Trevor Hastie, Stanford Statistics 5�
�
�
�
Linear Regression
Here is a version of least squares boosting for multiple linearregression: (assume predictors are standardized)
(Incremental) Forward Stagewise
1. Start with r = y, β1, β2, . . . βp = 0.
2. Find the predictor xj most correlated with r
3. Update βj ← βj + δj , where δj = ε · sign〈r, xj〉4. Set r ← r − δj · xj and repeat steps 2 and 3 many times
δj = 〈r, xj〉 gives usual forward stagewise; different from forwardstepwise
Analogous to least squares boosting, with trees=predictors
![Page 6: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/6.jpg)
March 2003 Trevor Hastie, Stanford Statistics 6�
�
�
�
Prostate Cancer Data
0.0 0.5 1.0 1.5 2.0 2.5
-0.2
0.0
0.2
0.4
0.6
lcavol
lweight
age
lbph
svi
lcp
gleason
pgg45
0 50 100 150 200 250
-0.2
0.0
0.2
0.4
0.6
lcavol
lweight
age
lbph
svi
lcp
gleason
pgg45
t =∑
j |βj |
Coeffi
cien
ts
Coeffi
cien
ts
Lasso Forward Stagewise
Iteration
![Page 7: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/7.jpg)
March 2003 Trevor Hastie, Stanford Statistics 7�
�
�
�
Linear regression via the Lasso (Tibshirani, 1995)
• Assume y = 0, xj = 0, Var(xj) = 1 for all j.
• Minimize∑
i(yi −∑
j xijβj)2 subject to∑
j |βj | ≤ s
• With orthogonal predictors, solutions are soft thresholdedversion of least squares coefficients:
sign(βj)(|βj | − γ)+
(γ is a function of s)
• For small values of the bound s, Lasso does variable selection.See pictures
![Page 8: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/8.jpg)
March 2003 Trevor Hastie, Stanford Statistics 8�
�
�
�
Lasso and Ridge regression
β^ β^2. .β
1
β2
β1β
![Page 9: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/9.jpg)
March 2003 Trevor Hastie, Stanford Statistics 9�
�
�
�
More on Lasso
• Current implementations use quadratic programming tocompute solutions
• Can be applied when p > n. In that case, number of non-zerocoefficients is at most n − 1 (by convex duality)
• interesting consequences for applications, eg microarray data
![Page 10: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/10.jpg)
March 2003 Trevor Hastie, Stanford Statistics 10�
�
�
�
Diabetes Data
Lasso
0 1000 2000 3000
-500
050
0
123 4 5 67 89 10 1
2
3
4
5
6
78
9
10••• • • •• •• •
Stagewise
0 1000 2000 3000
-500
050
0
123 4 5 67 89 10 1
2
3
4
5
6
78
9
10••• • • •• •• •
t =∑
|βj | →t =∑
|βj | →
βj
![Page 11: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/11.jpg)
March 2003 Trevor Hastie, Stanford Statistics 11�
�
�
�
Why are Forward Stagewise and Lasso so similar?
• Are they identical?
• In orthogonal predictor case: yes
• In hard to verify case of monotone coefficient paths: yes
• In general, almost!
• Least angle regression (LAR) provides answers to thesequestions, and an efficient way to compute the complete Lassosequence of solutions.
![Page 12: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/12.jpg)
March 2003 Trevor Hastie, Stanford Statistics 12�
�
�
�
Least Angle Regression — LAR
Like a “more democratic” version of forward stepwise regression.
1. Start with r = y, β1, β2, . . . βp = 0. Assume xj standardized.
2. Find predictor xj most correlated with r.
3. Increase βj in the direction of sign(corr(r, xj)) until someother competitor xk has as much correlation with currentresidual as does xj .
4. Move (βj , βk) in the joint least squares direction for (xj , xk)until some other competitor x� has as much correlation withthe current residual
5. Continue in this way until all predictors have been entered.Stop when corr(r, xj) = 0 ∀ j, i.e. OLS solution.
![Page 13: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/13.jpg)
March 2003 Trevor Hastie, Stanford Statistics 13�
�
�
�
µ0 µ1
x2 x2
x1
u2
y1
y2
The LAR direction u2 at step 2 makes an equal angle with x1 andx2.
![Page 14: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/14.jpg)
March 2003 Trevor Hastie, Stanford Statistics 14�
�
�
�0 1000 2000 3000
-500
050
0
123 4 5 67 89 10 1
2
3
4
5
6
78
9
10••• • • •• •• •
2 4 6 8 100
5000
1000
015
000
2000
0
••
•
•
•• •
• • •
1
2
3
4
5
6
7
8
9
10
9
4
7
210 5
8 6 1
LARS
Ck
Step k →
|c kj|
∑|βj | →
βj
![Page 15: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/15.jpg)
March 2003 Trevor Hastie, Stanford Statistics 15�
�
�
�
Relationship between the 3 algorithms
• Lasso and forward stagewise can be thought of as restrictedversions of LAR
• For Lasso: Start with LAR. If a coefficient crosses zero, stop.Drop that predictor, recompute the best direction andcontinue. This gives the Lasso path
Proof (lengthy): use Karush-Kuhn-Tucker theory of convexoptimization. Informally:
∂
∂βj
{||y − Xβ||2 + λ
∑
j
|βj | } = 0
⇔
〈xj , r〉 =λ
2sign(βj) if βj �= 0 (active)
![Page 16: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/16.jpg)
March 2003 Trevor Hastie, Stanford Statistics 16�
�
�
�
• For forward stagewise: Start with LAR. Compute best (equalangular) direction at each stage. If direction for any predictor j
doesn’t agree in sign with corr(r, xj), project direction into the“positive cone” and use the projected direction instead.
• in other words, forward stagewise always moves each predictorin the direction of corr(r, xj).
• The incremental forward stagewise procedure approximatesthese steps, one predictor at a time. As step size ε → 0, canshow that it coincides with this modified version of LAR
![Page 17: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/17.jpg)
March 2003 Trevor Hastie, Stanford Statistics 17�
�
�
�
S+A
S+B
SA
CA
vB
vA
x2
x1
x3
The forward stagewise direction lies in the positive cone spannedby the (signed) predictors with equal correlation with the currentresidual.
![Page 18: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/18.jpg)
March 2003 Trevor Hastie, Stanford Statistics 18�
�
�
�
Summary
• LARS—uses least squares directions in the active set of variables.
• Lasso—uses least square directions; if a variable crosses zero, it isremoved from the active set.
• Forward stagewise—uses non-negative least squares directions inthe active set.
![Page 19: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/19.jpg)
March 2003 Trevor Hastie, Stanford Statistics 19�
�
�
�
Benefits
• Possible explanation of the benefit of “slow learning” inboosting: it is approximately fitting via an L1 (lasso) penalty
• new algorithm computes entire Lasso path in same order ofcomputation as one full least squares fit. Splus/R Software onHastie’s website:www-stat.stanford.edu/∼hastie/Papers#LARS
• Degrees of freedom formula for LAR:
After k steps, degrees of freedom of fit = k (with someregularity conditions)
• For Lasso, the procedure often takes > p steps, since predictorscan drop out. Corresponding formula (conjecture):
Degrees of freedom for last model in sequence with k predictorsis equal to k.
![Page 20: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/20.jpg)
March 2003 Trevor Hastie, Stanford Statistics 20�
�
�
�
LARS and Boosting
Recent work with Saharon Rosset and Ji Zhu:
• extends the connections between Forward Stagewise and L1
penalized fitting to other loss functions. In particular theExponential loss of Adaboost, and the Binomial loss ofLogitboost.
• In the separable case, L1 regularized fitting with these lossesconverges to a L1 maximizing margin (defined by β∗), as thepenalty disappears. i.e. if
β(t) = arg minL(y, f) s.t. |β| ≤ t,
then
limt↑∞
β(t)|β(t)| → β∗
![Page 21: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/21.jpg)
March 2003 Trevor Hastie, Stanford Statistics 21�
�
�
�
LARS and Boosting (continued)
• makes connections between SVMs and Boosting, and makesexplicit the margin maximizing properties of boosting.
• experience from statistics suggests that some β(t) along thepath might perform better—a.k.a stopping early.
• Alternatively, using the “Hinge loss” of SVMs and an L1
penalty (rather than quadratic), we get a Lasso version ofSVMs (with at most N variables in the solution for any valueof the penalty.
![Page 22: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/22.jpg)
March 2003 Trevor Hastie, Stanford Statistics 22�
�
�
�
Software for R and Splus
lars() function fits all three models: lasso, lar orforward.stagewise. Methods for prediction, plotting, andcross-validation. Detailed documentation provided. Visitwww-stat.stanford.edu/∼hastie/Papers/#LARS
Main computations involve least squares fitting using the active setof variables. Computations managed by updating the Choleski R
matrix (and frequent downdating for lasso and forward stagewise).
![Page 23: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/23.jpg)
March 2003 Trevor Hastie, Stanford Statistics 23�
�
�
�
MicroArray Example
• Expression data for 38 Leukemia patients (“Golub” data).
• X matrix with 38 samples and 7129 variables (genes)
• Response Y is dichotomous ALL (27) vs AML (11)
• LARS (lasso) took 4 seconds in R version 1.7 on a 1.8Ghz Dellworkstation running Linux.
• In 70 steps, 52 variables ever non zero, at most 37 at a time.
![Page 24: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/24.jpg)
March 2003 Trevor Hastie, Stanford Statistics 24�
�
�
�
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ************
********************
0.0 0.2 0.4 0.6 0.8 1.0
−0.
20.
00.
20.
40.
60.
8
|beta|/max|beta|
Sta
ndar
dize
d C
oeffi
cien
ts
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ************
********************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * **********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * **
****
***
* * *** ****** ** *** **** * ** *********************
***********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * *
* ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** *
*****
** * *** ****** ** ***
**** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * *
*
** ** * *** ** * * * *** ******
***** ****
* ** *********************************
*
*
*
** ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* *
*
*
** **
* *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** ***
***** ** ********************************
* * * * * * ** * *** ** * * * *** ******
** *** ***** ** ***********
*********************
* * * * * * ** * *** ** * * * *** ****** ** *** ***** ** *********************
***********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * ***
****** ** *** **** * ** **********************
**********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * **********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** **********
*********************** * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********
************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ***
*** ** ** *
*** ******
** *** ***** **
********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****
**** ***
***** ** *********
**********************
*
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************
************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * ** * ** * *** ** * * * *** ****** ** *** **** * **
**************************
******
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ****************************
****
* * * * * * ** * *** ** * **
*** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** *********************
***********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ******** *** **** * ** ***********
*********************
LASSO
2968
6801
2945
461
2267
![Page 25: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/25.jpg)
March 2003 Trevor Hastie, Stanford Statistics 25�
�
�
�
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ************
********************
0.0 0.2 0.4 0.6 0.8 1.0
−0.
20.
00.
20.
40.
60.
8
|beta|/max|beta|
Sta
ndar
dize
d C
oeffi
cien
ts
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ************
********************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * **********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * **
****
***
* * *** ****** ** *** **** * ** *********************
***********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * *
* ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** *
*****
** * *** ****** ** ***
**** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * *
*
** ** * *** ** * * * *** ******
***** ****
* ** *********************************
*
*
*
** ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* *
*
*
** **
* *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** ***
***** ** ********************************
* * * * * * ** * *** ** * * * *** ******
** *** ***** ** ***********
*********************
* * * * * * ** * *** ** * * * *** ****** ** *** ***** ** *********************
***********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * ***
****** ** *** **** * ** **********************
**********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * **********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** **********
*********************** * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********
************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************
* * * * * * ***
*** ** ** *
*** ******
** *** ***** **
********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****
**** ***
***** ** *********
**********************
*
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************
************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * ** * ** * *** ** * * * *** ****** ** *** **** * **
**************************
******
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ****************************
****
* * * * * * ** * *** ** * **
*** ****** ** *** **** * ** ********************************
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** *********************
***********
* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ****** ** *** **** * ** ********************************* * * * * * ** * *** ** * * * *** ******** *** **** * ** ***********
*********************
LASSO
2968
6801
2945
461
2267
0 1 3 4 5 8 12 15 20 26 31 38 50 65
![Page 26: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/26.jpg)
March 2003 Trevor Hastie, Stanford Statistics 26�
�
�
�0.0 0.2 0.4 0.6 0.8 1.0
0.05
0.10
0.15
0.20
0.25
fraction
cv10−fold cross−validation for Leukemia Expression Data (Lasso)
![Page 27: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/27.jpg)
March 2003 Trevor Hastie, Stanford Statistics 27�
�
�
�
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
0.0 0.2 0.4 0.6 0.8 1.0
−0.
50.
00.
51.
0
|beta|/max|beta|
Sta
ndar
dize
d C
oeffi
cien
ts
* * * * * ******
********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * **** *** ********* * ** ** ** * ** ** * * * * *
** * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *
****
******* * ** **
*** ** ** * * * *
*
*
* * * * * *** *** ********** ** ** ** * ** ** * * * *
*
*
* * *
*
**** *** *********
* ****
** * **** * * * *
*
*
*
**
*
**** ***
********** **
** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* **
*
****
************ * ** ** ** * ** ** * * * * *
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *** ********* * ** ****
* ** ** * * * **
*
* * * * * *** *** ********** **
****
* ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
** * * * * *** *** *****
**** * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * **** * * * *
**
* * * * * *** *** ********* * ** ** ** * ** ** * * * *
*
*
* * * * * *** *** ********** ** ** ** * **
*** * * *
*
*
* * * * * *** *** ********* * ** ** ** * **** * * * *
**
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * **
* * * * * *** *** ********* * ** ** ** * ** ** * * * *
*
*
* * * * * ******
********** **
****
***
** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********** **
****
* ** ** * * * * * *
* * * * * *** *** *********
* ** ** ** * ** ** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * ** *** *** ********* * ** ** ** * ** ** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * *
**
* * * * * *** *** *********
* ** ** ** * **** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *** ********** **
**** * **
** * * * *
*
*
LAR
6895
1817
4328
1241
2534
5039
2267
1882
![Page 28: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/28.jpg)
March 2003 Trevor Hastie, Stanford Statistics 28�
�
�
�
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
0.0 0.2 0.4 0.6 0.8 1.0
−0.
50.
00.
51.
0
|beta|/max|beta|
Sta
ndar
dize
d C
oeffi
cien
ts
* * * * * ******
********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * **** *** ********* * ** ** ** * ** ** * * * * *
** * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *
****
******* * ** **
*** ** ** * * * *
*
*
* * * * * *** *** ********** ** ** ** * ** ** * * * *
*
*
* * *
*
**** *** *********
* ****
** * **** * * * *
*
*
*
**
*
**** ***
********** **
** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* **
*
****
************ * ** ** ** * ** ** * * * * *
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *** ********* * ** ****
* ** ** * * * **
*
* * * * * *** *** ********** **
****
* ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
** * * * * *** *** *****
**** * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * **** * * * *
**
* * * * * *** *** ********* * ** ** ** * ** ** * * * *
*
*
* * * * * *** *** ********** ** ** ** * **
*** * * *
*
*
* * * * * *** *** ********* * ** ** ** * **** * * * *
**
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * **
* * * * * *** *** ********* * ** ** ** * ** ** * * * *
*
*
* * * * * ******
********** **
****
***
** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * *
* * * * * *** *** ********** **
****
* ** ** * * * * * *
* * * * * *** *** *********
* ** ** ** * ** ** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * ** *** *** ********* * ** ** ** * ** ** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * *
**
* * * * * *** *** *********
* ** ** ** * **** * * * *
*
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * **
*
* * * * * *** *** ********* * ** ** ** * ** ** * * * * * ** * * * * *** *** ********** **
**** * **
** * * * *
*
*
LAR
6895
1817
4328
1241
2534
5039
2267
1882
0 2 3 4 8 13 20 25 29 32 35 36 37
![Page 29: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/29.jpg)
March 2003 Trevor Hastie, Stanford Statistics 29�
�
�
�0.0 0.2 0.4 0.6 0.8 1.0
0.05
0.10
0.15
0.20
0.25
fraction
cv10−fold cross−validation for Leukemia Expression Data (LAR)
![Page 30: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/30.jpg)
March 2003 Trevor Hastie, Stanford Statistics 30�
�
�
�
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
0.0 0.2 0.4 0.6 0.8 1.0
−0.
20.
00.
20.
40.
6
|beta|/max|beta|
Sta
ndar
dize
d C
oeffi
cien
ts
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * *********************** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ***************** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * **
****
*** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * *
* **** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ****
*** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** *** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * *
*
** ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** *******************************************************************************************************************************************************************************************************************************************************************************************************
*
*
*
*
* ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* *
*
*
*
* **** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * *********************** *********** *********************************************************************
*********************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * *****************
****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * *****************
***************** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** *** ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** ********************************
*********************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ****
* *****************
****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ****
***
** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************
************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * *
** **
** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ******
*********** *******************
***********************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
Forward Stagewise
4535
4399
8727
7446
118
3422
6718
82
![Page 31: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/31.jpg)
March 2003 Trevor Hastie, Stanford Statistics 31�
�
�
�
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
0.0 0.2 0.4 0.6 0.8 1.0
−0.
20.
00.
20.
40.
6
|beta|/max|beta|
Sta
ndar
dize
d C
oeffi
cien
ts
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * *********************** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ***************** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * **
****
*** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * *
* **** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ****
*** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** *** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * *
*
** ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** *******************************************************************************************************************************************************************************************************************************************************************************************************
*
*
*
*
* ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* *
*
*
*
* **** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * *********************** *********** *********************************************************************
*********************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * *****************
****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * *****************
***************** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** *** ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** ********************************
*********************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ****
* *****************
****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ****
***
** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************
************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * *
** **
** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** ***** ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ******
*********** *******************
***********************************************************************************************************************************************************************************************************************************************************************************
* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************* * * * * * ** ** ** * ** **** * ***************** ****** *********** ******************************************************************************************************************************************************************************************************************************************************************************************************
Forward Stagewise
4535
4399
8727
7446
118
3422
6718
82
0 1 3 4 5 8 12 15 19 29 43 54 82 121
![Page 32: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/32.jpg)
March 2003 Trevor Hastie, Stanford Statistics 32�
�
�
�0.0 0.2 0.4 0.6 0.8 1.0
0.05
0.10
0.15
0.20
0.25
fraction
cv10−fold cross−validation for Leukemia Expression Data (Stagewise)
![Page 33: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/33.jpg)
March 2003 Trevor Hastie, Stanford Statistics 33�
�
�
�
Degrees of freedom
step k-->
df e
stim
ate
0 2 4 6 8 10
0
2
4
6
8
10
•
•
•
•
•
••
•
•
•
step k-->
df e
stim
ate
0 10 20 30 40 50 60
0
10
20
30
40
50
60
••••••
••••••
••••••
••••••
••••••
••••••
••••••
••••••
••••••
••••••
••••
![Page 34: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/34.jpg)
March 2003 Trevor Hastie, Stanford Statistics 34�
�
�
�
Degree of Freedom result
Proof is based on is an application of Stein’s unbiased risk estimate(SURE). Suppose that g : R
n → Rn is almost differentiable and
set ∇ · g =∑n
i=1 ∂gi/∂xi. If y ∼ Nn(µ, σ2I), then Stein’s formulastates that
n∑
i=1
cov(gi, yi)/σ2 = E[∇ · g(y)].
LHS is degrees of freedom. Set g(·) equal to the LAR estimate. Inorthogonal case, ∂gi/∂xi is 1 if predictor is in model, 0 otherwise.Hence RHS equals number of predictors in model (= k).
Non-orthogonal case is much harder.
![Page 35: Least Angle Regression, Forward Stagewise and the Lassohastie/TALKS/larstalk.pdf · Least Angle Regression, Forward Stagewise and the Lasso Brad Efron, Trevor Hastie, Iain Johnstone](https://reader033.vdocuments.site/reader033/viewer/2022042204/5ea53de8b45921555f1ea304/html5/thumbnails/35.jpg)
March 2003 Trevor Hastie, Stanford Statistics 35�
�
�
�
Future directions
• Lasso has applications in genetics, e.g. microarray data, massspectroscopy for measuring proteins. LARS algorithm willallow application to large problems.
• generalization to other models, e.g. logistic regression
• other stepwise algorithms, for other loss functions.
• use ideas to make better versions of boosting (Bogdan Popescu,Ji Zhu, Saharon Rosset)