ASSIGNMENT OF ECONOMETRICS 

TOPIC 

           LAGRANGE MULTIPLIER 

SUBMITTED TO 

            MISS MARYUM

SUBMITTER BY

           QARSAM ILYAS

            ROLL NO 7

             M.S 1

CONTENTS 

INTRODUCTION

LAMDA

DIAGRAMMATICALLY

LAGRANGE’S THEORM

SIGNIFICANCE OF LAGRANGE MULTIPLER

EXAMPLE : HOW GOVERNMENT USES LAGRANGE MULTIPLIER

LAGRANGE MULTIPLIER IN ECONOMETRIC

LAGRANGE MULTIPLIER TEST FOR SERIAL CORRELATION 

CONCLUSION

REFERENCES

LAGRANGE MULTIPLIER

"What could be more fundamental to economic theory 

than the idea of constrained optimisation? Even the 

most elementary definitions of economics are based on 

solving problems of scarcity and choice ­ on satisfying 

unlimited wants with limited resources. The Lagrange 

technique provides a tool for solving such problems" 

(D Wade Hands, 1991) 

The term “Lagrange multiplier” itself is a wider mathematical word coined after the work of 

the eighteenth century mathematician Joseph Louis Lagrange. 

An important  problems in business and economics involves determining an optimal allocation 

of resources subject to a constraint on those resources. 

Constraints play an important role in Economics – without the budget constraint (or at least a 

credit card limit), consumers would be able to purchase 

anything they want. Without a production possibility frontier (PPF), firms could produce any 

level of output desired. Mathematically, these constraints are used in the formation of a 

‘Lagrangian Equation’, an equation used to maximize some objective given constraints. In the 

Lagrangian function, the constraints are multiplied by the variable  , which is called the λ

Lagrangian multiplier.

Lagrange multipliers are a method used for multivariable calculus 

 It combines the use of Derivatives and the techniques used to solve Linear 

Programming 

 Lagrange Multipliers can solve more complex problems. 

 Lagrange multipliers can be used in linear and non­ linear problems. 

 Derivatives are used to solve these Lagrange multipliers.

  ­ just a number λ

Definition of lamda : Lamba is the marginal value associated with relaxing a constraint. Since 

this value is not expressed or contracted upon in a market, it is often called the “shadow value” 

or “shadow price” of the constraint. 

Diagrammatically

Lagrange’s Theorem 

The values of x*, y* and  * which maximise the function L(x,y, ) will necessarily provide the λ λ

solution x*,y* which maximises f(x,y) subject to g(x,y) = c.

Let f and g satisfy Lagrange’s Theorem, and f will have a minimum or maximum subject to 

the constraint g(x,y)=c. To find the minimum or maximum of f while satisfying the constraint.

Solve the system of equations 

fx(x,y)= gx(x,y) λ

fy(x,y)= gy(x,y) λ

f (x,y)= the objective function 

g(x,y)=constraint 

Evaluate f at all points found. If the required maximum (minimum) exists, it will be the largest 

(smallest) of these values. 

The first two Lagrange equations were used to eliminate the new variable  , and then the λ

resulting expression relating x and y was substituted into the constraint equation. For most 

constrained optimization problems we encounter, this particular sequence of steps that will 

often lead quickly to the desired solution. 

In economics, when f is a profit function and the g are constraints on resource amounts, λ

would be the amount (possibly negative!) by which profit would rise if one were allowed one 

more unit of resource . This rate is called the shadow price of , which is interpreted as the 

amount it would be worth to relax that constraint upwards 

The method of Lagrange multipliers can be extended to constrained optimization problems 

involving functions of more than two variables and more than one constraint. 

For instance, to optimize f(x, y, z) subject to the constraint g(x, y, z) = c.

THE SIGNIFICANCE OF LAGRANGE MULTILIER

The most constrained optimization problems can be solved by the method of Lagrange 

multipliers without actually obtaining a numerical value for the Lagrange multiplier   . In λ

some problems, however, one may want to compute  . This is because   has the following λ λ

useful interpretation. 

 Suppose M is the maximum (or minimum) value of f(x, y), subject to the constraint g(x, y) = 

k. The Lagrange multiplier   is  the rate of change of M with respect to k. That is, λ

   = dM \dKλ

Hence, 

 =  change in M resulting from a 1­unit increase in k λ

EXAMPLE : Governments often use taxes as Lagrange multipliers

How much gasoline a person buy affects his  happiness. (If he buy too little gasoline then he 

can't go anywhere, but if he buy too much then he didn't have money left to eat.) Let's 

measure net happiness in dollars: the benefit to me minus the cost of the gas.

If x is a vector giving each person's annual gasoline consumption, let f(x) be the total net effect 

on the population's happiness. f(x) is maximized when each person separately buys the 

amount of gasoline that makes her happiest. Unfortunately, then the total gas consumption 

g(x) is too high, causing pollution.

To keep g(x)=c while still making happiness f(x) as high as possible, impose a gasoline tax. If 

the tax is $20/gallon, people's free choices will maximize not f(x) but rather f(x) + (­20) g(x). 

People who like to drive still buy more gas than people who don't, but everyone buys less than 

s/he did before.

By adjusting the size of the tax (the Lagrange multiplier), the government can indirectly adjust 

total consumption g(x) until it is at the desired level, g(x)=c. One can determine from c in 

advance what the tax should be.

LAGRANGIAN MULTIPLIER IN ECONOMETRICS

It was first used in econometrics by R. P. Byron in 1968 and 1970 in two articles on the 

estimation of systems of demand equations subject to restrictions. T. S. Breusch and A. R. 

Pagan published in 1980 an influential exposition of applications of the LM test to 

model specification in econometrics. 

The Lagrange Multiplier (LM) test is a general principle for testing hypotheses about 

parameters in a likelihood framework. The hypothesis under test is expressed as one or more 

constraints on the values of parameters. To perform an LM test only estimation of the 

parameters subject to the restrictions is required. This is in contrast with Wald tests, which are 

based on unrestricted estimates, and likelihood ratio tests which require both restricted and 

unrestricted estimates. 

The name of the test is motivated by the fact that it can be regarded as testing whether the 

Lagrange multipliers involved in enforcing the restrictions are significantly different from zero. 

The LM testing principle has found wide applicability to many problems of interest in 

econometrics. Moreover, the notion of testing the cost of imposing the restrictions, although 

originally formulated in a likelihood framework, has been extended to other estimation 

environments, including method of moments and robust estimation. 

LAGRANGE MULTIPLIER TEST FOR SERIAL CORRELATION Reason of serial correlation

Inertia: A salient feature of most economic time series is inertia, or sluggishness. As is well 

known, time series such as GNP, price indexes, production, employment, and unemployment 

exhibit (business) cycles.

Specification Bias: Excluded Variables Case. This is the case of excluded variable specification 

bias. Often the inclusion of such variables removes the correlation pattern observed among the 

residuals. Specification Bias of incorrect functional form may also result in serial correlation.

 the Durbin­Watson test for first order serial correlation and the Durbin h­test for serial 

correlation in the presence of a lagged dependent variable. The LM test is particularly useful 

because it is not only suitable for testing for autocorrelation of any order, but also suitable for 

models with or without lagged dependent variables.

The LM test, as other tests, uses the estimated residuals in constructing the test.  It is worth 

reminding ourselves, however, that autoregression can be the result of mis­specification of the 

model and not genuine autocorrelation due to the behavioural characteristics of the residuals.  

Studenmund provides a good explanation of autocorrelation as indicating problems in the 

specification of a model.  Essentially, this rests on the fact that, economic variables are usually 

autocorrelated and if such a relevant variable effect is included in the stochastic term, then the 

stochastic term will to that extent become autocorrelated.   If mis­specification is the real cause 

of the autocorrelation, then using Cochrane & Orcutt, Hildreth­Liu, Generalised Least Squares 

or some other autoregressive method to correct for autoregression is not appropriate, rather 

the model should be correctly specified.

In diagnostic tests, autocorrelation of order p is chosen as follows:

p = 1 for undated and annual data

p = 2 for half yearly data

p = 4 for quarterly data

p = 12 for monthly data

Other values for p can usually be specified using an option.

Lagrange Multiplier Test for Serial Correlation

We will illustrate this test with reference to a second order autoregressive scheme.  Suppose 

that we have a model,

Yt = β1 + β2 X2t + β3 X3t + εt .......... (1)

and we suspect a second order autoregressive scheme:

εt = ρ1 εt-1 + ρ2 εt-2 + µt .............. (2)

Then the model could be written as:

Yt = β1 + β2 X2t + β3 X3t + ρ1 εt-1 + ρ2 εt-2 + µt .............. (3)

This we could term the unrestricted form of the model.  It is unrestricted because we do not 

restrict the form the error term may take, if it is an independent random error the   value will 

be zero, if the error is auto­correlated up to a second order then one or both of the   will be 

non­zero.

If we estimated the equation as,

Yt = β1 + β2 X2t + β3 X3t + µt ................ (4)

This would be a restricted form of the equation, since implicit in this form is the restriction 

that ρ1 = ρ2 = 0.

We can define a χ2 variable with h degrees of freedom as;

(SSRR - SSRU ) ∼ χ2h ............... (5)

σ^2R

Where h is degree of freedom, which is the number of restrictions, SSR the sum of squares 

residuals for the restricted and unrestricted equations and σ^2R

the estimated variance of the restricted equation.

We can further show that,

(SSRR - SSRU ) = SST - SSR = nR2 = TR2

σ^2R SST/n

Where R2 comes from auxiliary regression.

therefore, obtain a LM test statistics in TR2 in order to carry out the test. The procedure for obtaining

the above test statistics is as follows.

1. Estimate the restricted equation and retain the residuals (et);

2. Use the residuals (et) as the dependent variable for the unrestricted regression in an auxiliary

regression:

et = β1 + β2 X2t + β3 X3t + ρ1 et-1 + ρ2 et-2

3. Take TR2 and compare it with the relevant critical value for χ2 where the degrees of 

freedom, h  is the order of the autoregressive scheme.

The null hypothesis of the test is,

Ho: no autocorrelation.

We reject the null hypothesis if TR2   > χ2h critical value.

LM test also be used for adding variables in specification error

Conclusion

Lagrange multipliers play a standard role in constraint extrema problems of functions of more

variables. In teaching of engineering mathematics they are readily presented as quantities of

formal type in the algorithm for finding of constraint extrema.

When solving constraint extrema problems in economics the bulk of constraint conditions may 

be expressed explicitly, so the reason to use the Lagrange multipliers method would seem to be 

too sophisticated regardless of its theoretical aspects. With a view to the crucial importance of 

the economic interpretations of Lagrange multipliers is the use of the method primarily 

preferred. Concrete applications of the presented interpretation principle may be developed in

many economic processes. 

REFERENCES

● Bera, A. K. and Y. Bilias (2001), “Rao’s Score, Neyman’s C ( ) and Silvey’s LM tests:α

An Essay on Historical Developments and Some New Results”, Journal of Statistical

Planning and Inference 97, 9­44.

●      Thomas R.L. Introductory Econometrics: Theory and Applications 2nd edition, Longman 

1993 (pp. 106 ­ 108, especially equations 5.31 ­ 5.34; pp. 67 ­ 71, especially pp.  70 – 71

● R. T. Rockafellar, Lagrange Multipliers and Optimality, SIAM Rev., 35(1993), pp.183­238

● Mathematical economics by Alpha C.Chaing lagrange multiplier pp 430­432