november 11, 2013 - xiaoping zhang, wuhan universityxpzhang.me/teach/cm18_fall/slide05.pdf4 n j=1 a...

52
p<¡ , ¿ Ss November 11, 2013 Ss p<¡ November 11, 2013 1 / 28

Upload: others

Post on 09-Sep-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

数值计算方法第五章 曲线拟合

张晓平

November 11, 2013

张晓平 数值计算方法 November 11, 2013 1 / 28

Page 2: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

目录

1 5.0 简介

2 5.1 用最小二乘法求解矛盾方程组5.1.1 最小二乘原理5.1.2 用最小二乘法求解矛盾方程组

3 5.2 用多项式作最小二乘曲线拟合

张晓平 数值计算方法 November 11, 2013 2 / 28

Page 3: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

1 5.0 简介

2 5.1 用最小二乘法求解矛盾方程组5.1.1 最小二乘原理5.1.2 用最小二乘法求解矛盾方程组

3 5.2 用多项式作最小二乘曲线拟合

张晓平 数值计算方法 November 11, 2013 3 / 28

Page 4: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.0 简介

在科学研究与工程技术中,常需从一组测量数据(xi, yi)(i = 1, 2, · · · , n)出发,寻找变量x与y的函数关系的近似表达式,插值虽然是函数逼近的一种重要方法,但它还存在以下缺陷:

1 由于测量数据往往不可避免地带有测试误差,而插值多项式又经过所有信息点,这就使插值多项式保留了这些误差,从而影响了逼近精度

2 如果实验数据较多,则必然得到次数较高的插值多项式,这样近似程度往往既不稳定又明显缺乏实用价值。

因此,如何从给定的一组实验数据出发,寻求已知函数的一个逼近函

数y = ϕ(x),使得逼近函数从总体来说与已知函数的偏差按某种方法度量达到最小而又不一定过所有信息点,这就是我们将要介绍的最小二乘曲线拟合法。

张晓平 数值计算方法 November 11, 2013 4 / 28

Page 5: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.0 简介

在科学研究与工程技术中,常需从一组测量数据(xi, yi)(i = 1, 2, · · · , n)出发,寻找变量x与y的函数关系的近似表达式,插值虽然是函数逼近的一种重要方法,但它还存在以下缺陷:

1 由于测量数据往往不可避免地带有测试误差,而插值多项式又经过所有信息点,这就使插值多项式保留了这些误差,从而影响了逼近精度

2 如果实验数据较多,则必然得到次数较高的插值多项式,这样近似程度往往既不稳定又明显缺乏实用价值。

因此,如何从给定的一组实验数据出发,寻求已知函数的一个逼近函

数y = ϕ(x),使得逼近函数从总体来说与已知函数的偏差按某种方法度量达到最小而又不一定过所有信息点,这就是我们将要介绍的最小二乘曲线拟合法。

张晓平 数值计算方法 November 11, 2013 4 / 28

Page 6: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.0 简介

在科学研究与工程技术中,常需从一组测量数据(xi, yi)(i = 1, 2, · · · , n)出发,寻找变量x与y的函数关系的近似表达式,插值虽然是函数逼近的一种重要方法,但它还存在以下缺陷:

1 由于测量数据往往不可避免地带有测试误差,而插值多项式又经过所有信息点,这就使插值多项式保留了这些误差,从而影响了逼近精度

2 如果实验数据较多,则必然得到次数较高的插值多项式,这样近似程度往往既不稳定又明显缺乏实用价值。

因此,如何从给定的一组实验数据出发,寻求已知函数的一个逼近函

数y = ϕ(x),使得逼近函数从总体来说与已知函数的偏差按某种方法度量达到最小而又不一定过所有信息点,这就是我们将要介绍的最小二乘曲线拟合法。

张晓平 数值计算方法 November 11, 2013 4 / 28

Page 7: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

1 5.0 简介

2 5.1 用最小二乘法求解矛盾方程组5.1.1 最小二乘原理5.1.2 用最小二乘法求解矛盾方程组

3 5.2 用多项式作最小二乘曲线拟合

张晓平 数值计算方法 November 11, 2013 5 / 28

Page 8: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

1 5.0 简介

2 5.1 用最小二乘法求解矛盾方程组5.1.1 最小二乘原理5.1.2 用最小二乘法求解矛盾方程组

3 5.2 用多项式作最小二乘曲线拟合

张晓平 数值计算方法 November 11, 2013 6 / 28

Page 9: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.1 最小二乘原理

问题

用近似曲线y = ϕ(x)拟合数据(xi, yi)(i = 1, 2, · · · , n),“拟合得最好”的标准是什么呢?

显然,希望选择ϕ(x),使得ϕ(xi)与yi相差都很小,即使得偏差

ϕ(xi) − yi, i = 1, 2, · · · ,m

都很小。

张晓平 数值计算方法 November 11, 2013 7 / 28

Page 10: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.1 最小二乘原理

1 使偏差之和m∑

i=1

[ϕ(xi) − yi]

很小来保证每个偏差都很小。但由于偏差有正有负,求和时可能抵消。

2 使偏差的绝对值之和m∑

i=1

|ϕ(xi) − yi|

最小。但涉及到绝对值,不便于分析。

3 使偏差的平方和m∑

i=1

[ϕ(xi) − yi]2

最小来保证每个偏差的绝对值都很小。使“偏差平方和最小”的原则成为最小二乘原则,按最小二乘原则拟合曲线的方法称为最小二乘法或最小二乘曲线拟合法

张晓平 数值计算方法 November 11, 2013 8 / 28

Page 11: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.1 最小二乘原理

1 使偏差之和m∑

i=1

[ϕ(xi) − yi]

很小来保证每个偏差都很小。但由于偏差有正有负,求和时可能抵消。

2 使偏差的绝对值之和m∑

i=1

|ϕ(xi) − yi|

最小。但涉及到绝对值,不便于分析。

3 使偏差的平方和m∑

i=1

[ϕ(xi) − yi]2

最小来保证每个偏差的绝对值都很小。使“偏差平方和最小”的原则成为最小二乘原则,按最小二乘原则拟合曲线的方法称为最小二乘法或最小二乘曲线拟合法

张晓平 数值计算方法 November 11, 2013 8 / 28

Page 12: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.1 最小二乘原理

1 使偏差之和m∑

i=1

[ϕ(xi) − yi]

很小来保证每个偏差都很小。但由于偏差有正有负,求和时可能抵消。

2 使偏差的绝对值之和m∑

i=1

|ϕ(xi) − yi|

最小。但涉及到绝对值,不便于分析。

3 使偏差的平方和m∑

i=1

[ϕ(xi) − yi]2

最小来保证每个偏差的绝对值都很小。使“偏差平方和最小”的原则成为最小二乘原则,按最小二乘原则拟合曲线的方法称为最小二乘法或最小二乘曲线拟合法

张晓平 数值计算方法 November 11, 2013 8 / 28

Page 13: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.1 最小二乘原理

1 使偏差之和m∑

i=1

[ϕ(xi) − yi]

很小来保证每个偏差都很小。但由于偏差有正有负,求和时可能抵消。

2 使偏差的绝对值之和m∑

i=1

|ϕ(xi) − yi|

最小。但涉及到绝对值,不便于分析。

3 使偏差的平方和m∑

i=1

[ϕ(xi) − yi]2

最小来保证每个偏差的绝对值都很小。使“偏差平方和最小”的原则成为最小二乘原则,按最小二乘原则拟合曲线的方法称为最小二乘法或最小二乘曲线拟合法

张晓平 数值计算方法 November 11, 2013 8 / 28

Page 14: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.1 最小二乘原理

1 使偏差之和m∑

i=1

[ϕ(xi) − yi]

很小来保证每个偏差都很小。但由于偏差有正有负,求和时可能抵消。

2 使偏差的绝对值之和m∑

i=1

|ϕ(xi) − yi|

最小。但涉及到绝对值,不便于分析。

3 使偏差的平方和m∑

i=1

[ϕ(xi) − yi]2

最小来保证每个偏差的绝对值都很小。使“偏差平方和最小”的原则成为最小二乘原则,按最小二乘原则拟合曲线的方法称为最小二乘法或最小二乘曲线拟合法

张晓平 数值计算方法 November 11, 2013 8 / 28

Page 15: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.1 最小二乘原理

1 使偏差之和m∑

i=1

[ϕ(xi) − yi]

很小来保证每个偏差都很小。但由于偏差有正有负,求和时可能抵消。

2 使偏差的绝对值之和m∑

i=1

|ϕ(xi) − yi|

最小。但涉及到绝对值,不便于分析。

3 使偏差的平方和m∑

i=1

[ϕ(xi) − yi]2

最小来保证每个偏差的绝对值都很小。使“偏差平方和最小”的原则成为最小二乘原则,按最小二乘原则拟合曲线的方法称为最小二乘法或最小二乘曲线拟合法

张晓平 数值计算方法 November 11, 2013 8 / 28

Page 16: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.1 最小二乘原理

一般而言,拟合曲线ϕ(x)是n个线性无关函数ϕ1(x), ϕ2(x), · · · , ϕn(x)的线性组合,即

ϕ(x) = a1ϕ1(x) + a2ϕ2(x) + · · · + anϕn(x), m > n

其中a1, a2, · · · , an待定,线性无关函数组ϕ1(x), ϕ2(x), · · · , ϕn(x)称为基函数。常用的基函数有

1 多项式: 1, x, x2, · · · , xn

2 三角函数:sin x, sin 2x, · · · , sin nx

3 指数函数:eλ1 x, eλ2 x, · · · , eλn x

张晓平 数值计算方法 November 11, 2013 9 / 28

Page 17: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.1 最小二乘原理

一般而言,拟合曲线ϕ(x)是n个线性无关函数ϕ1(x), ϕ2(x), · · · , ϕn(x)的线性组合,即

ϕ(x) = a1ϕ1(x) + a2ϕ2(x) + · · · + anϕn(x), m > n

其中a1, a2, · · · , an待定,线性无关函数组ϕ1(x), ϕ2(x), · · · , ϕn(x)称为基函数。常用的基函数有

1 多项式: 1, x, x2, · · · , xn

2 三角函数:sin x, sin 2x, · · · , sin nx

3 指数函数:eλ1 x, eλ2 x, · · · , eλn x

张晓平 数值计算方法 November 11, 2013 9 / 28

Page 18: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

1 5.0 简介

2 5.1 用最小二乘法求解矛盾方程组5.1.1 最小二乘原理5.1.2 用最小二乘法求解矛盾方程组

3 5.2 用多项式作最小二乘曲线拟合

张晓平 数值计算方法 November 11, 2013 10 / 28

Page 19: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.2 用最小二乘法求解矛盾方程组

方程个数多于未知数的个数的方程组称为矛盾方程组,此类方程组往往无解,最小二乘法就是用来求解矛盾方程组的一种常用方法。

设有矛盾方程组n∑

j=1

ai jx j = bi, i = 1, 2, · · · ,m; m > n

δi =

n∑j=1

ai jx j − bi, i = 1, 2, · · · ,m, 偏差

按最小二乘原则,常采用偏差的平方和

Q =m∑

i=1

δ2i =

m∑i=1

n∑j=1

ai jx j − bi

2

达到最小来衡量一个近似解近似程度的重要标志。若x j( j = 1, 2, · · · , n)使得Q达到最小,则称它为矛盾方程组的最优近似解。

张晓平 数值计算方法 November 11, 2013 11 / 28

Page 20: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.2 用最小二乘法求解矛盾方程组

方程个数多于未知数的个数的方程组称为矛盾方程组,此类方程组往往无解,最小二乘法就是用来求解矛盾方程组的一种常用方法。

设有矛盾方程组n∑

j=1

ai jx j = bi, i = 1, 2, · · · ,m; m > n

δi =

n∑j=1

ai jx j − bi, i = 1, 2, · · · ,m, 偏差

按最小二乘原则,常采用偏差的平方和

Q =m∑

i=1

δ2i =

m∑i=1

n∑j=1

ai jx j − bi

2

达到最小来衡量一个近似解近似程度的重要标志。若x j( j = 1, 2, · · · , n)使得Q达到最小,则称它为矛盾方程组的最优近似解。

张晓平 数值计算方法 November 11, 2013 11 / 28

Page 21: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.2 用最小二乘法求解矛盾方程组

方程个数多于未知数的个数的方程组称为矛盾方程组,此类方程组往往无解,最小二乘法就是用来求解矛盾方程组的一种常用方法。

设有矛盾方程组n∑

j=1

ai jx j = bi, i = 1, 2, · · · ,m; m > n

δi =

n∑j=1

ai jx j − bi, i = 1, 2, · · · ,m, 偏差

按最小二乘原则,常采用偏差的平方和

Q =m∑

i=1

δ2i =

m∑i=1

n∑j=1

ai jx j − bi

2

达到最小来衡量一个近似解近似程度的重要标志。若x j( j = 1, 2, · · · , n)使得Q达到最小,则称它为矛盾方程组的最优近似解。

张晓平 数值计算方法 November 11, 2013 11 / 28

Page 22: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.2 用最小二乘法求解矛盾方程组

偏差平方和Q可看作是n个自变量x j的二次函数,因此求解矛盾方程组的问题归结为求二次函数Q的最小值问题。 Q取得极值的必要条件是

∂Q∂xk= 0, k = 1, 2, · · · , n

0 =∂Q∂xk=

m∑i=1

2

n∑j=1

ai jx j − bi

aik = 2n∑

j=1

m∑i=1

ai jaik

x j − 2m∑

i=1

aikbi

其矩阵形式为AT Ax = AT b,

其中

A =

a11 a12 · · · a1n

a21 a22 · · · a2n...

......

am1 am2 · · · amn

, x =

x1x2...

xn

, b =

b1b2...

bm

张晓平 数值计算方法 November 11, 2013 12 / 28

Page 23: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.2 用最小二乘法求解矛盾方程组

偏差平方和Q可看作是n个自变量x j的二次函数,因此求解矛盾方程组的问题归结为求二次函数Q的最小值问题。 Q取得极值的必要条件是

∂Q∂xk= 0, k = 1, 2, · · · , n

0 =∂Q∂xk=

m∑i=1

2

n∑j=1

ai jx j − bi

aik = 2n∑

j=1

m∑i=1

ai jaik

x j − 2m∑

i=1

aikbi

其矩阵形式为AT Ax = AT b,

其中

A =

a11 a12 · · · a1n

a21 a22 · · · a2n...

......

am1 am2 · · · amn

, x =

x1x2...

xn

, b =

b1b2...

bm

张晓平 数值计算方法 November 11, 2013 12 / 28

Page 24: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.2 用最小二乘法求解矛盾方程组

偏差平方和Q可看作是n个自变量x j的二次函数,因此求解矛盾方程组的问题归结为求二次函数Q的最小值问题。 Q取得极值的必要条件是

∂Q∂xk= 0, k = 1, 2, · · · , n

0 =∂Q∂xk=

m∑i=1

2

n∑j=1

ai jx j − bi

aik = 2n∑

j=1

m∑i=1

ai jaik

x j − 2m∑

i=1

aikbi

其矩阵形式为AT Ax = AT b,

其中

A =

a11 a12 · · · a1n

a21 a22 · · · a2n...

......

am1 am2 · · · amn

, x =

x1x2...

xn

, b =

b1b2...

bm

张晓平 数值计算方法 November 11, 2013 12 / 28

Page 25: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.1 用最小二乘法求解矛盾方程组5.1.2 用最小二乘法求解矛盾方程组

用最小二乘法求解矛盾方程组Ax = b的步骤:

1 计算AT A和AT b,得法方程组AT Ax = AT b

2 求解法方程组,得出矛盾方程组的最优近似解。

张晓平 数值计算方法 November 11, 2013 13 / 28

Page 26: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

1 5.0 简介

2 5.1 用最小二乘法求解矛盾方程组5.1.1 最小二乘原理5.1.2 用最小二乘法求解矛盾方程组

3 5.2 用多项式作最小二乘曲线拟合

张晓平 数值计算方法 November 11, 2013 14 / 28

Page 27: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

设ϕ(x) = a0 + a1x + a2x2 + · · · + anxn (m > n + 1)

依最小二乘原理,给定(xi, yi)(i = 1, 2, · · · ,m),确定a j,使得偏差平方和最小。于是可得到一个m + 1个未知数a j的n个方程的矛盾方程组

a0 + a1x1 + a2x21 + · · · + anxn

1 = y1,

a0 + a1x2 + a2x22 + · · · + anxn

2 = y2,

...

a0 + a1xm + a2x2m + · · · + anxn

m = ym,

其矩阵形式为Aα = y,

其中

A =

1 x1 · · · xn

11 x2 · · · xn

2...

......

1 xm · · · xnm

, α =

a1a2...

an

, y =

y1y2...

ym

张晓平 数值计算方法 November 11, 2013 15 / 28

Page 28: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

设ϕ(x) = a0 + a1x + a2x2 + · · · + anxn (m > n + 1)

依最小二乘原理,给定(xi, yi)(i = 1, 2, · · · ,m),确定a j,使得偏差平方和最小。于是可得到一个m + 1个未知数a j的n个方程的矛盾方程组

a0 + a1x1 + a2x21 + · · · + anxn

1 = y1,

a0 + a1x2 + a2x22 + · · · + anxn

2 = y2,

...

a0 + a1xm + a2x2m + · · · + anxn

m = ym,

其矩阵形式为Aα = y,

其中

A =

1 x1 · · · xn

11 x2 · · · xn

2...

......

1 xm · · · xnm

, α =

a1a2...

an

, y =

y1y2...

ym

张晓平 数值计算方法 November 11, 2013 15 / 28

Page 29: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

设ϕ(x) = a0 + a1x + a2x2 + · · · + anxn (m > n + 1)

依最小二乘原理,给定(xi, yi)(i = 1, 2, · · · ,m),确定a j,使得偏差平方和最小。于是可得到一个m + 1个未知数a j的n个方程的矛盾方程组

a0 + a1x1 + a2x21 + · · · + anxn

1 = y1,

a0 + a1x2 + a2x22 + · · · + anxn

2 = y2,

...

a0 + a1xm + a2x2m + · · · + anxn

m = ym,

其矩阵形式为Aα = y,

其中

A =

1 x1 · · · xn

11 x2 · · · xn

2...

......

1 xm · · · xnm

, α =

a1a2...

an

, y =

y1y2...

ym

张晓平 数值计算方法 November 11, 2013 15 / 28

Page 30: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

其法方程组为AT Aα = AT y

由于x1, x2, · · · , xm互异,故A的n + 1个列向量线性无关,从而r(A) = n + 1。于是∀x ∈ Rn+1,都有Ax , 0,由

xT AT Ax = (Ax)T (Ax) > 0

知AT A对称正定,从而AT A非奇异。从而上述法方程组的解存在惟一。

张晓平 数值计算方法 November 11, 2013 16 / 28

Page 31: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

AT A =

1 1 · · · 1x1 x2 · · · xm...

......

xn1 xn

2 · · · xnm

1 x1 · · · xn1

1 x2 · · · xn2

......

...1 xm · · · xn

m

=

m∑m

i=1 xi · · ·∑m

i=1 xni∑m

i=1 xi∑m

i=1 x2i · · ·

∑mi=1 xn+1

i

......

...∑mi=1 xn

i∑m

i=1 xn+1i · · ·

∑mi=1 x2n

i

计算系数矩阵时,只需计算

m,m∑

i=1

xi,

m∑i=1

x2i , · · · ,

m∑i=1

xni ,

m∑i=1

xn+1i , · · · ,

m∑i=1

x2ni

张晓平 数值计算方法 November 11, 2013 17 / 28

Page 32: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

练习

通过实验获得数据如下

xi 1 2 3 4 6 7 8yi 2 3 6 7 5 3 2

试用最小二乘法求多项式曲线,使与此数据相拟合。

张晓平 数值计算方法 November 11, 2013 18 / 28

Page 33: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

练习

通过实验获得数据如下

xi 1 2 3 4 6 7 8yi 2 3 6 7 5 3 2

试用最小二乘法求多项式曲线,使与此数据相拟合。

张晓平 数值计算方法 November 11, 2013 18 / 28

Page 34: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

1 确定近似表达式y = ϕ(x) = a0 + a1x + a2x2

2 建立法方程组

1 1 11 2 41 3 91 4 161 6 361 7 491 8 64

a0a1a2

=

2367532

张晓平 数值计算方法 November 11, 2013 19 / 28

Page 35: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

1 确定近似表达式y = ϕ(x) = a0 + a1x + a2x2

2 建立法方程组

1 1 11 2 41 3 91 4 161 6 361 7 491 8 64

a0a1a2

=

2367532

张晓平 数值计算方法 November 11, 2013 19 / 28

Page 36: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

1 1 1 1 1 1 11 2 3 4 6 7 81 4 9 16 36 49 64

1 1 11 2 41 3 91 4 161 6 361 7 491 8 64

a0a1a2

=

1 1 1 1 1 1 11 2 3 4 6 7 81 4 9 16 36 49 64

2367532

张晓平 数值计算方法 November 11, 2013 20 / 28

Page 37: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

3 求解法方程组 7 31 17931 179 1171

179 1171 8147

a0

a1a2

= 28

121635

a0 = −1.3185, a1 = 3.4321, a2 = −0.3864

故所求拟合曲线为

y = ϕ(x) = −1.3185 + 3.4321x − 0.3864x2.

张晓平 数值计算方法 November 11, 2013 21 / 28

Page 38: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

3 求解法方程组 7 31 17931 179 1171

179 1171 8147

a0

a1a2

= 28

121635

a0 = −1.3185, a1 = 3.4321, a2 = −0.3864

故所求拟合曲线为

y = ϕ(x) = −1.3185 + 3.4321x − 0.3864x2.

张晓平 数值计算方法 November 11, 2013 21 / 28

Page 39: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

3 求解法方程组 7 31 17931 179 1171

179 1171 8147

a0

a1a2

= 28

121635

a0 = −1.3185, a1 = 3.4321, a2 = −0.3864

故所求拟合曲线为

y = ϕ(x) = −1.3185 + 3.4321x − 0.3864x2.

张晓平 数值计算方法 November 11, 2013 21 / 28

Page 40: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

图: 曲线拟合

张晓平 数值计算方法 November 11, 2013 22 / 28

Page 41: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

图: 曲线拟合

张晓平 数值计算方法 November 11, 2013 22 / 28

Page 42: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

练习

在一物理实验中,电压V与电流I的一组数据如下

V 1 2 3 4 5 6 7 8I 1.53 2.05 2.74 3.66 4.91 6.56 8.78 11.76

试用最小二乘法求最佳拟合函数。

张晓平 数值计算方法 November 11, 2013 23 / 28

Page 43: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

练习

在一物理实验中,电压V与电流I的一组数据如下

V 1 2 3 4 5 6 7 8I 1.53 2.05 2.74 3.66 4.91 6.56 8.78 11.76

试用最小二乘法求最佳拟合函数。

张晓平 数值计算方法 November 11, 2013 23 / 28

Page 44: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

1 确定近似表达式I = aebV ⇒ ln I = ln a + bV

V 1 2 3 4 5 6 7 8I 1.53 2.05 2.74 3.66 4.91 6.56 8.78 11.76

V 1 2 3 4 5 6 7 8ln I 0.43 0.72 1.01 1.30 1.59 1.88 2.17 2.46

张晓平 数值计算方法 November 11, 2013 24 / 28

Page 45: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

1 确定近似表达式I = aebV ⇒ ln I = ln a + bV

V 1 2 3 4 5 6 7 8I 1.53 2.05 2.74 3.66 4.91 6.56 8.78 11.76

V 1 2 3 4 5 6 7 8ln I 0.43 0.72 1.01 1.30 1.59 1.88 2.17 2.46

张晓平 数值计算方法 November 11, 2013 24 / 28

Page 46: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

2 建立法方程组

1 11 21 31 41 51 61 71 8

(ln ab

)=

0.430.721.011.301.591.882.172.46

张晓平 数值计算方法 November 11, 2013 25 / 28

Page 47: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

(1 1 1 1 1 1 1 11 2 3 5 4 6 7 8

)

1 11 21 31 41 61 71 8

(

ln ab

)

=

(1 1 1 1 1 1 1 11 2 3 5 4 6 7 8

)

2.73.03.33.63.94.24.54.8

张晓平 数值计算方法 November 11, 2013 26 / 28

Page 48: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

3 求解法方程组 (8 36

36 204

) (ln ab

)=

(29.9787

147.1350

)得

ln a = 0.1343 ⇒ a = 1.14393

b = 0.2912

故所求拟合曲线为I = 1.14393e0.2912V

张晓平 数值计算方法 November 11, 2013 27 / 28

Page 49: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

3 求解法方程组 (8 36

36 204

) (ln ab

)=

(29.9787

147.1350

)得

ln a = 0.1343 ⇒ a = 1.14393

b = 0.2912

故所求拟合曲线为I = 1.14393e0.2912V

张晓平 数值计算方法 November 11, 2013 27 / 28

Page 50: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

3 求解法方程组 (8 36

36 204

) (ln ab

)=

(29.9787

147.1350

)得

ln a = 0.1343 ⇒ a = 1.14393

b = 0.2912

故所求拟合曲线为I = 1.14393e0.2912V

张晓平 数值计算方法 November 11, 2013 27 / 28

Page 51: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

图: 曲线拟合

张晓平 数值计算方法 November 11, 2013 28 / 28

Page 52: November 11, 2013 - Xiaoping Zhang, Wuhan Universityxpzhang.me/teach/CM18_Fall/slide05.pdf4 n j=1 a ijx j b i 3 777 777 5a ik= 2 Xn j=1 0 BBB BB@ Xm i=1 a a 1 CCC CCAx j 2 Xm i=1 a

5.2 用多项式作最小二乘曲线拟合

图: 曲线拟合

张晓平 数值计算方法 November 11, 2013 28 / 28