Содержание - mipt€¦ · 2.3 Итерационные методы решения ......

60
Содержание 1 Элеметарная теория погрешностей. 3 2 Решение СЛАУ. 5 2.1 Нормы в конечномерных пространствах. . . 5 2.2 Обусловленность СЛАУ . ........... 6 2.3 Итерационные методы решения линейных систем. ..................... 8 2.3.1 Метод простых итераций........ 8 2.3.2 Метод Якоби............... 12 2.3.3 Метод Зейделя. ............ 14 2.3.4 Метод верхней релаксации....... 17 2.4 Методы решения, основанные на миними- зации функционалов. ............. 19 2.4.1 Метод наискорейшего спуска и ме- тод минимальных невязок....... 19 2.4.2 Метод сопряженных градиентов. .. 21 2.5 Степенной метод нахождения максималь- ного по модулю собственного значения.... 22 3 Методы численного решения уравнений и систем нелинейных уравнений. 24 3.1 Локализация корней. ............. 24 3.2 Принцип сжимающих отображений. Метод простых итераций. Условие сходимости ме- тода простых итераций............. 26 3.3 Метод Ньютона. ................ 30 4 Приближение функций, заданных на дис- кретном множестве. 34 4.1 Задача алгебраической интерполяции. Сред- неквадратичное приближение......... 34 1

Upload: others

Post on 28-Jun-2020

21 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Содержание

1 Элеметарная теория погрешностей. 3

2 Решение СЛАУ. 52.1 Нормы в конечномерных пространствах. . . 52.2 Обусловленность СЛАУ. . . . . . . . . . . . 62.3 Итерационные методы решения линейных

систем. . . . . . . . . . . . . . . . . . . . . . 82.3.1 Метод простых итераций. . . . . . . . 82.3.2 Метод Якоби. . . . . . . . . . . . . . . 122.3.3 Метод Зейделя. . . . . . . . . . . . . 142.3.4 Метод верхней релаксации. . . . . . . 17

2.4 Методы решения, основанные на миними-зации функционалов. . . . . . . . . . . . . . 192.4.1 Метод наискорейшего спуска и ме-

тод минимальных невязок. . . . . . . 192.4.2 Метод сопряженных градиентов. . . 21

2.5 Степенной метод нахождения максималь-ного по модулю собственного значения. . . . 22

3 Методы численного решения уравнений исистем нелинейных уравнений. 243.1 Локализация корней. . . . . . . . . . . . . . 243.2 Принцип сжимающих отображений. Метод

простых итераций. Условие сходимости ме-тода простых итераций. . . . . . . . . . . . . 26

3.3 Метод Ньютона. . . . . . . . . . . . . . . . . 30

4 Приближение функций, заданных на дис-кретном множестве. 344.1 Задача алгебраической интерполяции. Сред-

неквадратичное приближение. . . . . . . . . 34

1

Page 2: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

4.2 Интерполяционный полином в форме Лагран-жа и в форме Ньютона. Остаточный членинтерполяции. . . . . . . . . . . . . . . . . . 37

4.3 Равномерное приближение: многочлены Че-бышёва, теореме об алгебраическом много-члене, наименее уклоняющемся от нуля. Ин-терполяция по чебышёвским узлам. . . . . . 41

5 Численное дифференцирование. 44

6 Численное интегрирование. 496.1 Квадратурные формулы Ньютона-Котеса (пря-

моугольников, трапеций, Симпсона) и оцен-ка их погрешности. . . . . . . . . . . . . . . 49

6.2 Квадратурные формулы Гаусса. . . . . . . . 526.3 Примеры задач на численное интегрирова-

ние. . . . . . . . . . . . . . . . . . . . . . . . 56

2

Page 3: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

1 Элеметарная теория погрешностей.Пусть 𝑢 и 𝑢* — соответственно приближенное и точное

значение некоторой величины. Абсолютной погрешно-стью приближения 𝑢 называют величину ∆(𝑢), удовле-творяющей неравенству

|𝑢− 𝑢*| ≤ ∆(𝑢)

Относительной погрешностью называется величи-на 𝛿(𝑢), удовлетворяющая неравенству

𝑢− 𝑢*

𝑢

≤ 𝛿(𝑢)

Пример.Оцените погрешности ∆𝑥 в определении корня 𝑥 = 1уравнения

𝑎𝑥4 + 𝑏𝑥3 + 𝑑𝑥 + 𝑒 = 0

с параметрами

𝑎 = 𝑏 = 1 ± 10−3, 𝑐 = 𝑑 = −1 ± 10−3,

не решая само уравнение.Решение. Погрешность параметров дает погрешность кор-ней, поэтому уравнение можно представить в виде

(𝑎 + ∆𝑎)(𝑥 + ∆𝑥)4 + (𝑏 + ∆𝑏)(𝑥 + ∆𝑥)3 +

+(𝑑 + ∆𝑑)(𝑥 + ∆𝑥) + 𝑒 + ∆𝑒 = 0

С другой стороны, имеет место точное равенство

𝑎𝑥4 + 𝑏𝑥3 + 𝑑𝑥 + 𝑒 = 0

3

Page 4: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Вычитая из первого уравнения второе и принебрегая ве-личинами с порядком малости больше единицы, получим

∆𝑥 =

−𝑥4∆𝑎− 𝑥3∆𝑏− 𝑥∆𝑑− ∆𝑒

4𝑥3𝑎 + 3𝑥2𝑏 + 𝑑

Подставляя значения параметров и их погрешностей, по-лучаем для корня 𝑥 = 1 ∆𝑥 = 2

310−3.ý

Пример.Для системы

𝜆1𝜆2𝜆3 = −10

𝜆1 + 𝜆2 + 𝜆3 = 2

найти ∆𝜆1 и ∆𝜆2, если ∆𝜆3 = 0.2.Решение. Аналогично предыдущему примеру, имеем

(𝜆1 + ∆𝜆1)(𝜆2 + ∆𝜆2)(𝜆3 + ∆𝜆3) = −10

𝜆1 + ∆𝜆1 + 𝜆2 + ∆𝜆2 + 𝜆3∆𝜆3 = 2

Вычитая из этой системы систему без погрешностей и от-брасывая величины с порядком малости больше единицы,получим

𝜆1𝜆2∆𝜆3 + 𝜆1∆𝜆2𝜆3 + ∆𝜆1𝜆2𝜆3 = 0

∆𝜆1 + ∆𝜆2 + ∆𝜆3 = 0

Выразим из второго уравнения ∆𝜆1 и подставим в первое.Имеем

∆𝜆2

(1

𝜆2

− 1

𝜆1

)= ∆𝜆3

(1

𝜆1

− 1

𝜆3

),

откуда находим ∆𝜆2 относительно 𝜆1, 𝜆2 и 𝜆3. Аналогичнодля ∆𝜆1.ý

4

Page 5: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

2 Решение систем линейных алгеб-раических уравнений.

2.1 Нормы в конечномерных пространствах.В векторном конечномерном линейном нормирован-

ном пространстве введем следующие нормы вектора:

‖−→𝑥 ‖1 = max𝑘

|𝑥𝑘|

‖−→𝑥 ‖2 =∑𝑘

|𝑥𝑘|

‖−→𝑥 ‖3 =√

(−→𝑥 ,−→𝑥 )

Согласованные с этими нормами векторов нормы мат-риц будут определяться следующим образом:

‖𝐴‖1 = max𝑘

∑𝑗

|𝑎𝑘𝑗|

‖𝐴‖2 = max𝑗

∑𝑘

|𝑎𝑘𝑗|

‖𝐴‖3 =√

max𝑘

𝜆𝑘 (𝐴𝑇𝐴)

Здесь и далее считаем квадратную матрицу 𝐴 невырож-денной. 𝜆𝑘 — ее собственные значения.В случае, когда 𝐴 — симметричная, имеем 𝐴𝑇 = 𝐴 и

‖𝐴‖3 = max𝑘

|𝜆𝑘 (𝐴) |

5

Page 6: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

2.2 Обусловленность системы линейных ал-гебраических уравнений.

Пусть в СЛАУ

𝐴−→𝑢 =−→𝑓

матрица 𝐴 и правая часть заданы с некоторой погреш-ностью. Тогда и решение будет неточным, а реально рас-сматриваемая система будет иметь вид

(𝐴 + ∆𝐴)(−→𝑢 + ∆−→𝑢 ) =−→𝑓 + ∆

−→𝑓 ,

где ∆−→𝑢 — погрешность решения.Введем понятие числа обусловленности:

𝜇(𝐴) = ‖𝐴‖ · ‖𝐴−1‖

Имеет место следующая оценка относительной погреш-ности решения:

‖∆−→𝑢 ‖‖−→𝑢 ‖

≤ 𝜇(𝐴)

1 − 𝜇(𝐴) · ‖Δ𝐴‖‖𝐴‖

(‖∆𝐴‖‖𝐴‖

+‖∆

−→𝑓 ‖

‖−→𝑓 ‖

)

Если матрица дана без погрешности (∆𝐴 = 0), то

‖∆−→𝑢 ‖‖−→𝑢 ‖

≤ 𝜇(𝐴)‖∆

−→𝑓 ‖

‖−→𝑓 ‖

В этом случае также пользуются другим параметром обу-словленности:

𝜈(𝐴,−→𝑓 ) = sup

Δ−→𝑓 =−→

0

‖∆−→𝑢 ‖/‖−→𝑢 ‖‖∆

−→𝑓 ‖/‖

−→𝑓 ‖

=‖−→𝑓 ‖

‖−→𝑢 ‖· ‖𝐴−1‖,

6

Page 7: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

причем можно показать, что 1 ≤ 𝜈 ≤ 𝜇.Иногда можно пренебречь величинами второго поряд-

ка малости и выше (∆𝐴 · ∆−→𝑢 ≈ 0), тогда

‖∆−→𝑢 ‖‖−→𝑢 ‖

≤ 𝜇(𝐴)

(‖∆𝐴‖‖𝐴‖

+‖∆

−→𝑓 ‖

‖−→𝑓 ‖

)Число обусловленности определяет, насколько погреш-

ность входных данных может повлиять на решение систе-мы. 𝜇(𝐴) ≥ 1, так как

𝜇(𝐴) = ‖𝐴‖ · ‖𝐴−1‖ ≥ ‖𝐴 · 𝐴−1‖ = ‖𝐸‖ = 1

При 𝜇(𝐴) ≈ 1∇·10 система считается хорошо обусловлен-ной: ошибки входных данных слабо сказываются на ре-шении системы. При 𝜇(𝐴) ≫ 100 система считается плохообусловленной.Пример.Найдем числа обусловленности для всех норм и параметр𝜈1 для первой нормы системы

𝑥1 + 0.99𝑥2 = 𝑏1

0.99𝑥1 + 𝑥2 = 𝑏2

Решение.

𝐴 =

(1 0.99

0.99 1

)Очевидно, ‖𝐴‖1 = ‖𝐴‖2 = 1.99Для нахождения третьей нормы учтем, что 𝐴 — симмет-ричная. 𝜆1 = 0.01, 𝜆2 = 1.99, откуда ‖𝐴‖3 = 1.99.

𝐴−1 =adj𝐴

det𝐴, adj𝐴 =

(1 −0.99

−0.99 1

)7

Page 8: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

где adj𝐴 — присоединенная матрица. Тогда

‖𝐴−1‖1 = ‖𝐴−1‖2 = ‖𝐴−1‖3 =1.99

det𝐴

𝜇1 = 𝜇2 = 𝜇3 =1.992

det𝐴= 199

Чтобы найти 𝜈1, сначала нужно решить систему.

∆1 =

𝑏1 0.99𝑏2 1

= 𝑏1 − 0.99𝑏2

∆2 =

1 𝑏1

0.99 𝑏2

= 𝑏2 − 0.99𝑏1

−→𝑢 =1

det𝐴

(𝑏1 − 0.99𝑏2𝑏2 − 0.99𝑏1

)⇒ ‖−→𝑢 ‖1 =

|𝑏1 − 𝑏2|𝑑𝑒𝑡𝐴

В данном случае было сделано приближение 0.99𝑏2 ≈ 𝑏2,0.99𝑏1 ≈ 𝑏1.

𝜈1 =‖−→𝑓 ‖1

‖−→𝑢 ‖1· ‖𝐴−1‖1 =

𝑚𝑎𝑥(𝑏1, 𝑏2) det𝐴

|𝑏1 − 𝑏2|· 1.99

det𝐴≈

≈ 2𝑚𝑎𝑥(𝑏1, 𝑏2)

|𝑏1 − 𝑏2|ý

2.3 Итерационные методы решения линей-ных систем.

2.3.1 Метод простых итераций.

Рассматриваем СЛАУ

𝐴−→𝑢 =−→𝑓

8

Page 9: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Представим матрицу 𝐴 в виде суммы 𝐴 = 𝐵 + 𝐶,причем det𝐵 = 0. Тогда

𝐵−→𝑢 =−→𝑓 − 𝐶−→𝑢

и

−→𝑢 = −𝐵−1𝐶⏟ ⏞ 𝐺

−→𝑢 + 𝐵−1−→𝑓⏟ ⏞ −→𝑔

= 𝐺−→𝑢 + −→𝑔

Выбрав произвольный вектор −→𝑢 (0) за начальное при-ближение, метод простой итерации (МПИ) строится пу-тем уточнения начального приближения −→𝑢 (0) по рекур-рентному соотношению

−→𝑢 (𝑘+1) = 𝐺−→𝑢 (𝑘) + −→𝑔

Метод сходится, если сходится итерационный процесс,то есть существует lim

𝑘

−→𝑢 (𝑘).Ответ на вопрос сходимости МПИ к точному решению

дают следующие теоремы (здесь и далее точное решениеСЛАУ будем обозначать −→𝑢 *)Теорема 1 (достаточное условие сходимости МПИ):если ‖𝐺‖ = 𝑞 < 1, то существует единственное реше-ние −→𝑢 * уравнения −→𝑢 = 𝐺−→𝑢 + −→𝑔 при любом начальномприближении −→𝑢 (0), причем

‖−→𝑢 (𝑘) −−→𝑢 *‖ ≤ 𝑞𝑘‖−→𝑢 (0) −−→𝑢 *‖

Теорема 2 (критерий сходимости МПИ): для сходи-мости итерационного процесса −→𝑢 (𝑘+1) = 𝐺−→𝑢 (𝑘)+−→𝑔 к −→𝑢 *

необходимо и достаточно, чтобы |𝜆𝑖(𝐺)| < 1.Отметим, что сходимость метода можно проверять по

любой норме, так как в конечномерном пространстве все

9

Page 10: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

нормы эквивалентны. То есть если метод сходится по какой-то одной норме, то он сходится и по остальным нормам.

Частным случаем метода простых итераций являет-ся однопараметрический МПИ. Для этого вводится ите-рационный параметр 𝜏 > 0, затем на него умножаетсяисходная СЛАУ, после чего к правой и левой частям си-стемы прибавляют −→𝑢 :

𝜏𝐴−→𝑢 + −→𝑢 = 𝜏−→𝑓 + −→𝑢 ,

откуда

−→𝑢 = (𝐸 − 𝜏𝐴)⏟ ⏞ 𝐺

−→𝑢 + 𝜏−→𝑓⏟ ⏞ −→𝑔

−→𝑢 (𝑘+1) = 𝐺−→𝑢 (𝑘) + −→𝑔Если матрица 𝐴 положительно определена и симмет-

рична, то однопараметрический МПИ сходится при

0 < 𝜏 <2

𝜆𝑚𝑎𝑥(𝐴),

поэтому если нужно определить область параметров, прикоторых МПИ сходится, в случае, когда матрица 𝐴 неявляется симметричной, то ее следует привести к сим-метричному виду, например, умножением левой и правойчастей исходной системы на 𝐴𝑇 .

Оптимальным значением параметра считается вели-чина

𝜏опт =2

𝜆𝑚𝑎𝑥 + 𝜆𝑚𝑖𝑛

Если за начальное приближение взят вектор −→𝑢 (0) =−→0 , то можно оценить количество итераций МПИ, необ-ходимое для достижения точности 𝜀:

10

Page 11: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

𝑁 =

[ln 𝜀(1−𝑞)

‖−→𝑔 ‖

ln 𝑞

]+ 1

Пример(Задача 1*).

Для СЛАУ 𝐴−→𝑢 =−→𝑓 , 𝐴 =

(3 24 3

),−→𝑓 =

(11

)построй-

те сходящийся однопараметрический метод простой ите-рации. Укажите область параметров, при которых МПИсходится. Оцените количество итераций МПИ, необходи-мое для достижения точности 𝜀 = 10−3, если в качественачального приближения выбран вектор −→𝑢 (0) = (0, 0)𝑇 .Решение. Приведем матрицу системы к симметричномувиду:

𝐵 = 𝐴𝑇𝐴 =

(3 42 3

)(3 24 3

)=

(25 1818 13

)Теперь исходная система имеет вид(

25 1818 13

)−→𝑢 =

(3 42 3

)−→𝑓

Далее

𝐺 = 𝐸 − 𝜏𝐵,−→𝑓 ′ =

(3 42 3

)−→𝑓 , −→𝑔 = 𝜏

−→𝑓 ′

В итоге мы построили однопараметрический МПИ

−→𝑢 (𝑘+1) = 𝐺−→𝑢 (𝑘) + −→𝑔 ,

который сходится при

0 < 𝜏 <2

𝜆𝑚𝑎𝑥(𝐵)≈ 0.053

11

Page 12: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

𝜏опт =2

𝜆𝑚𝑎𝑥 + 𝜆𝑚𝑖𝑛

=1

19

Для оптимального значения параметра

−→𝑔 =1

19

(75

)Дальше будем использовать третью норму:

𝐺 = 𝐸 − 𝜏𝐵 =1

19

(−6 −18−18 6

)Матрица 𝐺 симметричная, поэтому для третьей нормы

𝑞 = ‖𝐺‖3 = max𝑘

|𝜆𝑘(𝐺)| =6√

10

19в частности, этим мы доказали, что наш метод сходит-ся, так как выполняется достаточное условие сходимостиМПИ (достаточно выполнения условия теоремы хотя быдля какой-то одной нормы).

‖−→𝑔 ‖3 =√

(−→𝑔 ,−→𝑔 ) =

√74

19

𝑁 =

[ln 𝜀(1−𝑞)

‖−→𝑔 ‖3

ln 𝑞

]+ 1 = 9155ý

2.3.2 Метод Якоби.

Представим матрицу 𝐴 в виде

𝐴 = 𝐿 + 𝐷 + 𝑈,

где 𝐿 и 𝑈 — нижняя и верхняя треугольные матрицы снулевыми элементами на главной диагонали, 𝐷 — диаго-нальная матрица.

12

Page 13: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Построим итерационный метод Якоби:

𝐷−→𝑢 (𝑘+1) + (𝐿 + 𝑈)−→𝑢 (𝑘) =−→𝑓 ,

откуда

−→𝑢 (𝑘+1) = −𝐷−1(𝐿 + 𝑈)⏟ ⏞ 𝐺

−−−→𝑢(𝑘+1) + 𝐷−1−→𝑓⏟ ⏞

−→𝑔

Ответ на вопрос сходимости метода Якоби к точномурешению дают следующие теоремыТеорема 1 (достаточное условие сходимости мето-да Якоби): метод Якоби сходится к −→𝑢 *, если выполне-но условие диагонального преобладания:

|𝑎𝑗𝑗| >∑𝑘 =𝑗

|𝑎𝑗𝑘|

Теорема 2 (критерий сходимости метода Якоби):для сходимости метода Якоби к −→𝑢 * необходимо и до-статочно, чтобы все корни уравнения

𝜆𝑎11 𝑎12 . . . 𝑎1𝑛𝑎21 𝜆𝑎22 . . . 𝑎2𝑛. . . . . . . . . . . . . . . . . . . . .𝑎𝑛1 𝑎𝑛2 . . . 𝜆𝑎𝑛𝑛

= 0

по модулю не превосходили единицы.Пример.

Для СЛАУ 𝐴−→𝑢 =−→𝑓 , 𝐴 =

(1 1

212

1

),−→𝑓 =

(11

)постройте

сходящийся метод Якоби. Оцените количество итераций,необходимое для достижения точности 𝜀 = 10−3.Решение. Здесь

13

Page 14: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

𝐿 =

(0 012

0

), 𝐷 =

(1 00 1

), 𝑈 =

(0 1

2

0 0

)Построим метод Якоби:(

1 00 1

)−→𝑢 (𝑘+1) = −

(0 1

212

0

)−→𝑢 (𝑘) +

(11

)Так как 𝐷 — единичная, то

−→𝑢 (𝑘+1) = −(

0 12

12

0

)−→𝑢 (𝑘) +

(11

)𝐺 =

(0 −1

2

−12

0

), −→𝑔 =

(11

)Выберем первую норму. Для нее

𝑞 = ‖𝐺‖1 =1

2, ‖−→𝑔 ‖1 = 1

Наш метод сходится, так как выполняется условие диа-гонального преобладания.Выберем в качестве начального приближения вектор −→𝑢 (0) =(0, 0)𝑇 , тогда

𝑁 =

[ln 𝜀(1−𝑞)

‖−→𝑔 ‖1

ln 𝑞

]+ 1 = 12ý

2.3.3 Метод Зейделя.

Матрица 𝐴 разбивается так же, как и в методе Якоби,но итерационный процесс строится иначе:

(𝐿 + 𝐷)−→𝑢 (𝑘+1) + 𝑈−→𝑢 (𝑘) =−→𝑓 ,

откуда

14

Page 15: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

−→𝑢 (𝑘+1) = −(𝐿 + 𝐷)−1𝑈⏟ ⏞ 𝐺

−→𝑢 (𝑘) + (𝐿 + 𝐷)−1−→𝑓⏟ ⏞ −→𝑔

Ответ на вопрос сходимости метода Зейделя к точно-му решению дают следующие теоремыТеорема 1 (достаточное условие сходимости мето-да Зейделя): метод Зейделя сходится к −→𝑢 *, если ис-ходная матрица 𝐴 — вещественная, симметричная иположительно определенная.Теорема 2 (критерий сходимости метода Зейделя):для сходимости метода Зейделя к −→𝑢 * необходимо и до-статочно, чтобы все корни уравнения

𝜆𝑎11 𝑎12 . . . 𝑎1𝑛𝜆𝑎21 𝜆𝑎22 . . . 𝑎2𝑛. . . . . . . . . . . . . . . . . . . . .𝜆𝑎𝑛1 𝜆𝑎𝑛2 . . . 𝜆𝑎𝑛𝑛

= 0

по модулю не превосходили единицы.Пример.Найти область допустимых значений параметров 𝛼 и 𝛽,при которых метод Зейделя сходится для СЛАУ 𝐴−→𝑢 =−→𝑓 , где

𝐴 =

⎛⎝𝛼 𝛽 0𝛽 𝛼 𝛽0 𝛽 𝛼

⎞⎠Решение.

𝜆𝛼 𝛽 0𝜆𝛽 𝜆𝛼 𝛽0 𝜆𝛽 𝜆𝛼

= 𝜆3𝛼3 − 2𝜆2𝛼𝛽2 = 0,

15

Page 16: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

откуда

𝜆1,2 = 0, 𝜆3 =2𝛽2

𝛼2,

причем 𝛼 = 0, так как в этом случае матрица 𝐴 вырожда-ется и детерминант, выписанный в начале решения, равеннулю при любых 𝜆, а значит, по критерию сходимости, ме-тод сходиться не будет. Используя критерий сходимостиметода Зейделя, получаем

𝜆3 ≤ 1,

и окончательно

|𝛽| ≤√

2

2|𝛼|, 𝛼 = 0ý

Пример.

Для СЛАУ 𝐴−→𝑢 =−→𝑓 , 𝐴 =

(1 11 2

),−→𝑓 =

(11

)построй-

те сходящийся метод Зейделя. Вычислите первую итера-

цию, если начальное приближение −→𝑢 (0) =

(01

).

Решение. Здесь

𝐿 =

(0 01 0

), 𝐷 =

(1 00 2

), 𝑈 =

(0 10 0

)Построим метод Зейделя:

(𝐿 + 𝐷)−1 =

(1 01 2

)−1

=1

2

(2 0−1 1

)

𝐺 = −1

2

(2 0−1 1

)(0 10 0

)= −1

2

(0 20 −1

)

16

Page 17: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

−→𝑔 =1

2

(2 0−1 1

)(11

)=

(10

)−→𝑢 (𝑘+1) = −1

2

(0 20 −1

)−→𝑢 (𝑘) +

(10

)Метод сходится, так как выполняется достаточное усло-вие сходимости. Найдем первую итерацию:

−→𝑢 (1) = −1

2

(0 20 −1

)(01

)+

(10

)=

(0

0.5

)Отметим, что первая итерация совпала с точным реше-нием СЛАУ.ý

2.3.4 Метод верхней релаксации.

Иногда для ускорения сходимости метода Зейделя при-бегают к методу верхней релаксации. Для этого вводятпоказатель релаксации 𝑝 (0 < 𝑝 < 1) и строят итерацион-ный процесс:

𝐿−→𝑢 (𝑘+1) + 𝐷−→𝑢 (𝑘+1) + 𝑝−→𝑢 (𝑘)

1 + 𝑝+ 𝑈−→𝑢 (𝑘) =

−→𝑓

С показателем релаксации связывают итерационныйпараметр 𝜏 = 1 +𝑝. Часто итерационный параметр выби-рают близким к оптимальному (см. пункт 1.3.1), откудазатем находят показатель релаксации.Пример.

Для СЛАУ 𝐴−→𝑢 =−→𝑓 , 𝐴 =

(1 11 2

),−→𝑓 =

(11

)вычис-

лите первую итерацию метода верхней релаксации, если

начальное приближение −→𝑢 (0) =

(01

).

Решение. Здесь

17

Page 18: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

𝐿 =

(0 01 0

), 𝐷 =

(1 00 2

), 𝑈 =

(0 10 0

)Обозначим −→𝑢 (1) =

(𝑥1 𝑥2

)𝑇 и найдем первую итерациюметода верхней релаксации:

(0 01 0

)(𝑥1

𝑥2

)+

(1 00 2

)⎛⎜⎜⎝(𝑥1

𝑥2

)+ 𝑝

(01

)1 + 𝑝

⎞⎟⎟⎠+

+

(0 10 0

)(01

)=

(11

)

(0𝑥1

)+

1

1 + 𝑝

(1 00 2

)(𝑥1

𝑥2 + 𝑝

)+

(10

)=

(11

)

(0𝑥1

)+

1

1 + 𝑝

(𝑥1

2(𝑥2 + 𝑝)

)=

(01

)Последнее равенство эквивалентно системе⎧⎪⎪⎨⎪⎪⎩

1

1 + 𝑝𝑥1 = 0

𝑥1 +2

1 + 𝑝(𝑥2 + 𝑝) = 1,

откуда −→𝑢 (1) =(0 1−𝑝

2

)𝑇ý

18

Page 19: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

2.4 Методы решения, основанные на ми-нимизации функционалов.

Рассматриваем СЛАУ

𝐴−→𝑢 =−→𝑓

Введем функционал

Φ(−→𝑢 ) = (𝐴−→𝑢 ,−→𝑢 ) − 2(−→𝑓 ,−→𝑢

)Теорема: если матрица 𝐴 симметрична и положитель-но определена, то существует единственный элемент−→𝑢 *, придающий функционалу Φ(−→𝑢 ) наименьшее значе-ние, причем 𝐴−→𝑢 * =

−→𝑓 .

Эта теорема позволяет свести нахождение решения СЛАУк нахождению минимума соответствующего функциона-ла.

2.4.1 Метод наискорейшего спуска и метод ми-нимальных невязок.

Градиент рассматриваемого нами функционала имеетвид:

∇Φ(−→𝑢 ) = 2(𝐴−→𝑢 −−→𝑓 )

Чтобы найти решение СЛАУ, можно найти минимумсоответствующего функционала. Так как направление гра-диента есть направление наибольшего возрастания функ-ционала, то для нахождения минимума функционала намнужно двигаться от некоторой начальной точки (началь-ного приближения) в направлении, противоположном на-правлению градиента. Соответствующий итерационныйпроцесс выглядит следующим образом:

19

Page 20: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

−→𝑢 (𝑘+1) = −→𝑢 (𝑘) − 𝛼𝑘∇Φ(−→𝑢 (𝑘)

)Вектор

−→𝑟𝑘 = 𝐴−→𝑢 (𝑘) −−→𝑓

называется вектором невязки. Тогда

∇Φ(−→𝑢 (𝑘)

)= 2−→𝑟𝑘

Методы наискорейшего спуска и минимальных невя-зок отличаются только выбором параметра 𝛼𝑘:

𝛼𝑘 =1

2

(−→𝑟𝑘 ,−→𝑟𝑘 )

(𝐴−→𝑟𝑘 ,−→𝑟𝑘 )— метод наискорейшего спуска;

𝛼𝑘 =1

2

(𝐴−→𝑟𝑘 ,−→𝑟𝑘 )

(𝐴−→𝑟𝑘 , 𝐴−→𝑟𝑘 )— метод минимальных невязок.

Пример.

Для СЛАУ 𝐴−→𝑢 =−→𝑓 , 𝐴 =

(1 11 2

),−→𝑓 =

(11

)вычисли-

те первую итерацию метода минимальных невязок, если

начальное приближение −→𝑢 (0) =

(00

).

Решение. Вычисляем нулевой вектор невязки:

−→𝑟0 =

(1 11 2

)(00

)−(

11

)=

(−1−1

),

откуда

∇Φ(−→𝑢 (0)

)= 2−→𝑟0 =

(−2−2

)Теперь найдем параметр 𝛼0:

20

Page 21: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

𝐴−→𝑟0 =

(1 11 2

)(−1−1

)=

(−2−3

)𝛼0 =

1

2

(𝐴−→𝑟0 ,−→𝑟0 )

(𝐴−→𝑟0 , 𝐴−→𝑟0 )=

1

5,

и окончательно

−→𝑢 (1) = −→𝑢 (0) − 𝛼0∇Φ(−→𝑢 (0)

)=

(00

)− 1

5

(−2−2

)=

(2/52/5

2.4.2 Метод сопряженных градиентов.

Данный метод является точным. Его суть заключает-ся в том, чтобы выбирать параметры 𝛼𝑘 таким образом,чтобы каждый следующий вектор невязки был ортого-нален всем предыдущим. Так как мы рассматриваем ко-нечномерные пространства, то на последнем шаге векторневязки будет нулевым, так как в конечномерном про-странстве число ненулевых взаимно ортогональных век-торов конечно. Таким образом можно получить точноерешение за конечное число итераций.

Приведем одно из возможных построений метода.

−→𝑢 (1) = (𝐸 − 𝜏1𝐴)−→𝑢 (0) + 𝜏1−→𝑓 ,

−→𝑢 (𝑘+1) = 𝛼𝑘+1 (𝐸 − 𝜏𝑘+1𝐴)−→𝑢 (𝑘)+(1−𝛼𝑘+1)−→𝑢 (𝑘−1)+𝛼𝑘+1𝜏𝑘+1

−→𝑓 ,

где

𝛼1 = 1, 𝛼𝑘+1 =

[1 − 1

𝛼𝑘

𝜏𝑘+1

𝜏𝑘

(−→𝑟𝑘 ,−→𝑟𝑘 )

(−→𝑟 𝑘−1,−→𝑟 𝑘−1)

]−1

21

Page 22: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

2.5 Степенной метод нахождения макси-мального по модулю собственного зна-чения.

Пусть матрица 𝐴 — самосопряженная, т.е. 𝐴𝑇 = 𝐴.Выберем произвольный ненулевой вектор −→𝑢 (0) и постро-им последовательность векторов

−→𝑢 (𝑘+1) = 𝐴−→𝑢 (𝑘)

Итерационный процесс

𝜆(𝑘) =(𝐴−→𝑢 (𝑘),−→𝑢 (𝑘))

(−→𝑢 (𝑘),−→𝑢 (𝑘))=

(−→𝑢 (𝑘+1),−→𝑢 (𝑘))

(−→𝑢 (𝑘),−→𝑢 (𝑘))

есть последовательность приближений максимального поабсолютной величине собственного значения матрицы 𝐴.

Если матрица 𝐴 симметричная с действительными эле-ментами, то также справедливо другое приближение:

𝜆(𝑘) =(𝐴𝑘+1−→𝑢 (0))𝑚𝑎𝑥

(𝐴𝑘−→𝑢 (0))𝑚𝑎𝑥

,

где индекс max означает, что нужно выбрать максималь-ный элемент вектора.

Для нахождения минимального по абсолютной ве-личине собственного значения матрицы 𝐴 нужно исполь-зовать степенной метод, только матрицу 𝐴 в итерацион-ном процессе следует заменить на обратную, так как соб-ственные значения матриц 𝐴 и 𝐴−1 взаимно обратны.Пример (Задача 2*).Проведите три шага вычислений для определения мак-симального по модулю собственного значения матрицы

𝐴 =

(4 11 2

)и соответствующего собственного вектора

22

Page 23: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

степенным методом, взяв в качестве начального прибли-жения вектор −→𝑢 (0) =

(1 0

)𝑇 .Решение. Матрица 𝐴 — симметричная с действительны-ми элементами, поэтому

𝜆(𝑘) =(𝐴𝑘+1−→𝑢 (0))𝑚𝑎𝑥

(𝐴𝑘−→𝑢 (0))𝑚𝑎𝑥

𝜆(0) = (𝐴−→𝑢 (0))𝑚𝑎𝑥 =

((4 11 2

)(10

))𝑚𝑎𝑥

=

(41

)𝑚𝑎𝑥

= 4

𝜆(1) =(𝐴2−→𝑢 (0))𝑚𝑎𝑥

(𝐴−→𝑢 (0))𝑚𝑎𝑥

=

(17 6

)𝑇𝑚𝑎𝑥(

4 1)𝑇𝑚𝑎𝑥

=17

4

𝜆(2) =(𝐴3−→𝑢 (0))𝑚𝑎𝑥

(𝐴2−→𝑢 (0))𝑚𝑎𝑥

=

(74 29

)𝑇𝑚𝑎𝑥(

17 6)𝑇𝑚𝑎𝑥

=74

17

Соответствующий собственный вектор есть «числитель»последней итерации:

−→𝑢 (3) =

(7429

23

Page 24: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

3 Методы численного решения урав-нений и систем нелинейных урав-нений.

3.1 Локализация корней.Рассмотрим произвольную матрицу 𝐴 с элементами

𝑎𝑖𝑗. Рассмотрим круги на комплексной плоскости:

𝑃𝑖 : |𝑧 − 𝑎𝑖𝑖| ≤𝑛∑

𝑗=1𝑗 =𝑖

|𝑎𝑖𝑗|

𝑄𝑗 : |𝑧 − 𝑎𝑗𝑗| ≤𝑛∑

𝑖=1𝑖 =𝑗

|𝑎𝑖𝑗|

Здесь радиусы кругов равны сумме модулей внедиаго-нальных элементов 𝑖-ой строки и соответственно 𝑗-го столб-ца матрицы.Теорема Гершгорина: все собственные значения мат-рицы 𝐴 принадлежат множеству(⋃

𝑖

𝑃𝑖

)⋂(⋃𝑗

𝑄𝑗

)на комплексной плоскости.

Отметим, что для симметричных матриц 𝑃𝑖 ≡ 𝑄𝑖.Пример.Используя теорему Гершгорина, локализовать корни ха-рактеристического уравнения матрицы

𝐴 =

⎛⎝ 3 0 10 1 1−1 1 −2

⎞⎠24

Page 25: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

и провести три шага вычислений для определения мак-симального по модулю собственного значения степеннымметодом, взяв в качестве начального приближения век-тор −→𝑢 (0) =

(1 0 0

)𝑇 .Решение. Матрица 𝐴 — симметричная, поэтому 𝑃𝑖 ≡ 𝑄𝑖

и по теореме Гершгорина все собственные значения лежатна объединении кругов⎧⎪⎨⎪⎩

|𝑧 − 3| ≤ 1

|𝑧 − 1| ≤ 1

|𝑧 + 2| ≤ 2

Теперь как и в примере пункта 1.5 находим

𝜆(0) = 3, 𝜆(1) =10

3, 𝜆(2) =

31

10ý

Рассмотрим теперь многочлены 𝑃 (𝑥) и 𝑃1(𝑥) = 𝑃 ′(𝑥).Будем искать наибольший общий делитель многочленов𝑃 (𝑥) и 𝑃1(𝑥) по алгоритму Евклида:

𝑃 = 𝑞1𝑃1 − 𝑃2

𝑃1 = 𝑞2𝑃2 − 𝑃3

. . . . . . . . . . . . . . .

𝑃𝑛−2 = 𝑞𝑛−1𝑃𝑛−1 − 𝑃𝑛

𝑃𝑛−1 = 𝑞𝑛𝑃𝑛

Последовательность 𝑃𝑖 называется последовательно-стью Штурма многочлена 𝑃 .Теорема Штурма: пусть 𝜔(𝑥) — число перемен знакав последовательности 𝑃𝑖(𝑥). Тогда количество корнеймногочлена 𝑃 (без учета их кратности), заключенныхмежду 𝑎 и 𝑏, где 𝑃 (𝑎) = 0, 𝑃 (𝑏) = 0 и 𝑎 < 𝑏, в точностиравно 𝜔(𝑎) − 𝜔(𝑏).

25

Page 26: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

3.2 Принцип сжимающих отображений. Ме-тод простых итераций. Условие схо-димости метода простых итераций.

Рассмотрим систему нелинейных алгебраических урав-нений

−→𝑓 (−→𝑥 ) =

−→0

Ее можно переписать в равносильном виде

−→𝑥 =−→𝐹 (−→𝑥 )

Пусть −→𝑥 ∈ 𝑋. Отображение−→𝐹 (−→𝑥 ) : 𝑋 → 𝑋 назы-

вается сжимающим в замкнутой выпуклой области 𝑋,если

∀−→𝑥 ,−→𝑦 ∈ 𝑋 ∃𝑞(0 < 𝑞 < 1) : 𝜌[−→𝐹 (−→𝑥 ),

−→𝐹 (−→𝑦 )

]≤ 𝑞𝜌(−→𝑥 ,−→𝑦 )

В линейном нормированном пространстве расстояние естьнорма разности векторов.

Отображение−→𝐹 (−→𝑥 ) : 𝑋 → 𝑋 называется непрерыв-

ным, если

∀𝜀 ∃𝛿 : ∀−→𝑥 ,−→𝑦 ∈ Ω : 𝜌(−→𝑥 ,−→𝑦 ) < 𝛿 −→

−→ 𝜌[−→𝐹 (−→𝑥 ),

−→𝐹 (−→𝑦 )

]< 𝜀

Теорема 1: пусть отображение−→𝐹 : 𝑋 → 𝑋 — сжима-

ющее. Тогда1. метод простой итерации

−→𝑥 (𝑘+1) =−→𝐹 (−→𝑥 (𝑘))

26

Page 27: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

сходится к точному решению −→𝑥 * системы −→𝑥 =−→𝐹 (−→𝑥 );

2. при любом начальном приближении −→𝑥 (0) выполняет-ся неравенство

𝜌(−→𝑥 (𝑘),−→𝑥 *) ≤ 𝑞𝑘

1 − 𝑞𝜌(−→𝑥 (1),−→𝑥 (0))

Теорема 2: если для вектор-функции−→𝐹 (−→𝑥 ), заданной

на линейном нормированном пространстве, якобиан

𝐽 =𝑑−→𝐹 (−→𝑥 )

𝑑−→𝑥=

⎛⎜⎜⎜⎝𝜕𝐹1

𝜕𝑥1

. . .𝜕𝐹1

𝜕𝑥𝑛

. . . . . . . . . . . . . . .𝜕𝐹𝑛

𝜕𝑥1

. . .𝜕𝐹𝑛

𝜕𝑥𝑛

⎞⎟⎟⎟⎠существует, причем ‖𝐽‖ ≤ 𝑞 < 1 ∀−→𝑥 ∈ 𝑋, то отобра-жение

−→𝐹 : 𝑋 → 𝑋 является сжимающим в 𝑋.

Таким образом, досаточным условием сходимости методапростой итерации в случае решения системы нелинейныхуравнений является условие ‖𝐽‖ < 1.Пример (Задача 3*).Предложите сходящийся метод простой итерации и про-верьте выполнение достаточного условия его сходимостидля уточнения корней

−0.6 ≤ 𝑥1 ≤ −0.5

−0.7 ≤ 𝑦1 ≤ −0.6

−0.9 ≤ 𝑥2, 𝑦2 ≤ −0.8

системы нелинейных уравнений2𝑥− exp(−𝑥) sin 𝑦 = 0

2𝑦 + exp(−𝑥) cos 𝑦 = 0

27

Page 28: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Сколько итераций потребуется для достижения точности𝜀 = 10−4?Решение. Построим метод простых итераций. Для это-го представим систему в виде −→𝑥 =

−→𝐹 (−→𝑥 ). Это можно

сделать различными способами. Следует выбрать такойспособ, при котором ‖𝐽‖ < 1.⎧⎪⎨⎪⎩

𝑥 =exp(−𝑥) sin 𝑦

2= 𝐹1(𝑥, 𝑦)

𝑦 = −exp(−𝑥) cos 𝑦

2= 𝐹2(𝑥, 𝑦)

В преобразованной системе третья норма якобиана

‖𝐽‖3 =

⎛⎜⎝−exp(−𝑥) sin 𝑦

2

exp(−𝑥) cos 𝑦

2exp(−𝑥) cos 𝑦

2

exp(−𝑥) sin 𝑦

2

⎞⎟⎠3

меньше единицы для первой пары корней (𝑥1, 𝑦1). Пока-жем это. Для собственных значений матрицы 2× 2 спра-ведливо:

𝜆1 + 𝜆2 = tr𝐽 = 0, 𝜆1𝜆2 = det 𝐽 = −𝑒−2𝑥

4

Учитывая, что

−0.6 ≤ 𝑥1 ≤ −0.5

−0.7 ≤ 𝑦1 ≤ −0.6,

для первой пары корней получаем

−0.84 ≈ −𝑒1.2

4≤ 𝜆1𝜆2 ≤ −𝑒

4≈ −0.6,

28

Page 29: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

откуда |𝜆1| = |𝜆2| < 1, то есть метод сходится, так каквыполняется достаточное условие сходимости.Для второй пары корней достаточное условие не выпол-няется, так как при 𝑥1 = −0.9 |𝜆1| = |𝜆2| > 1. Аналогич-но можно проверить, что и для других норм достаточноеусловие сходимости не выполняется для второй пары кор-ней. Поэтому для второй пары нужно представить систе-му иначе. Например, после несложных преобразованийможно получить такую систему:⎧⎪⎨⎪⎩

𝑥 = −ln2 − 1

2ln(𝑥2 + 𝑦2)

𝑦 = arcctg−𝑦

𝑥Теперь достаточное условие для второй пары корней бу-дет выполняться (для какой нормы?). Опустим выкладкипо обоснованию этого утверждения и вернемся к послед-нему вопросу задачи для первой пары корней.Чтобы найти число итераций, необходимых для достиже-ния точности 𝜀, достаточно воспользоваться теоремой 1.Для этого нужно выбрать начальное приближение −→𝑥 (0),провести первый шаг итерации, положить 𝑞 = ‖𝐽‖3 (таккак метод сходится только для третьей нормы) и решитьнеравенство

𝑞𝑘

1 − 𝑞‖−→𝑥 (1) −−→𝑥 (0)‖3 ≥ 𝜀

относительно 𝑘.Аналогично следует поступить для второй пары корней,используя соответствующую преобразованную систему инорму, в которой норма якобиана меньше единицы.ý

Отметим, что если в условии задачи корни не локали-зованы, следует локализовать их самостоятельно, напри-мер, графически.

29

Page 30: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Пример (Задача 4*).Определите порядок сходимости итерационного методадля вычисления корней уравнения 2𝑥3 + 3𝑥2 − 1 = 0 поформуле

𝑥𝑛+1 =5𝑥𝑛

9− 2

9+

1

4𝑥𝑛

+1

72𝑥2𝑛

− 1

72𝑥3𝑛

Решение. Очевидно, корни уравнения равны −1, −1, 0.5.Порядок сходимости определяется из неравенства

|𝑥𝑛+1 − 𝑥*| < 𝑐|𝑥𝑛 − 𝑥*|𝛼, 0 < 𝑐 ≤ 1

Чтобы найти порядок сходимости, то есть 𝛼, левую частьв неравенстве представляют в виде

𝑥𝑛+1 − 𝑥* = 𝑔(𝑥𝑛 − 𝑥*) = 𝑐0(𝑥𝑛 − 𝑥*)𝛼 + 𝑐1(𝑥𝑛 − 𝑥*)𝛼−1 + . . .

Минимальное 𝑘, при котором 𝑔(𝑘)(𝑥𝑛−𝑥*)𝑥𝑘=𝑥* = 0 и есть

искомое 𝛼. В нашем случае

𝑔(𝑥𝑛 − 𝑥*) =5𝑥𝑛

9− 2

9+

1

4𝑥𝑛

+1

72𝑥2𝑛

− 1

72𝑥3𝑛

− 𝑥*

Несложно проверить, что для кратного корня −1 перваяпроизводная уже не обращается в ноль, а для корня 0.5только третья производная не равна нулю. Поэтому длявычисления корня −1 порядок сходимости линейный, адля вычисления корня 0.5 — кубический. ý

3.3 Метод Ньютона.Рассмотрим нелинейное уравнение 𝑓(𝑥) = 0. Постро-

им метод Ньютона:

30

Page 31: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

𝑥𝑘+1 = 𝑥𝑘 −𝑓(𝑥𝑘)

𝑓 ′(𝑥𝑘)

Теорема: пусть 𝑓(𝑥) определена и дважды непрерывнодифференцируема на [𝑎, 𝑏], причем 𝑓(𝑎)𝑓(𝑏) < 0, а произ-водные 𝑓 ′(𝑥), 𝑓 ′′(𝑥) отличны от нуля и сохраняют знакна отрезке [𝑎, 𝑏]. Тогда, исходя из начального приближе-ния 𝑥0 ∈ [𝑎, 𝑏], такого, что 𝑓(𝑥0)𝑓

′′(𝑥0) > 0, можно по-строить метод Ньютона, сходящийся к единственномуна [𝑎, 𝑏] решению −→𝑥 * уравнения 𝑓(𝑥) = 0.

Обозначим

𝑀2 = max[𝑎,𝑏]

|𝑓 ′′(𝑥)|, 𝑚1 = min[𝑎,𝑏]

|𝑓 ′(𝑥)|

Для оценки погрешности (𝑘 + 1)-го приближения корняможно воспользоваться неравенством

|𝑥𝑘+1| ≤1

2

𝑀2

𝑚1

|𝑥𝑘 − 𝑥*|2

Обозначив

1

2

𝑀2

𝑚1

= 𝑐,

получим после преобразований:

|𝑥𝑘+1 − 𝑥*| ≤ 1

𝑐

(𝑐|𝑥(0) − 𝑥*|

)2𝑘+1

Пример.Используя метод Ньютона, предложите сходящийся ал-горитм нахождения корня 𝑥 ∈ [𝜋, 3𝜋

2] уравнения

𝑓(𝑥) = ctg𝑥− 1

𝑥2= 0

31

Page 32: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Выберите начальное приближение и проверьте выполне-ние условий сходимости.Решение. Графически можно убедиться, что корень науказанном отрезке существует и единственен. Найдем первуюпроизводную:

𝑓 ′(𝑥) = − 1

sin2 𝑥+

2

𝑥3

Используя ограничение на 𝑥, можно уточнить локализа-цию корней: 𝑥 ∈ [5𝜋

4, 3𝜋

2].

Вычислим вторую производную:

𝑓 ′′(𝑥) = 2ctg𝑥

sin2 𝑥− 6

𝑥4

Легко показать, что на отрезке [5𝜋4, 3𝜋

2] вторая производ-

ная меняет знак. Поэтому условия сходимости методаНьютона не будут выполняться. Чтобы метод сошелся,сделаем равносильное преобразование функции такое, что-бы корень уравнения остался прежним, но выполнялисьусловия сходимости. Например, выберем

𝑓(𝑥) = 𝑥2 cos𝑥− sin𝑥 = 0,

тогда

𝑓 ′(𝑥) = −𝑥2 sin𝑥 + 2𝑥 cos𝑥− cos𝑥

𝑓 ′′(𝑥) = (2 − 𝑥2) cos𝑥− 4𝑥 sin𝑥 + sin𝑥

Теперь обе производные сохраняют знак (обе они поло-жительны) на отрезке [5𝜋

4, 3𝜋

2]. Очевидно, что функция и

обе производные непрерывны на рассматриваемом отрез-ке, а также

𝑓(5𝜋

4)𝑓(

3𝜋

2) < 0

32

Page 33: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Выберем 𝑥0 = 3𝜋2

. 𝑓(𝑥0) = 1, откуда 𝑓(𝑥0)𝑓′′(𝑥0) > 0, так

как вторая производная положительна на рассматривае-мом отрезке.Все условия сходимости метода Ньютона выполнены, по-этому при указанном начальном приближении метод схо-дится.ý

33

Page 34: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

4 Приближение функций, заданныхна дискретном множестве.

4.1 Задача алгебраической интерполяции.Среднеквадратичное приближение.

Будем рассматривать линейное нормированное про-странство.

Пусть на некотором отрезке [𝑎, 𝑏] задан некоторый ко-нечный набор точек 𝑥𝑘𝑁𝑘=0, причем 𝑥0 = 𝑎, 𝑥𝑁 = 𝑏.Пусть в этих точках известны значения некоторой непре-рывной функции 𝑓(𝑥). Задача интерполяции заключает-ся в восстановлении функции 𝑓 по ее известным значени-ям в точках 𝑥𝑘.

Одним из методов восстановления функции являетсяпостроение обобщенного интерполяционного много-члена. Для этого выбирают 𝑛 линейно независимых функ-ций 𝑔𝑗𝑛𝑗=0 (𝑛 ≤ 𝑁) и ищут наилучшее приближение:

inf𝑐𝑗

𝑓 −

𝑛∑𝑖=0

𝑐𝑗𝑔𝑗

Теорема 1: в линейном нормированном пространственаилучшее приближение элемента всегда существует.

Если в рассматриваемом пространстве определено ска-лярное произведение, то в качестве нормы можно вы-брать

‖𝑥‖ =√

(𝑥, 𝑥)

Напомним, что скалярное произведение можно опре-делить несколькими способами. Вот некоторые из них:

34

Page 35: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

1. в пространстве измеримых интегрируемых с квадрата-ми на некотором вещественном отрезке [𝑎, 𝑏] функций

(𝑓, 𝑔) =

𝑏∫𝑎

𝑓(𝑥)𝑔(𝑥)𝑑𝑥,

где 𝑔(𝑥) — комплексно сопряженное к 𝑔(𝑥) (для веще-ственного аргумента 𝑔(𝑥) = 𝑔(𝑥)) (в дискретном случаевместо интеграла имеет место сумма);2. если ввести положительно определенную на [𝑎, 𝑏] функ-цию 𝜌(𝑥) — весовой множитель, то

(𝑓, 𝑔) =

𝑏∫𝑎

𝜌(𝑥)𝑓(𝑥)𝑔(𝑥)𝑑𝑥

3. в вещественном векторном пространстве

(𝑥, 𝑦) =∑

𝑥𝑗𝑦𝑗

4. если ввести симметричную, положительно определен-ную матрицу 𝐵, то

(𝑥, 𝑦) = −→𝑥 𝑇𝐵−→𝑦 ,

Наряду с наилучшим приближением имеет место наи-лучшее среднеквадратичное приближение:

min𝑐𝑗

𝑓 −

𝑛∑𝑗=0

𝑐𝑗𝑔𝑗

2

Теорема 2: в линейном нормированном пространствесреднеквадратичное приближение элемента всегда суще-ствует и единственно.

35

Page 36: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Здесь важно, что норма должна определяться как квад-ратный корень из скалярного произведения. Если

‖𝑓‖ = sup[𝑎,𝑏]

|𝑓(𝑥)|,

то записанный выше минимум будет называться наилуч-шим равномерным приближением.Теорема 3: если базисные функции обобщенного много-члена ортогональна, а норма определена через скалярноепроизведение, то для наилучшего среднеквадратичногоприближения справедливо:

𝑐𝑗 =(𝑓, 𝑔𝑗)

(𝑔𝑗, 𝑔𝑗)

Доказательство этой теоремы заключается в раскрытиискалярного произведения в наилучшем среднеквадратич-ном приближении и непосредственном нахождении коэф-фициентов 𝑐𝑗 из необходимого условия экстремума:

𝜕Φ

𝜕𝑐𝑗= 0, Φ = min

𝑐𝑗

𝑓 −

𝑛∑𝑖=0

𝑐𝑗𝑔𝑗

2

Если базисные функции не ортогональны, то их на-до ортогонализовать или вручную проверять необходи-мое условие экстремума.Пример (Задача 5*).Для заданной таблицы значений функции, где в качествеузлов 𝑥𝑘7𝑘=0 выбраны точки 𝑥𝑘 = 2𝜋𝑘

8, 𝑘 ∈ [0, 7], построй-

те обобщенный многочлен 𝑃4(𝑥) =2∑

𝑗=−2

𝑐𝑗𝑒𝑖𝑗𝑥 наилучшего

среднеквадратичного приближения.

𝑥 0 𝜋/4 𝜋/2 3𝜋/4 𝜋 5𝜋/4 3𝜋/2 7𝜋/4𝑦 1 0 5 2 −1 2 5 0

36

Page 37: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Решение. Определим скалярное произведение как в пунк-те 1:

(𝑓, 𝑔) =7∑

𝑘=0

𝑓(𝑥𝑘)𝑔(𝑥𝑘)

Несложно показать, что базисные функции 𝑔𝑗 = 𝑒𝑖𝑗𝑥 орто-гональны (скалярное произведение любой пары различ-ных базисных функций равно нулю). Поэтому

𝑐𝑗 =(𝑓, 𝑔𝑗)

(𝑔𝑗, 𝑔𝑗)

Имеем:

(𝑔𝑗, 𝑔𝑗) =7∑

𝑘=0

𝑒𝑖𝑗𝑥𝑘𝑒−𝑖𝑗𝑥𝑘 = 8,

(𝑓, 𝑔𝑗) =7∑

𝑘=0

𝑓(𝑥𝑘)𝑒−𝑖𝑗𝑥𝑘 = 𝑓(0)𝑒0 + . . . + 𝑓 (7𝜋/4) 𝑒−𝑖𝑗7𝜋/4

Последовательно считая (𝑓, 𝑔𝑗) при 𝑗 ∈ [−2, 2], оконча-тельно получим

𝑐0 =7

4, 𝑐1 = 𝑐−1 =

1 −√

2

4, 𝑐2 = 𝑐−2 = −5

4.2 Интерполяционный полином в формеЛагранжа и в форме Ньютона. Оста-точный член интерполяции.

Здесь речь пойдет об алгебраическом интерполя-ционном полиноме:

37

Page 38: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

𝑃𝑁(𝑥) = 𝑐0 + 𝑐1𝑥 + . . . + 𝑐𝑁𝑥𝑁

Его степень меньше числа узлов 𝑁 + 1, причем в каждомузле значение алгебраического интерполяционного поли-нома совпадает со значением функции в этом узле.Теорема 1: существует один и только один алгебраи-ческий интерполяционный полином для данной функциис узлами в данных точках.

Алгебраический интерполяционный полином обычностроят в форме Лагранжа или в форме Ньютона.Понятно, что они эквивалентны, так как алгебраическийинтерполяционный полином единственен, и отличаютсялишь формой записи.

Алгебраический интерполяционный полином в фор-ме Лагранжа строится следующим образом:

𝑃(𝐿)𝑁 =

𝑁∑𝑘=0

𝑓𝑘

𝑁∏𝑗 =𝑘𝑗=0

𝑥− 𝑥𝑗

𝑥𝑘 − 𝑥𝑗

Введем понятие остаточного члена интерполяциидля оценки погрешности

𝑅𝑁(𝑥) = 𝑓(𝑥) − 𝑃(𝐿)𝑁 (𝑥)

Можно показать, что если 𝑓 имеет 𝑁 + 1 ограниченнуюпроизводную на [𝑎, 𝑏] (на области определения), то

𝑅𝑁(𝑥) =𝑓 (𝑁+1)(𝜉)

(𝑁 + 1)!(𝑥− 𝑥0) . . . (𝑥− 𝑥𝑁), 𝜉 ∈ [𝑎, 𝑏]

Теорема 2: если сетка равномерная, то есть расстоя-ние между соседними узлами постоянное и равно

38

Page 39: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

ℎ =𝑏− 𝑎

𝑁,

то справедлива оценка:

|𝑅𝑁(𝑥)| ≤ ℎ𝑁+1

𝑁 + 1max𝑥∈[𝑎,𝑏]

𝑓 (𝑁+1)(𝑥)

Для построения алгебраического полинома в форме

Ньютона потребуется понятие о разделенных разно-стях:

𝑓0(𝑘) = 𝑓𝑘,

𝑓1(𝑘, 𝑘 + 1) =𝑓𝑘+1 − 𝑓𝑘𝑥𝑘+1 − 𝑥𝑘

,

𝑓2(𝑘, 𝑘 + 1, 𝑘 + 2) =𝑓1(𝑘 + 1, 𝑘 + 2) − 𝑓1(𝑘, 𝑘 + 1)

𝑥𝑘+2 − 𝑥𝑘

𝑓3(𝑘, . . . , 𝑘+3) =𝑓2(𝑘 + 1, 𝑘 + 2, 𝑘 + 3) − 𝑓2(𝑘, 𝑘 + 1, 𝑘 + 2)

𝑥𝑘+3 − 𝑥𝑘

и так далее. Здесь 𝑓𝑘 означает значение функции 𝑓 в 𝑘-омузле, а 𝑓𝑖(𝑘, 𝑘 + 1, . . . , 𝑘 + 𝑖) — 𝑖-я разделенная разностьв 𝑘-ом узле. Алгебраический полином в форме Ньютонастроится следующим образом:

𝑃(𝑁)𝑁 (𝑥) = 𝑓0 + 𝑓1(0, 1)(𝑥− 𝑥0) +

+𝑓2(0, 1, 2)(𝑥− 𝑥0)(𝑥− 𝑥1) + . . . +

+𝑓𝑁(0, 1, . . . , 𝑁)(𝑥− 𝑥0) . . . (𝑥− 𝑥𝑁−1)

39

Page 40: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Очевидно, теорема 2 справедлива и для алгебраиче-ского полинома в форме Ньютона, так как эти полиномыэквивалентны.Пример.С каким шагом нужно составить таблицу значений функ-ции 𝑓(𝑥) = sin 𝑥, чтобы при использовании линейной ин-терполяции погрешность не превосходила 𝜀 = 10−3?Решение. При линейной интерполяции функция в двухсоседних точках приближается отрезком прямой. Заме-тим, что

sin(2𝑘) 𝑥 = (−1)𝑘 sin𝑥, sin(2𝑘+1) 𝑥 = (−1)𝑘+1 cos𝑥,

поэтому

| sin(𝑘) 𝑥| ≤ 1

Положим 𝑥0 = 𝑎, 𝑥1 = 𝑏. Так как концы отрезка — сосед-ние точки, то всего узлов 2 (N=1) и для линейной интер-поляции по теореме 2 имеем

|𝑅1(𝑥)| ≤ ℎ2

2≤ 𝜀

и окончательно

ℎ ≤√

2𝜀 ≈ 0.045ý

40

Page 41: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

4.3 Равномерное приближение: многочле-ны Чебышёва, теореме об алгебраи-ческом многочлене, наименее уклоня-ющемся от нуля. Интерполяция по че-бышёвским узлам.

Полиномом Чебышёва первого рода называетсяфункция

𝑇𝑛(𝑥) = cos(𝑛 arccos𝑥), 𝑥 ∈ [−1, 1]

Написанная функция действительно является поли-номом. Несложно получить следующее рекуррентное со-отношение:

𝑇0(𝑥) = 1, 𝑇1(𝑥) = 𝑥, 𝑇𝑛+1(𝑥) = 2𝑥𝑇𝑛(𝑥) − 𝑇𝑛−1(𝑥)

Все нули полинома Чебышёва различны. Оказывает-ся удобным выбирать узлы интерполяции в нулях со-ответствующего полинома Чебышёва, только предвари-тельно следует отобразить область определения на отре-зок [−1, 1]. Удобство обусловлено следующей теоремой.Теорема Чебышёва: среди всех многочленов степени𝑛 ≥ 1 со старшим коэффициентом 𝑐𝑛 = 1, наименьшееуклонение от нуля, равное 21−𝑛, имеет нормированныйполином Чебышёва 𝑇𝑛(𝑥) = 21−𝑛𝑇𝑛(𝑥).

В частности, сказанное означает, что если в качествеинтерполяционных узлов выбрать нули соответствующе-го полинома Чебышёва (отобразив перед этим областьопределения на отрезок [−1, 1]), то остаточный член ин-терполяции будет наименее уклоняющимся от нуля.

41

Page 42: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Пример (Задача 6*).Среди всех многочленов вида 𝑃 (𝑥) = 𝑐3𝑥

3 +𝑐2𝑥2 +𝑐1𝑥+𝑐0

найдите многочлен наилучшего равномерного приближе-ния многочлена 𝑄(𝑥) = 𝑥4 − 𝑥3 + 𝑥2 − 𝑥 + 1 на отрезке[0, 2].Решение. Напомним, что при равномерном приближе-нии норма определяется как

‖𝑓‖ = sup[𝑎,𝑏]

|𝑓(𝑥)|,

при этом нахождение наилучшего равномерного прибли-жения заключается в нахождении

min𝑐𝑗

‖𝑄(𝑥) − 𝑃 (𝑥)‖2

Минимум достигается, когда разность 𝑄(𝑥)−𝑃 (𝑥) наиме-нее уклоняется от нуля. По теореме Чебышёва, рассмат-риваемая разность наименее уклоняется от нуля, если онапредставляет собой полином Чебышёва первого рода. Ноэто имеет место только если область определения поли-номов из условия совпадает с областью опрделения поли-номов Чебышёва первого рода. Сделаем замену

𝑦 = 𝑥− 1 ⇒ 𝑦 ∈ [−1, 1],

тогда

𝑃 (𝑥) = 𝑐3(𝑦 + 1)3 + 𝑐2(𝑦 + 1)2 + 𝑐1(𝑦 + 1) + 𝑐0

𝑄(𝑥) = (𝑦 + 1)4 − (𝑦 + 1)3 + (𝑦 + 1)2 − (𝑦 + 1) + 1 =

= 𝑦4 + 3𝑦3 + 4𝑦2 + 2𝑦 + 1

42

Page 43: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

𝑄(𝑥) − 𝑃 (𝑥) = 𝑦4 + (3 − 𝑐3)𝑦3 + (4 − 3𝑐3 − 𝑐2)𝑦

2 +

+(2 − 3𝑐3 − 2𝑐2 − 𝑐1)𝑦 + 1 − 𝑐3 − 𝑐2 − 𝑐1 − 𝑐0

Степень выписанного многочлена равна четырем, поэто-му по теореме Чебышёва

𝑄(𝑥) − 𝑃 (𝑥) = 𝑇4(𝑥) = 𝑦4 − 𝑦2 +1

8

Отсюда легко находятся коэффициенты:

𝑐0 =7

8, 𝑐1 = 1, 𝑐2 = −4, 𝑐3 = 3

И окончательно

𝑃 (𝑥) = 3𝑥3 − 4𝑥2 + 𝑥 +7

43

Page 44: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

5 Численное дифференцирование.Простейшие формулы численного дифференцирова-

ния получаются в результате дифференцирования интер-поляционных формул. Для этого по узлам строится ин-терполяционный многочлен (например, обобщенный илиалгебраический) и вместо исходной функции дифферен-цируют полученный многочлен.

Другим методом является метод неопределенныхкоэффициентов (МНК). Поясним его на примере.Пример (Задача 7*).Для функции, заданной таблично (в предположении непре-рывности и ограниченности всех необходимых производ-ных), найдите значение производной 𝑓 ′(3) с максимальновозможной точностью, используя интерполяционный по-лином в форме Лагранжа или в форме Ньютона. Решитезадачу методом неопределенных коэффициентов. реши-те задачу способом, отличным от предыдущих (и про-ще!). Оцените погрешность результата, если известно, чтоmax𝑥∈[1,5]

𝑓 (5)(𝑥)

≤ ∆.

𝑥 1 2 3 4 5𝑓(𝑥) 5 7 8 10 11

Решение. Решим задачу методом неопределенных коэф-фициентов. Всего 5 узлов, поэтому приблизим нашу про-изводную следующим образом

𝑓 ′(3) ≈ 𝑐1𝑓1 + 𝑐2𝑓2 + 𝑐3𝑓3 + 𝑐4𝑓4 + 𝑐5𝑓5

Здесь 𝑓𝑖 есть значение функции в 𝑖-ой точке. Потребуем,чтобы наша формула была точна для полиномов четвер-той степени (на 1 меньше числа узлов). Тогда, очевидно,

44

Page 45: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

формула точна и для полиномов меньших степеней. По-ложив 𝑓(𝑥) = 1, 𝑓(𝑥) = 𝑥, 𝑓(𝑥) = 𝑥2, 𝑓(𝑥) = 𝑥3, 𝑓(𝑥) = 𝑥4,получим систему

⎧⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎩

1′ = 0 = 𝑐1 + 𝑐2 + 𝑐3 + 𝑐4 + 𝑐5

𝑥′ = 1 = 𝑐1 + 2𝑐2 + 3𝑐3 + 4𝑐4 + 5𝑐5

(𝑥2)′(3) = 6 = 𝑐1 + 4𝑐2 + 9𝑐3 + 16𝑐4 + 25𝑐5

(𝑥3)′(3) = 27 = 𝑐1 + 8𝑐2 + 27𝑐3 + 64𝑐4 + 125𝑐5

(𝑥4)′(3) = 108 = 𝑐1 + 16𝑐2 + 81𝑐3 + 256𝑐4 + 625𝑐5

Решив систему, найдем

𝑐1 = −𝑐5 =1

12, 𝑐4 = −𝑐2 =

2

3, 𝑐3 = 0

Теперь подставим эти коэффициенты в формулу для про-изводной:

𝑓 ′(3) ≈ 1

12· 5 − 2

3· 7 +

2

3· 10 − 1

12· 11 =

3

2

Решим задачу, используя интерполяционный полином вформе Лагранжа.

𝑓(𝑥) ≈ 𝑃(𝐿)4 =

4∑𝑘=0

𝑓𝑘

4∏𝑗 =𝑘𝑗=0

𝑥− 𝑥𝑗

𝑥𝑘 − 𝑥𝑗

=

= 5 · 𝑥− 2

−1· 𝑥− 3

−2· 𝑥− 4

−3· 𝑥− 5

−4+ . . . +

+11 · 𝑥− 1

−4· 𝑥− 2

−3· 𝑥− 3

−2· 𝑥− 4

−1=

= −1

6𝑥4 + 2𝑥3 − 25

3𝑥2 +

31

2𝑥− 4

45

Page 46: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Отсюда

𝑓 ′(𝑥) ≈ −2

3𝑥3 + 6𝑥2 − 50

3𝑥 +

31

2⇒ 𝑓 ′(3) ≈ 3

2

Решим задачу третьим методом. В нашем случае шаг сет-ки постоянный, поэтому воспользуемся следующим при-ближением:

𝑓 ′(𝑥) ≈ 𝑐1𝑓(𝑥−2ℎ)+𝑐2𝑓(𝑥−ℎ)+𝑐3𝑓(𝑥)+𝑐4𝑓(𝑥+ℎ)+𝑐5𝑓(𝑥+2ℎ)

Считая ℎ достаточно малым, разложим наши функциив ряд Маклорена по степеням ℎ (раскладываем до 4-гопорядка — на единицу меньше числа узлов):

𝑓 ′(𝑥) ≈ 𝑐1

[𝑓(𝑥) + 𝑓 ′(𝑥) · (2ℎ) +

1

2𝑓 ′′(𝑥) · (2ℎ)2 +

+1

6𝑓 ′′′(𝑥) · (2ℎ)3 +

1

24𝑓 (𝐼𝑉 )(𝑥) · (2ℎ)4 + 𝑂(ℎ5)

]+ . . .

Здесь были опущены аналогичные выкладки для осталь-ных функций. Так как слева стоит только первая произ-водная, а справа — нет, то нужно, чтобы коэффициентпри 𝑓 ′(𝑥) равнялся 1, а остальные коэффициенты равня-лись нулю. Имеем систему⎧⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎩

𝑐1 + 𝑐2 + 𝑐3 + 𝑐4 + 𝑐5 = 0

2𝑐1 + 𝑐2 − 𝑐4 − 2𝑐5 = 1

4𝑐1 + 𝑐2 + 𝑐4 + 4𝑐5 = 0

8𝑐1 + 𝑐2 − 𝑐4 − 8𝑐5 = 0

16𝑐1 + 𝑐2 + 𝑐4 + 16𝑐5 = 0

46

Page 47: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Из нее находим те же коэффициенты, которые нашли прирешении методом неопределенных коэффициентов.Оценим погрешность результата. В пункте 4.1 была полу-чена оценка для остаточного члена интерполяции (теоре-ма 2), если сетка равномерна. Можно получить аналогич-ную оценку и для 𝑝-ой производной в заданной точке:

𝑅

(𝑝)𝑁 (𝑥)

max𝑥∈[𝑎,𝑏]

𝑓 (𝑁+1)(𝑥)

(𝑁 + 1)!

· [(𝑥− 𝑥0) . . . (𝑥− 𝑥𝑁)](𝑝)

В нашем случае в точке 𝑥 = 3 для первой производнойимеем

|𝑅4′(3)| ≤

≤max𝑥∈[1,5]

𝑓 (5)(𝑥)

5!

·([(𝑥− 1) . . . (𝑥− 5)]′

) 𝑥=3

=

=∆

5!

(5𝑥4 − 60𝑥3 + 255𝑥2 − 450𝑥 + 274

) 𝑥=3

=∆

5!· 4ý

Пример (Задача 8*).Определите порядок точности формулы численного диф-ференцирования, приближающей вторую производную вточке 𝑥 на равномерной сетке с шагом ℎ:

𝑓 ′′(𝑥) ≈ 12𝑓(𝑥) − 30𝑓(𝑥 + ℎ) + 24𝑓(𝑥 + 2ℎ) − 6𝑓(𝑥 + 3ℎ)

6ℎ2

Решение. Считая шаг сетки малым, разложим функциив ряд Маклорена по степеням ℎ:

47

Page 48: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

𝑓 ′′(𝑥) ≈ 1

6ℎ2(12𝑓(𝑥) −

−30

(𝑓(𝑥) + 𝑓 ′(𝑥) · ℎ +

1

2𝑓 ′′(𝑥) · ℎ2 +

1

6𝑓 ′′′(𝑥) · ℎ3 +

+1

24𝑓 (4)(𝑥) · ℎ4

)+ . . .−

−6

(. . . +

1

24𝑓 (4)(𝑥) · (3ℎ)4

)+ 𝑂(ℎ5)) =

=1

6ℎ2(𝑓 ′′(𝑥) · 6ℎ2 + 𝑂(ℎ4))

В конце написано 𝑂(ℎ4), так как после преобразованийоказалось, что коэффициент при 𝑓 (4)(𝑥) не зануляется,то есть был выбран слишком большой порядок разложе-ния. Из последнего равенства видно, что порядок точно-сти формулы — 𝑂(ℎ2). ý

48

Page 49: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

6 Численное интегрирование.6.1 Квадратурные формулы Ньютона-Котеса

(прямоугольников, трапеций, Симпсо-на) и оценка их погрешности.

Пусть вычисляется интеграл

𝐼 =

𝑏∫𝑎

𝑓(𝑥)𝑑𝑥

Пусть на отрезке интегрирования, как и в задаче ин-терполяции, задана сетка, возможно, с непостоянным ша-гом. Пусть всего узлов 𝑁 , причем 𝑥0 = 𝑎, 𝑥𝑁 = 𝑏, тогдаразобьем наш интеграл на сумму:

𝐼 =𝑁−1∑𝑘=0

𝐼𝑘 =𝑁−1∑𝑘=0

𝑥𝑘+1∫𝑥𝑘

𝑓(𝑥)𝑑𝑥

Заменим подынтегральную функцию на отрезке [𝑥𝑘, 𝑥𝑘+1]отрезком прямой, проходящей через середину отрезка, тоесть через точку 𝑥𝑘+𝑥𝑘+1

2. Считая, что сетка на отрезке ин-

тегрирования равномерная (ℎ = 𝑐𝑜𝑛𝑠𝑡), получим

𝑓(𝑥) ≈ 𝑓

(𝑥𝑘 + 𝑥𝑘+1

2

)Выполнив интегрирование, получим приближенное зна-чение интеграла на выбранном отрезке:

𝐼𝑘 ≈ ℎ𝑓

(𝑥𝑘 + 𝑥𝑘+1

2

)Суммирование интегралов по элементарным отрезкам дастквадратурную формулу прямоугольников:

49

Page 50: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

𝐼 ≈𝑁−1∑𝑘=0

ℎ𝑓

(𝑥𝑘 + 𝑥𝑘+1

2

)Погрешность формулы оценивается следующим образом:

∆𝐼 =𝑀2ℎ

2(𝑏− 𝑎)

24, 𝑀2 = max

𝑥∈[𝑎,𝑏]|𝑓 ′′(𝑥)|

Заменим подынтегральную функцию на отрезке [𝑥𝑘, 𝑥𝑘+1]алгебраическим интерполяционным полиномом в формеЛагранжа первой степени:

𝑓(𝑥) ≈ 𝑓(𝑥𝑘) +𝑓(𝑥𝑘+1) − 𝑓(𝑥𝑘)

𝑥𝑘+1 − 𝑥𝑘

(𝑥− 𝑥𝑘)

Выполнив интегрирование, получим приближенное зна-чение интеграла на выбранном отрезке:

𝐼𝑘 ≈1

2(𝑥𝑘+1 − 𝑥𝑘)(𝑓(𝑥𝑘+1) + 𝑓(𝑥𝑘)) =

ℎ𝑘

2(𝑓(𝑥𝑘+1) + 𝑓(𝑥𝑘))

Суммирование интегралов по элементарным отрезкам дастквадратурную формулу трапеций:

𝐼 ≈ 1

2

𝑁−1∑𝑘=0

ℎ𝑘(𝑓(𝑥𝑘+1) + 𝑓(𝑥𝑘))

Погрешность формулы для равномерной сетки оценива-ется следующим образом:

∆𝐼 =𝑀2ℎ

2(𝑏− 𝑎)

12, 𝑀2 = max

𝑥∈[𝑎,𝑏]|𝑓 ′′(𝑥)|

Заменим подынтегральную функцию на отрезке [𝑥𝑘−1, 𝑥𝑘]алгебраическим интерполяционным полиномом в форме

50

Page 51: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Лагранжа второй степени. Считая при этом, что сеткана отрезке интегрирования равномерная (ℎ = 𝑐𝑜𝑛𝑠𝑡), ивзяв в качестве третьей точки (так как полином второйстепени строится как минимум по трем точкам) серединуотрезка [𝑥𝑘−1, 𝑥𝑘], то есть точку 𝑥𝑘−1/2, получим

𝑓(𝑥) = 𝑓𝑘−1

(𝑥− 𝑥𝑘−1/2)(𝑥− 𝑥𝑘)

(𝑥𝑘−1 − 𝑥𝑘−1/2)(𝑥𝑘−1 − 𝑥𝑘)+

+𝑓𝑘−1/2(𝑥− 𝑥𝑘−1)(𝑥− 𝑥𝑘)

(𝑥𝑘−1/2 − 𝑥𝑘−1)(𝑥𝑘−1/2 − 𝑥𝑘)+

+𝑓𝑘(𝑥− 𝑥𝑘−1)(𝑥− 𝑥𝑘−1/2)

(𝑥𝑘 − 𝑥𝑘−1)(𝑥𝑘 − 𝑥𝑘−1/2)=

=2

ℎ2[(𝑥− 𝑥𝑘−1/2)(𝑥− 𝑥𝑘)𝑓𝑘−1 −

−2(𝑥− 𝑥𝑘−1)(𝑥− 𝑥𝑘)𝑓𝑘−1/2 +

+(𝑥− 𝑥𝑘−1)(𝑥− 𝑥𝑘−1/2)𝑓𝑘]

Выполнив интегрирование, получим приближенное зна-чение интеграла на выбранном отрезке:

𝐼𝑘 ≈ℎ

6(𝑓𝑘−1 + 4𝑓𝑘−1/2 + 𝑓𝑘)

Суммирование интегралов по элементарным отрезкам дастквадратурную формулу Симпсона:

𝐼 ≈ ℎ

6

𝑁∑𝑘=1

(𝑓𝑘−1 + 4𝑓𝑘−1/2 + 𝑓𝑘)

Часто бывает неудобно использовать дробные индексы,поэтому можно записать формулу без дробных индексов(здесь элементарный отрезок есть [𝑥𝑘−1, 𝑥𝑘+1]):

51

Page 52: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

𝐼 ≈ ℎ

3

𝑁∑𝑘=1

(𝑓𝑘−1 + 4𝑓𝑘 + 𝑓𝑘)

Погрешность формулы без дробных индексов оценивает-ся следующим образом:

∆𝐼 =𝑀4ℎ

4(𝑏− 𝑎)

180, 𝑀4 = max

𝑥∈[𝑎,𝑏]

𝑓 (4)(𝑥)

Если функция 𝑓(𝑥) имеет только три непрерывных про-изводных, то

𝜀 =≤ 𝑀3ℎ3(𝑏− 𝑎)

12, 𝑀3 = max

𝑥∈[𝑎,𝑏]|𝑓 ′′′(𝑥)|

6.2 Квадратурные формулы Гаусса.Точность квадратурной формулы определяется выбо-

ром узлов и коэффициентов. Например, формулы трапе-ций и Симпсона имеют одинаковые узлы, но различныекоэффициенты и, как следствие, их точность оказывает-ся разной. В связи с этим естественно возникает задачапоиска наилучшей квадратурной формулы с заданнымчислом узлов 𝑛. Обсудим постановку и решение такойзадачи в формулировке Гаусса: построить квадратурнуюформулу с числом узлов 𝑛, которая является точной длялюбого полинома степени 2𝑛− 1 или ниже.

Будем считать, что интеграл предварительно приве-ден к стандартной форме, когда областью интегрирова-ния является отрезок [−1, 1]. С учетом этого замечаниязапишем квадратурную формулу в виде

1∫−1

𝑓(𝑥)𝑑𝑥 =𝑛∑

𝑖=1

𝑐𝑖𝑓(𝑥𝑖) + 𝛿𝑛,

52

Page 53: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

где 𝛿𝑛 — остаточный член. Для любого полинома степени2𝑛− 1 этот член должен быть равен нулю.

Полагая последовательно 𝑓(𝑥) = 1, 𝑥, 𝑥2, . . . , 𝑥2𝑛−1 ипринимая во внимание, что для этих функций остаточ-ный член должен равняться нулю, получим

1∫−1

𝑥𝑚𝑑𝑥 =1

𝑚 + 1(1 + (−1)𝑚) =

𝑛∑𝑖=1

𝑐𝑖𝑥𝑚𝑖 , 𝑚 ∈ [0, 2𝑛− 1]

Полученное соотношение представляет собой систему 2𝑛уравнений с 2𝑛 неизвестными, в качестве которых высту-пают узлы 𝑥𝑖 и коэффициенты 𝑐𝑖.

Решение полученной системы довольно громоздко, по-этому для ее решения используют полиномы Лежанд-ра:

𝑃𝑛(𝑥) =1

2𝑛(𝑛)!

𝑑𝑛

𝑑𝑥𝑛(𝑥2 − 1)𝑛

Выпишем в явном виде несколько первых полиномов Ле-жандра:

𝑃0(𝑥) = 1, 𝑃1(𝑥) = 𝑥, 𝑃2(𝑥) =3

2𝑥2− 1

2, 𝑃3 =

5

2𝑥3− 3

2𝑥

Полиномы Лежандра образуют систему полиномов,ортогональных на отрезка [−1, 1]:

1∫−1

𝑃𝑚(𝑥)𝑃𝑛(𝑥)𝑑𝑥 = 0, 𝑚 = 𝑛

Здесь и далее считается, что скалярное произведение опре-делено без весового множителя.

53

Page 54: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Теорема 1: любая система полиномов, оротогональныхна отрезке [−1, 1], совпадает с точностью до множи-теля с системой полиномов Лежандра.

Составим полином 𝑛-ой степени

𝑤𝑛(𝑥) = (𝑥− 𝑥1)(𝑥− 𝑥2) . . . (𝑥− 𝑥𝑛),

где 𝑥𝑖 — искомые узлы. Несложно показать, что этот по-лином ортогонален к любому полиному степени 𝑚 < 𝑛,в том числе и к полиномам Лежандра. Это означает, чтоон с точностью до множителя совпадает с 𝑛-ым полино-мом Лежандра: 𝑤𝑛(𝑥) = 𝐴𝑛𝑃𝑛(𝑥). Отсюда следует вывод:узлы квадратурной формулы Гаусса являются корнямиполинома Лежандра 𝑃𝑛(𝑥).Теорема 2: квадратурная формула, у которой в каче-стве узлов берутся корни полинома Лежандра, а коэф-фициенты 𝑐𝑚 вычисляются по формулам

𝑐𝑚 =

𝑛∏𝑖 =𝑚𝑖=1

(𝑥− 𝑥𝑖)

𝑛∏𝑖 =𝑚𝑖=1

(𝑥𝑚 − 𝑥𝑖)𝑑𝑥

решают задачу Гаусса.Используя теорему 2, можно построить квадратурную

форму Гаусса с любым числом узлов. Например, для од-ного узла

𝑥1 = 0, 𝑐1 = 2

В результате квадратурная формула принимает вид

1∫−1

𝑓(𝑥)𝑑𝑥 = 2𝑓(0) + 𝛿1

54

Page 55: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Она является точной для любого полинома первой степе-ни.

Для двух узлов

𝑥1 = − 1√3, 𝑥2 =

1√3, 𝑐1 = 𝑐2 = 1

В результате квадратурная формула принимает вид

1∫−1

𝑓(𝑥)𝑑𝑥 = 𝑓

(− 1√

3

)+ 𝑓

(1√3

)+ 𝛿2

Она является точной для любого полинома третьей сте-пени.

Для трех узлов

𝑥3 = −𝑥1 =

√3

5, 𝑥2 = 0, 𝑐1 = 𝑐3 =

5

9, 𝑐2 =

8

9

В результате квадратурная формула принимает вид

1∫−1

𝑓(𝑥)𝑑𝑥 =5

9𝑓

(−√

3

5

)+

8

9𝑓(0) +

5

9𝑓

(√3

5

)+ 𝛿3

Она является точной для любого полинома пятой степе-ни.

Погрешность формулы оценивается следующим обра-зом:

𝛿𝑛 = 𝑀2𝑛22𝑛+1

2𝑛 + 1· (𝑛!)4

((2𝑛)!)3, 𝑀2𝑛 = max

𝑥∈[−1,1]

𝑓 (2𝑛)(𝑥)

55

Page 56: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

6.3 Примеры задач на численное интегри-рование.

Пример (Задача 9*).Оцените минимальное число узлов для вычисления инте-

грала 𝐼 =1∫

−1

𝑥√3

arctg(

𝑥√3

)𝑑𝑥 с точностью 𝜀 = 10−2 по ме-

тодам трапеций, Симпсона и квадратур Гаусса. Оценитеинтеграл с заданной точностью любым из этих методов.Решение. Для формулы трапеций

∆𝐼 =𝑀2ℎ

2(𝑏− 𝑎)

12=

𝑀2ℎ2

6≤ 𝜀, 𝑀2 = max

𝑥∈[𝑎,𝑏]|𝑓 ′′(𝑥)|

𝑀2 =2

3⇒ ℎ ≤

√9𝜀 = 0.3

ℎ =𝑏− 𝑎

𝑛⇒ 𝑛 =

[2

0.3

]+ 1 = 7

Подынтегральное выражение имеет как минимум четыренепрерывных производных, поэтому для формулы Симп-сона

∆𝐼 =𝑀4ℎ

4(𝑏− 𝑎)

180=

𝑀4ℎ4

90≤ 𝜀, 𝑀4 = max

𝑥∈[−1,1]

𝑓 (4)(𝑥)

𝑀4 =3

16⇒ ℎ ≤ 4

√90 · 16𝜀

3≈ 1.48

ℎ =𝑏− 𝑎

𝑛⇒ 𝑛 =

[2

1.48

]+ 1 = 2

Для квадратурной формулы Гаусса

56

Page 57: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

𝛿𝑛 = 𝑀2𝑛22𝑛+1

2𝑛 + 1· (𝑛!)4

((2𝑛)!)3≤ 𝜀, 𝑀2𝑛 = max

𝑥∈[−1,1]

𝑓 (2𝑛)(𝑥)

Перебором убеждаемся, что 𝑛 = 2 подходит.Оценим интеграл с заданной точностью методом квадра-тур Гаусса. Для двух узлов

𝐼 ≈ 𝑓

(− 1√

3

)+ 𝑓

(1√3

)≈ 0.209ý

Пример (Задача 10*).

Вычислите несобственный интеграл 𝐼 =∞∫0

1−cos𝑥𝑥5/2 𝑑𝑥 с точ-

ностью 𝜀 = 10−3.Решение. У интеграла две особенности — в нуле и в бес-конечности, поэтому разобьем его на три интеграла:

𝐼 =

𝛿∫0

1 − cos𝑥

𝑥5/2𝑑𝑥 +

𝐴∫𝛿

1 − cos𝑥

𝑥5/2𝑑𝑥 +

∞∫𝐴

1 − cos𝑥

𝑥5/2𝑑𝑥

Второй интеграл — определенный, и для него можно вос-пользоваться одной из квадратурных формул, например,формулой трапеций. Выберем 𝛿 и 𝐴 таким образом, что-бы

𝛿∫

0

1 − cos𝑥

𝑥5/2𝑑𝑥

≤ 𝜀

3

∞∫𝐴

1 − cos𝑥

𝑥5/2𝑑𝑥

≤ 𝜀

3,

57

Page 58: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

тогда в определенном интеграле мы сможем выбрать та-кое число узлов, чтобы

𝐴∫

𝛿

1 − cos𝑥

𝑥5/2𝑑𝑥

≤ 𝜀

3

Вернемся к выбору 𝛿 и 𝐴:

∞∫𝐴

1 − cos𝑥

𝑥5/2𝑑𝑥

≤ 2

∞∫𝐴

𝑑𝑥

𝑥5/2=

4

3≤ 𝜀

3,

откуда видно, что можно положить 𝐴 = 300.

𝛿∫0

1 − cos𝑥

𝑥5/2𝑑𝑥

𝛿∫0

1 −(

1 − 𝑥2

2

)𝑥5/2

𝑑𝑥

=

√𝛿 ≤ 𝜀

3,

откуда видно, что можно положить 𝛿 = 10−7.Из формулы трапеций для оставшегося определенногоинтеграла

∆𝐼 =𝑀2ℎ

2(𝑏− 𝑎)

12= 25𝑀2ℎ

2 ≤ 𝜀

3, 𝑀2 = max

𝑥∈[𝛿,𝐴]|𝑓 ′′(𝑥)|

𝑀2 < 1036 ⇒ ℎ <

√𝜀

75 · 1036≈ 3.7 · 10−21

ℎ =𝑏− 𝑎

𝑛⇒ 𝑛 ≥

[300

3.7 · 10−21

]+ 1

Выберем 𝑛 = 9 · 1022. Тогда по формуле трапеции (𝑁 =𝑛− 1) с учетом заданной точности

58

Page 59: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

𝐼 ≈ ℎ

2

𝑁−1∑𝑘=0

(1 − cos𝑥𝑘+1

𝑥5/2𝑘+1

+1 − cos𝑥𝑘

𝑥5/2𝑘

Пример (Задача 11*).Постройте квадратурную формулу Гаусса по двум узлам

для вычисления интеграла 𝐼 =𝜋/2∫

−𝜋/2

cos(𝑥)𝑓(𝑥)𝑑𝑥.

Решение. Здесь под интегралом стоит весовая функция,поэтому теорема 2 из предыдущего пункта неприменима.Тогда воспользуемся методом неопределенных коэффи-циентов. Для формулы по двум узлам имеем

𝐼 = 𝑐1𝑓(𝑥1) + 𝑐2𝑓(𝑥2)

По определению задачи Гаусса считаем, что формула точ-на для всех полиномов не выше 2𝑛 − 1 = 3-ей степе-ни (n — число узлов). Тогда подставляя последовательно𝑓(𝑥) = 1, 𝑥, 𝑥2, 𝑥3, получим систему⎧⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎩

2 =

𝜋/2∫−𝜋/2

cos𝑥𝑑𝑥 = 𝑐1 + 𝑐2

0 =

𝜋/2∫−𝜋/2

𝑥 cos𝑥𝑑𝑥 = 𝑐1𝑥1 + 𝑐2𝑥2

𝜋2

2− 4 =

𝜋/2∫−𝜋/2

𝑥2 cos𝑥𝑑𝑥 = 𝑐1𝑥21 + 𝑐2𝑥

22

0 =

𝜋/2∫−𝜋/2

𝑥3 cos𝑥 = 𝑐1𝑥31 + 𝑐2𝑥

32

59

Page 60: Содержание - MIPT€¦ · 2.3 Итерационные методы решения ... 2.4 Методы решения, основанные на миними- ... при

Из системы находим

𝑥1 = −𝑥2 = −√

𝜋2

4− 2, 𝑐1 = 𝑐2 = 1,

откуда

𝐼 = 𝑓

(−√

𝜋2

4− 2

)+ 𝑓

(√𝜋2

4− 2

60