Робастные методы и алгоритмы оценивания...

СМИРНОВ Павел Олегович

Робастные методы и алгоритмы оценивания

корреляционных характеристик данных

на основе новых высокоэффективных и

быстрых робастных оценок масштаба

Специальность 05.13.18 — Математическое моделирование,

численные методы и комплексы программ

ДИССЕРТАЦИЯ

на соискание учёной степени

кандидата физико-математических наук

Научный руководитель: д.ф.-м.н., проф. Г.Л. Шевляков

Санкт-Петербургский государственный политехнический университет

26 марта 2014 г.

1. Введение 3. Параметр масштаба 3. Коэффициент корреляции 4. Приложения

Робастность — устойчивость статистических выводов к

возможным отклонениям от принятых моделей распределений

данных. Robust (англ.): крепкий, здоровый (Box, 1953).

0

-15 -10 -5 0 5 10 15

x̄

0

10

20

30

40

50

0 10 20 30 40 50 60 70 80

МНК

-10

-5

0

5

10

-15 -10 -5 0 5 10 15

r = 0.6

r < 0

-30

0

30

0 100

СМИРНОВ Павел Олегович СПбГПУ

Робастные методы и алгоритмы оценивания (19.0) 2 / 31


Модель распределений с параметром масштаба

Пусть g(t) — симметричная плотность с дисперсией Dg = 1.

Случайная величина в модели масштаба:

U ∼ 1

ag

(ua

), D(U) = a2,

т.е. a — стандартное отклонение.

0

0.1

0.2

0.3

0.4

0.5

-9 -6 -3 0 3 6 9u

a = 1

a = 3

-9

-6

-3

0

3

6

9

0 20 40 60 80 100i

ui




Связь корреляции и масштаба

Пусть U, V — независимые с.в.

U ∼ 1

ag

(ua

), V ∼ 1

bg

(ub

).

Их комбинация

X = U + V , Y = U − V .

Коэффициент корреляции

ρXY =cov(X,Y)√D(X)D(Y)

=D(U)− D(V)D(U) + D(V)

=a2 − b2

a2 + b2.

a = 3, b = 1, ρ = 0.8

-9

-6

-3

0

3

6

9

-12 -9 -6 -3 0 3 6 9 12xi

yi

ui

vi




Актуальность и цель работы

Актуальность:

Оценивание масштаба и коэффициента корреляции менее

изучено, чем оценивание положения и коэффициентов

регрессии.

Известные эффективные оценки требуют значительных

затрат вычислительных ресурсов.

Основные задачи:

Построение быстрых робастных высокоэффективных

оценок параметра масштаба.

Построение быстрых робастных высокоэффективных

оценок коэффициента корреляции и корреляционных

матриц.




Робастные оценки параметра масштаба




Характеристики качества оценок

Эффективность eff — это отношение минимально

возможной дисперсии к дисперсии рассматриваемой

оценки

– точность

Пороговая точка ε∗ задаёт максимальную долю

произвольного засорения, при котором смещение оценки

ещё ограничено

– глобальная робастность

Функция влияния IF(x) оценивает воздействие наоценку, оказываемое бесконечно малым загрязнением в

точке x, нормированное его массой

– локальная робастность




Хьюберовские М-оценки масштаба

Обобщение оценок максимального правдоподобия

Sn :n∑i=1

χ(xi/Sn) = 0,

Примеры:

χ(x) = x2 − 1, Sn(x) =

√1

n

∑x2i; eff = 100%, ε∗ = 0%;

χ(x) = |x| − 1, Sn(x) ∼1

n

∑|xi |; eff = 88%, ε∗ = 0%;

χ(x) = sgn(|x| − 1), Sn(x) ∼ medi=1..n

|xi |; eff = 37%, ε∗ = 50%;

Медиана абсолютных отклонений MADn x = 1,4826medi|xi |.




Новая М-оценка

Высокоэффективная оценка (Рауссеу и Крукс, 1993)

Qn = 2, 2191 · {|xi − xj|; i < j}(k); eff = 82%, ε∗ = 50%.

Предлагаем приближение MQ(α)n для распределения с

плотностью g:

MQ(α)n :

n∑i=1

χα(xi/MQ(α)n ) = 0,

χα(x) = cα − 2g(x)−1

3α2g′′(x), cα :

∞∫−∞

χα(x) g(x) dx = 0

Для нормального распределения ϕ(x) = (2π)−1/2 exp{−x2/2}:

χα(x) =12− α2

12√π− 1

3(6+ α2(x2 − 1))ϕ(x).




Одношаговый алгоритм FQn

Неявно заданная оценка:

MQ(α)n :

n∑i=1

χα(xi/MQ(α)n ) = 0.

Первый шаг итерационного метода Ньютона

FQ(α)n = MADn ·

(1+

∑χ(xi/MADn)∑

(xi/MADn)χ′(xi/MADn)

), или

FQ(α)n = MADn ·

(1− (6− α2)U0 + α2U2 − 3n(12− α2)/(12

√π)

3(2− α2)U2 + α2U4

),

где Uk =n∑i=1

uki ϕ(ui), ui = xi/MADn .




Робастность новых оценок MQ(α)n и FQ(α)

n

Для функции χα(x), неубывающей при x > 0 (α ∈ [ 0,√2 ]), имеют место

следующие утверждения.

Теорема (1.1)

Пороговые точки оценок задаются формулами

ε∗MQ =12(√2− 1)− α2(2

√2− 1)

(6− α2)2√2

< 0.3, ε∗FQ = 0.5


Функции влияния оценок на нормальном распределении ограничены и имеют вид

IF(x;MQ,Φ) = IF(x; FQ,Φ) =2(12− α2)− 8

√π (6 + α2(x2 − 1))ϕ(x)

3(4− α2).




Эффективность новых оценок MQ(α)n и FQ(α)

n


Асимптотическая дисперсия оценок на нормальном распределении задаётся

формулой

V(MQ,Φ) = V(FQ,Φ) =

(4− α2

8

)−2(54− 12α2 + α4

27√3

−(12− α2

12

)2),

т.е. асимптотическая эффективность меняется в пределах 81–96%.


Вариант оценки MQ(α)n при α = 0, построенный для распределения Коши с плотно-

стью f(x) = (1/π)/(1 + x2), является оценкой максимального правдоподобия для

данного распределения с максимально возможной асимптотической эффективно-

стью (100%) и пороговой точкой (50%).




Частный случай α = 0

пороговая точка

0

0.1

0.2

0.3

0.4

0.5

0 0.5 1 1.5α

ε∗

эффективность

0.5

0.6

0.7

0.8

0.9

1

0 0.5 1 1.5α

eff

Частный случай при α = 0:

n∑i=1

ϕ

(xi

MQ(0)n

)=

n

2√π, FQ

(0)n = MADn ·

(1− U0 − n/(2

√π)

U2

),

где Uk =n∑i=1

uki ϕ(ui), ui = xi/MADn.




Сравнение с оценками параметра масштаба

Проведены численные эксперименты Монте-Карло

Среднеквадратическое отклонение SDn

Медиана абсолютных отклонений MADn

Квартиль абсолютных разностей Qn

М-оценка Хьюбера H95n

χ(x) = min(x2, α2)− β, α = 2.38, β = 0.9689.




Эксперимент: параметр масштаба

Смещение δ и эффективность e при 10%-ном засорении в модели

больших ошибок Тьюки g(t) = (1− ε)ϕ(t) + εϕ(t/3)/3

n SDn MADn Qn H95n FQn

смещение

20 +0.288 +0.100 +0.346 +0.134 +0.11440 +0.316 +0.092 +0.234 +0.145 +0.11860 +0.322 +0.087 +0.194 +0.147 +0.118200 +0.336 +0.084 +0.144 +0.154 +0.1211000 +0.340 +0.082 +0.126 +0.156 +0.121


20 0.320 0.395 0.509 0.478 0.613

40 0.294 0.370 0.552 0.533 0.615

60 0.291 0.371 0.578 0.556 0.626

200 0.277 0.355 0.611 0.576 0.624

1000 0.275 0.356 0.630 0.590 0.631




Эксперимент: параметр масштаба

Смещение δ и стандартное отклонение σ при 10%-ном засорении в

модели больших ошибок Тьюки g(t) = (1− ε)ϕ(t) + εϕ(t/3)/3

n = 20

0

0.1

0.2

0.3

0.4

0.5

0 0.1 0.2 0.3 0.4 0.5

σ

δ

SDn

MADn

Qn

FQn

n = 200

0

0.1

0.2

0.3

0.4

0.5

0 0.1 0.2 0.3 0.4 0.5

σ

δ

SDn

MADn

Qn

FQn




Оценки масштаба: время работы алгоритма

0

0.01

0.02

0.03

0.04

0.05

0 50 100 150 200n

t, мс

Qn

FQn

MADn SDn




Робастные оценки коэффициента

корреляции




Модель с независимыми компонентами

Шевляков, Вильчевский (2001)

X = (U + V)/√2, Y = (U − V)/

√2, D(X) = D(Y) = 1,

U = (X + Y)/√2, V = (X − Y)/

√2.

Плотность распределения

f(x, y; ρ) =1√1− ρ2

g

(x+ y√2(1+ ρ)

)g

(x− y√2(1− ρ)

)

Пример: двумерный нормальный закон

ϕ(t) =1√2π

e−t2

2 , f(x, y) =1

2π√1− ρ2

exp

{−x

2 − 2ρxy+ y2

2(1− ρ2)

}.




Оценка коэффициента корреляции

Выражение через оценки масштаба

ρXY =a2 − b2

a2 + b2, ρ̂n =

S2n(u)− S2n(v)S2n(u) + S2n(v)

,

где u = (u1, . . . un), v = (v1, . . . vn), ui , vi = (xi/Sn(x)± yi/Sn(y))/√2.

Например, среднеквадратическое отклонение порождает

выборочный коэффициент корреляции

Sn(t) =

√√√√ 1

n

n∑i=1

t2i, ρ̂n =

n∑i=1

xiyi√√√√( n∑i=1

x2i

)(n∑i=1

y2i

) = r.




Асимптотическое поведение

Теоремы (2.1)–(2.2)

В достаточно общих условиях регулярности для g(t) и Sn(t) при δ2n = D[S2n(t)] иϑn = M[S2n(t)] имеем следующие смещение и дисперсию

M(ρ̂n)− ρ = −ρ(1− ρ2)

2

(δ2nϑ2n

)+ o

(1

n

), D(ρ̂n) =

(1− ρ2)2

2

(δ2nϑ2n

)+ o

(1

n

),

или, через асимптотическую дисперсию V(S,G) =

∞∫−∞

IF2(t; S,G) g(t) dt:

M(ρ̂n)− ρ = −2ρ(1− ρ2)

nV(S,G) + o

(1

n

), D(ρ̂n) =

2(1− ρ2)2

nV(S,G) + o

(1

n

).




М-оценка коэффициента корреляции

Предлагается М-оценка

ρ̂n :n∑i=1

ψ(ui , vi ; ρ̂n) = 0.

Оценочная функция

ψ(u, v; ρ) =1

2

[1

1+ ρχ

(u√1+ ρ

)− 1

1− ρχ

(v√1− ρ

)],

где χ(t) — оценочная функция параметра масштаба.

Итеративный алгоритм Фишера

ρ̂k+1 = ρ̂k+(1− ρ̂2k)2

n(1+ ρ̂2k)Bχ·n∑i=1

ψ(ui , vi ; ρ̂k), Bχ =

∞∫−∞

tχ′(t)g(t) dt.




Асимптотическое поведение


В достаточно общих условиях регулярности для g(t) и χ(t) имеем

V(ρ̂, F) =2(1− ρ2)2

1 + ρ2V(S,G).

где асимптотическая дисперсия M-оценки масштаба

V(S,G) =

∞∫−∞

χ2(t)g(t) dt

/ ∞∫−∞

tχ′(t)g(t) dt

2 .




Сравнение с оценками коэффициента корреляции

Проведены эксперименты Монте-Карло

Коэффициент корреляции Пирсона r

Квадрантный (знаковый) коэффициент rSGN

Коэффициент ранговой корреляции Кендалла rK

Коэффициент ранговой корреляции Спирмена rS

Комедианный коэффициент корреляции rCOM

Медианный коэффициент корреляции rMAD

Алгоритм FastMCD (минимальный ковариационный

определитель) rMCD




Эксперимент: коэффициент корреляции


модели больших ошибок Тьюки смеси двумерных нормальных

распределений

n r rSGN rK rS rCOM rMAD rMCD rFQ rM·FQ

смещение

20 −0.668 −0.187 −0.245 −0.350 −0.202 −0.065 −0.030 −0.084 −0.07960 −0.805 −0.142 −0.226 −0.342 −0.214 −0.045 −0.010 −0.064 −0.058200 −0.870 −0.126 −0.220 −0.339 −0.216 −0.037 −0.006 −0.057 −0.0531000 −0.894 −0.121 −0.218 −0.337 −0.217 −0.035 −0.005 −0.055 −0.052


20 0.007 0.042 0.038 0.028 0.038 0.129 0.080 0.132 0.11960 0.005 0.050 0.040 0.027 0.032 0.167 0.207 0.191 0.257

200 0.005 0.054 0.042 0.027 0.031 0.188 0.327 0.222 0.3121000 0.005 0.055 0.042 0.027 0.030 0.196 0.391 0.230 0.331

Быстродействие rMCD на два порядка ниже rFQ.




Эксперимент: коэффициент корреляции


модели больших ошибок Тьюки смеси двумерных нормальных

распределений

n = 20

0

0.1

0.2

0.3

0.4

0.5

0 0.1 0.2 0.3 0.4 0.5

σ

|δ|

r

rSGN

rMCD

rFQrMFQ

n = 200

0

0.1

0.2

0.3

0.4

0.5

0 0.1 0.2 0.3 0.4 0.5

σ

|δ|

r

rSGN

rMCD

rFQrMFQ




Применение в статистических методах

Предлагаемые робастные оценки масштаба и коэффициента

корреляции применены в задачах

оценивания ковариационных матриц,

оценивания автокорреляционной функции,

оценивания коэффициентов модели авторегрессии,

обнаружения аномалий и отбраковки данных

(Андрэа, Шевляков, Смирнов; 2013).

-30

0

30

0 100t

x(t)

-1

-0.5

0

0.5

1

0 5 10 15 20∆t

ρ

rFQ

r




Применение для обработки реальных данных

Использована:

обработка статистики работы серверов Hewlett-Packard,

обнаружение аномальных режимов работы нефтяной

скважины (Шевляков, Андрэа и др.; 2013)

Можно использовать:

анализ спектра кардиограмм с импульсными помехами,

совмещение медицинских изображений (УЗИ, МРТ),

распознавание лиц в фотоаппаратах и охранных

системах,

слежение за объектами в военных системах,

сжатие видеоизображений.

Большие объемы данных — требование высокой скорости




Библиотека функций

Опубликована в свободном

доступе библиотека этих

алгоритмов для среды

статистических вычислений и

обработки данных R Project

http://CRAN.r-project.org/

library(robcor)

FastQn <- function(x, center = median(x), scale = mad(x, center)) ...

robcor <- function(x, y = NULL, method = c("ssd", "quadrant", "mcd"),partial = FALSE, post = "psdcor", scaler = "s_FastQn",regress = "lmrob", skip.std = FALSE) ...

robacf <- function(x, lag.max = NULL, type = c("correlation", "covariance"),plot = TRUE, scaler = "s_FastQn", ...) ...

robar <- function(x, order = 2, scaler = "s_FastQn") ...



http://CRAN.r-project.org/


Заключение

Предложено семейство новых высокоэффективных и быстрых

робастных оценок параметра масштаба, исследованы их

свойства.

Предложены алгоритмы робастного оценивания коэффициента

корреляции в модели с независимыми компонентами,

основанные на использовании оценок параметра масштаба.

Доказана зависимость асимптотического смещения и

дисперсии оценки коэффициента корреляции от

асимптотической дисперсии оценки масштаба.

Предложено применение новых оценок в задачах многомерного

статистического анализа и теории временных рядов.

Разработан комплекс программ и библиотек функций,

реализующих предлагаемые оценки, а также предоставляющих

экспериментальную среду для проведения испытаний

Монте-Карло.




Спасибо за внимание!



Робастные методы и алгоритмы оценивания...

Science