直接解法による大規模疎行列に対する連立1次方程...

直接解法による大規模疎行列に

対する連立１次方程式ソルバー

—IB

MW

SM

Pの紹介

—

渡部善隆

wat

anab

e@cc

.kyu

shu

-u.a

c.jp

.

九州大学情報基盤センター

ＱＮＡセミナー

June

21,2

005

–p.

1/50

連立１次方程式

n×

n行列

A=

[aij

]とベクトル

b=

[b1,.

..,b

n]Tに対し

Ax

=b

をみたすベクトル

x=

[x1,.

..,x

n]Tを求める問題．

理学・工学・農学・社会科学・人文科学のあらゆる分野に

現れる．

実際の科学技術分野における数値計算の計算時間の大半

は連立１次方程式を解くことに費やされているといわれ

ている．


June

21,2

005

–p.

2/50

次数

方程式の次数（

n×

nの

“n”）は問題によって異なる．

2次元

Poi

sson方程式の数値解法の例題

....

....

....

....

...1

21

定常

Nav

ier-

Sto

kes方程式の精度保証

....

....

....

....

..11

,400

代数的マルチグリッド法による電磁界解析

....

....

....

.160

,464

Sto

kes方程式の有限要素近似解

....

....

....

....

....

.1,4

10,4

79

原子炉圧力モデルの弾性構造解析

....

....

....

....

..10

,328

,853

nが大きくなると，全要素をメモリに格納することは困難．

《例》

10,0

00,0

00×

10,0

00,0

00の行列を

IEE

E75

4倍精度実数

(8バイト

)で宣言

8×

10,0

00,0

00×

10,0

00,0

00≈

800,

000

GB

yte


June

21,2

005

–p.

3/50

疎行列

(spa

rse

mat

rix)

たとえば有限要素法・差分法で関数方程式（連続問題）を離

散化した場合，得られる

Aの多くは疎行列となる．

010

2030

4050

60

0 10 20 30 40 50 60

nz =

180

050

100

150

200

250

300

350

400

450

0 50 100

150

200

250

300

350

400

450

nz =

188

7


June

21,2

005

–p.

4/50

疎行列の格納形式

行列の非零要素（と限られた数の零要素）を記憶領域に格納

する方法．

A=

⎡ ⎢ ⎢ ⎢ ⎣00

05

02

00

10

00

00

40⎤ ⎥ ⎥ ⎥ ⎦

⇒S

=

(3,1

)1

(2,2

)2

(4,3

)4

(1,4

)5

圧縮行格納法

(com

pres

sed

row

stor

age)

圧縮列格納法

(com

pres

sed

colu

mn

stor

age)

圧縮対角格納法

(com

pres

sed

diag

onal

stor

age)

スカイライン格納法

(sky

line

stog

age)

etc.


June

21,2

005

–p.

5/50

連立１次方程式の数値解法の分類

直接法

Gau

ssの消去法，

Cho

lesl

y分解

,etc

.

反復法定常反復法

SO

R法，

Gau

ss-S

eide

l法,e

tc.

非定常反復法

CG法，

BiC

G法

,GM

RE

S法

,etc

.

直接法と反復法の組み合わせ

解の反復改良，不動点定理に基づく解の精度保証

,etc

. ＱＮＡセミナー

June

21,2

005

–p.

6/50

反復法

Ax

=b

真の解に収束していく近似解の列を逐次作成していく手法．

x0→

x1→

x2→

···→

x

定常反復法

一定（定常）の処理を繰り返すことによって近似解を作成

する方法．

xk

=x

k−1

+R

(b−

Ax

k−1

),k≥

1,R

:gi

ven

非定常反復法

各反復ごとに変化する情報を取り込みながら計算を進める．

多くは反復によって直交するベクトル列を作り出す．

xk∈

span

{r0,A

r0,A

2r

0,.

..,A

k−1

r0}

r0:

give

n


June

21,2

005

–p.

7/50

反復法の特徴

行列を分解する必要がないため，疎行列の構造を保つこ

とができる

.

基本の計算は「行列×ベクトル」と内積計算のため，収

束が速ければ計算量が非零要素数

×n

のオーダーになることが期待される．

収束を加速させるための前処理技法が数多く提案されて

いる．


June

21,2

005

–p.

8/50

反復法の問題点

行列の性質（固有値・特異値など）に大きく依存する．

初期値

x0によって収束特性が変わることがある．

右辺

bによって収束特性が変わることがある．

非定常反復法は丸め誤差の影響を受けやすい．

050

010

0015

0020

0025

0030

0035

0040

0045

0050

0010

−16

10−

14

10−

12

10−

10

10−

8

10−

6

10−

4

10−

2

100

itera

tion

num

ber

relative residual

1e-1

4

1e-1

2

1e-1

0

1e-0

8

1e-0

6

0.00

01

0.011

100

020

4060

8010

012

0

rela

tive

res

idua

l

主要な非対称行列に対する非定常反復法については「最適

な手法はない」という研究結果がある．

“How

fast

are

nons

ymm

etric

mat

rixite

ratio

ns?”

SIA

MJo

urna

lon

Mat

rixA

naly

sis

and

App

licat

ions

,Vol

.13,

1992

,778

-795

.


June

21,2

005

–p.

9/50

直接法

Ax

=b

ほとんどが行列の分解に基づく手法．

LU分解

: A=

LU,

L:下三角行列

,U

:上三角行列

.

Aが正則

⇔Aが適当な列変換により

LU分解可能．

行列に特異性がない限り（経験的に）安定に解ける．

一度行列を分解しておけば，異なる

bに対して（行列の分

解に比べて）高速に計算可能．

精度保証付き数値計算への応用が可能

（連立

1次方程式，固有値問題，特異値問題）


June

21,2

005

–p.

10/5

0

（通常の）直接法の問題点

1.L

U分解の計算量は

O(n

3)（

nは次数）．

⇒次数が大きくなると計算時間が膨大になる．

2.分解を行なうと行列の疎な構造が崩れる．

⇒より多くのメモリ空間が必要．

LU分解前

LU分解後

分解によるゼロ要素の損失を

fill-

inと呼ぶ．


June

21,2

005

–p.

11/5

0

疎行列に対する直接法の研究

fill-i

nの数を《出来るだけ》減らす手法．

⇒メモリ量と計算量の削減．

疎行列構造を生かした

LU分解手法．

LU分解後の行列構造をあらかじめ求め，不要な計算

を省く．

⇒計算量の削減．


June

21,2

005

–p.

12/5

0

Fill

redu

cing

orde

ring

010

2030

4050

60

0

10 20 30 40 50 60

nz = 240

010

2030

4050

60

0

10 20 30 40 50 60

nz = 1022

A=⇒

LU

P×

A×

Q,

P,Q

:pe

rmut

atio

nm

atrix ＱＮＡセミナー

June

21,2

005

–p.

13/5

0

Rev

erse

Cut

hill-

McK

eeor

deri

ng

010

2030

4050

60

0

10 20 30 40 50 60

nz = 240

010

2030

4050

60

0

10 20 30 40 50 60

nz = 240

010

2030

4050

60

0

10 20 30 40 50 60

nz = 978

A⇒

PA

Q⇒

LU


June

21,2

005

–p.

14/5

0

Min

imum

degr

eeor

derl

ing

010

2030

4050

60

0

10 20 30 40 50 60

nz = 240

010

2030

4050

60

0

10 20 30 40 50 60

nz = 240

010

2030

4050

60

0

10 20 30 40 50 60

nz = 636

A⇒

PA

Q⇒

LU


June

21,2

005

–p.

15/5

0

Ord

erin

gal

gori

thm

s

MD

min

imum

degr

ee(T

inne

yan

dW

alke

r,19

67)

MM

Dm

ultip

lem

inim

umde

gree

(Liu

,198

5)

AM

Dap

prox

imat

em

inim

umde

gree

(Am

esto

y,et

al.,

1996

)

ND

nest

eddi

ssec

tion

(Geo

rge,

1973

)M

ET

ISm

ultil

evel

nest

eddi

ssec

tion

rout

ine

(Kar

ypis

and

Kum

ar,1

998)

MS

mul

tisec

tion

(Ash

craf

tand

Liu

1998

)

MF

loca

lmin

imum

fill(

Tin

ney

and

Wal

ker

1967

)


June

21,2

005

–p.

16/5

0

Fac

tori

zati

onal

gori

thm

for

A=

AT

A=

[ BV

T

VC

] ,B

=L

BL

T B∈

Rj−

1×j

−1

=

[L

B0

VL−T B

I

][I

0

0C−

VB

−1V

T

][L

B0

VL−T B

I

] T .

VB

−1V

T=

(VL−T B

)(V

L−T B

)T

=

j−1 ∑ k

=1

⎡ ⎢ ⎣l j,k . . .

l n,k

⎤ ⎥ ⎦[l j,k

...l

n,k

].


June

21,2

005

–p.

17/5

0

Spar

sedi

rect

solv

ers

code

fillr

educ

ing

orde

ring

fact

oriz

atio

nal

gorit

hm

BC

SLI

B-E

XT

MM

D,M

ET

ISm

ultif

ront

alM

A57

MD

,AM

D,M

ET

ISm

ultif

ront

al

MU

MP

SM

D,A

MD

,ME

TIS

mul

tifro

ntal

Obl

ioM

MD

,ME

TIS

left/

right

-look

ing,

mul

tifro

ntal

PAR

DIS

OM

MD

,ME

TIS

left/

right

-look

ing

SP

OO

LES

MM

D,N

D,M

Sle

ft-lo

okin

gS

PR

SB

LKLL

TM

MD

left-

look

ing

Sup

erLU

MM

Dle

ft-lo

okin

g

Sup

erM

atrix

Sol

ver-

MF

ND

mul

tifro

ntal

TAU

CS

MD

,AM

D,M

MD

,ME

TIS

left-

look

ing,

mul

tifro

ntal

UM

FPA

CK

AM

Dun

sym

met

ricm

ultif

ront

al

WS

MP

ND

,MF

mul

tifro

ntalＱＮＡセミナー

June

21,2

005

–p.

18/5

0

appl

icat

ions

Mat

hem

atic

aLinearSolveは

UM

FPA

CKを利用

Soi

lPlu

s地盤・耐震統合

FE

M解析システム

AP

SY

S半導体デバイス解析ソフト

FU

JIT

SU

FE

M5

有限要素法による構造解析プログラム

MS

C.S

uper

For

m成形加工専用プログラム

Mr.S

OIL

3D2次元

/3次元地盤

FE

M解析システム


June

21,2

005

–p.

19/5

0

WSM

Pの概要

Wat

son

Spa

rse

Mat

rixP

acka

ge

作者

:A

nshu

lGup

taan

dM

.Jos

hi(I

BM

T.J.

Wat

son

Res

earc

hC

ente

r)

逐次版は無料

(AIX

,Lin

ux,S

unO

S,T

ru64

,HP

-UX

)．

ソースコード非公開．

実対称正定値，実対称不定値，実一般，複素

Her

mite，複

素対称，複素数一般

For

tran

,Cから利用可能

倍精度

圧縮格納形式

:C

SR

,CS

C,C

SR

-UT,

CS

C-L

T,M

SR

,M

SC

,

スレッド並列版，

MP

I並列版，内部でチューニングされ

たLe

vel3

BLA

Sを使用．


June

21,2

005

–p.

20/5

0

数値計算環境

計算機名

IBM

eSer

ver

p5モデル

595

プロセッサ

PO

WE

R5

1.90

GH

z(Tu

rbo)

64w

ay主記憶容量

256G

BL2キャッシュ

1.9M

B/2

way

L3キャッシュ

36M

B/2

way

OS

AIX

5LV

5.3

コンパイラ

IBM

XL

For

tran

Ent

erpr

ise

Edi

tion

V9.

1

16w

ayで並列実行，最大使用可能メモリ

48G

B，

IEE

E75

4倍精度（

64ビット）実数．


June

21,2

005

–p.

21/5

0

利用方法

!real

symmetric

WSSMP(N,IA,JA,AVALS,DIAG,PERM,INVP,B,LDB,NRHS,

AUX,NAUX,MRP,IPARM,DPARM)

!complex

Hermite/symmetric

ZSSMP(N,IA,JA,AVALS,DIAG,PERM,INVP,B,LDB,NRHS,

AUX,NAUX,MRP,IPARM,DPARM)

!real

general

WGSMP(N,IA,JA,AVALS,B,LDB,NRHS,RMISC,

IPARM,DPARM)

!complex

general

ZGSMP(N,IA,JA,AVALS,B,LDB,NRHS,RMISC,

IPARM,DPARM)


June

21,2

005

–p.

22/5

0

Pha

ses

inW

SMP

0.In

itia

lizin

g(p

aram

eter

chec

k,al

loca

tion,

etc.

)

1.O

rder

ing

(Per

mut

ero

ws

and

colu

mns

ofA

)

2.S

ymb

olic

Fact

ori

zati

on

(Com

pute

elim

inat

ion

grap

han

dst

ruct

ure

ofL

,U,

whe

reA

=L

U)

3.N

um

eric

alFa

cto

riza

tio

n(C

ompu

teA

=L

U,o

rA

=L

LT

,orA

=L

DL

T)

4.F

orw

ard

and

Bac

kwar

dTr

ian

gle

So

lves

(Sol

vetr

iang

ular

syst

ems

Ly

=b

and

Ux

=y

)

5.It

erat

ive

Refi

nem

ent

(Com

pute

r:=

b−

Ax

nan

dx

n+

1:=

xn

+(L

U)−

1r)


June

21,2

005

–p.

23/5

0

Typ

ical

Com

plex

itie

sin

WSM

P

1.O

rder

ing

O(n

)–

O(n

log(n

))

2.S

ymb

olic

Fact

ori

zati

on

O(N

NZ(A

))–

O(N

NZ(L

+U

))

3.N

um

eric

alFa

cto

riza

tio

nO

(n3/2)

–O

(n2)

4.F

orw

ard

and

Bac

kwar

dTr

ian

gle

So

lves

O(N

NZ(L

+U

))=

O(n

log(n

))–

O(n

4/3)

5.It

erat

ive

Refi

nem

ent

O(n

log(

n))

–O

(n4/3)


June

21,2

005

–p.

24/5

0

各ステップの実測比（対称行列）

行列名

並列度

step

0st

ep1

step

2st

ep3

step

4st

ep5

FIN

AN

512

13.

1374

.38

3.87

13.4

62.

622.

532

0.28

72.4

08.

9412

.99

2.75

2.62

30.

3963

.19

12.0

119

.92

2.13

2.33

40.

4263

.00

12.0

320

.05

2.10

2.38

TU

ER

10.

0161

.98

3.53

30.1

62.

052.

272

0.01

59.9

37.

2328

.67

1.91

2.25

30.

0162

.04

10.7

823

.62

1.52

2.02

40.

0162

.03

10.7

523

.67

1.52

2.02

BO

DY

Y4

10.

7974

.35

5.33

13.8

92.

742.

822

1.48

64.9

810

.81

15.9

23.

563.

133

1.99

57.2

513

.21

22.1

82.

582.

654

2.05

56.5

513

.10

22.6

82.

602.

88

単位

:%


June

21,2

005

–p.

25/5

0

使用メモリ量

行列名

次元数

非零要素数

Aに必要な量実使用量

daw

son5

.rsa

5153

753

1157

4MB

73M

BH

ER

M2D

03.r

sa39

2257

1567

096

11M

B32

0MB

cfd2

.RS

A12

3440

1605

669

12M

B45

0MB

M_T

1.rs

a97

578

4925

574

37M

B53

0MB

bmw

cra_

1.rs

a14

8770

5396

386

41M

B93

0MB

inlin

e_1.

rsa

5037

1218

6600

2714

2MB

2,50

0MB

ldoo

r.rsa

9522

0323

7373

3918

1MB

2,50

0MB

Com

paq

DS

20A

lpha

serv

er(E

V6)

,WS

MP

Ver

sion

1.9.

8N

.I.M

.Gou

ld,Y

.Hu

and

J.A

.Sco

tt.:

“Com

plet

ere

sults

from

anu

mer

ical

eval

uatio

nof

spar

sedi

rect

solv

ers

for

the

solu

tion

ofla

rge,

spar

se,s

ymm

etric

linea

rsy

stem

sof

equa

tions

”N

umer

ical

Ana

lyis

Gro

upIn

tern

alR

epor

ts,2

005.


June

21,2

005

–p.

26/5

0

並列化効果（実数・正定値対称）

020406080100

12

34

56

78

910

1112

1314

1516

real, symmetric (N=952203, NZ=23737339)

elapsed time (sec.)

THREADS


June

21,2

005

–p.

27/5

0

並列化効果（実数・非対称）

020406080100

12

34

56

78

910

1112

1314

1516

real, unsymmetric (N=259156, NZ=4429042)

elapsed time (sec.)

THREADS


June

21,2

005

–p.

28/5

0

並列化効果（複素数・対称）

0246810

12

34

56

78

910

1112

1314

1516

complex, symmetric (N=24255, NZ=727884)

elapsed time (sec.)

THREADS


June

21,2

005

–p.

29/5

0

Test

Mat

rice

s

Mat

rixM

arke

thttp://math.nist.gov/MatrixMarket/

Uni

vers

ityof

Flo

rida

Spa

rse

Mat

rixC

olle

ctio

nhttp://www.cise.ufl.edu/research/sparse/matrices/

Num

eric

alA

naly

sis

Gro

upof

CC

LRC

ftp://ftp.numerical.rl.ac.uk/pub/matrices/symmetrix/


June

21,2

005

–p.

30/5

0

性能比較・正定値対称行列


June

21,2

005

–p.

31/5

0

テスト行列

名称

次元数

非零要素数

分野

body

y6.R

SA

1936

677

057

NA

SA

mat

rixbc

sstk

36.R

SA

2305

258

3096

auto

mob

ilesh

ock

abso

rber

msc

2305

2.R

SA

2305

258

8933

MS

C.N

AS

TR

AN

TH

RE

AD

.rsa

2973

622

4989

2T

hrea

ded

conn

ecto

rG

RID

GE

NA

.rsa

4896

232

9485

Grid

gene

ratio

nop

timiz

atio

nna

sasr

b.R

SA

5487

013

6609

7S

huttl

ero

cket

boos

ter

cran

kseg

_2.r

sa63

838

7106

348

Line

arst

atic

anal

ysis

OIL

PAN

.rsa

7375

218

3547

0C

arol

ipan

finan

512.

RS

A74

752

3358

72P

ortfo

lioop

timiz

atio

ns3

dkq4

m2.

rsa

9044

924

5567

0C

ylin

dric

alS

hell

M_T

1.rs

a97

578

4925

574

Tubu

lar

join

tX

104.

rsa

1083

8451

3800

4B

eam

join

tcf

d2.R

SA

1234

4016

0566

9C

FD

pres

sure

mat

rixbm

wcr

a_1.

rsa

1487

7053

9638

6A

utom

otiv

ecr

anks

haft

mod

elS

HIP

SE

C5.

rsa

1798

6051

4647

8S

hip

sect

ion

hood

.rsa

2205

4254

9448

9C

arho

odpw

tk.R

SA

2179

1859

2617

1pr

essu

rized

win

dtu

nnel

inlin

e_1.

rsa

5037

1218

6600

27In

line

skat

erau

dikw

_1.r

sa94

3695

3929

7771

Aut

omot

ive

cran

ksha

ftm

odel

ldoo

r.rsa

9522

0323

7373

39La

rge

door


June

21,2

005

–p.

32/5

0

解法と測定条件

WS

MP

5.3.

15

IBM

ES

SL

V4.

2D

SR

IS−1

0

不完全

Cho

lesk

y分解付き

CG法，疎行列用反復法

x0

=0，反復停止基準

:‖b

−A

xn‖ 2

/‖x

n‖ 2

<10

−10.

DS

RIS

−6不完全

Cho

lesk

y分解付き

CG法，疎行列用反復法

x0


:‖b

−A

xn‖ 2

/‖x

n‖ 2

<10

−6.

DG

ES

V部分ピボット選択付き

LU分解，一般行列用直接法．

疎行列データは圧縮列格納．

真の解が

x=

1となるように

Aの各行和を右辺

bに設定．加算により

発生する丸め誤差は無視．精度を最大値ノルムで計算．

サブルーチンの前後に時間計測関数を挿入し，経過時間を測定．


June

21,2

005

–p.

33/5

0

正定値対称行列（速度・秒）

名称

次元数

非零要素数

WS

MP

DS

RIS

−10

DS

RIS

−6D

GE

SV

body

y6.R

SA

1936

677

057

0.15

90.

205

0.13

063

.162

bcss

tk36

.RS

A23

052

5830

960.

510

—66

.587

97.8

16m

sc23

052.

RS

A23

052

5889

330.

514

—89

.271

97.3

29T

HR

EA

D.r

sa29

736

2249

892

3.11

3—

—20

4.20

2G

RID

GE

NA

.rsa

4896

232

9485

——

—95

1.61

6na

sasr

b.R

SA

5487

013

6609

71.

201

109.

2042

.414

1370

.299

cran

kseg

_2.r

sa63

838

7106

348

6.21

543

.241

31.1

8520

64.2

27O

ILPA

N.r

sa73

752

1835

470

1.39

880

.049

47.5

6030

44.8

69fin

an51

2.R

SA

7475

233

5872

0.67

50.

164

0.12

934

56.8

23s3

dkq4

m2.

rsa

9044

924

5567

02.

005

172.

9014

7.08

—M

_T1.

rsa

9757

849

2557

44.

061

4997

.919

56.1

—X

104.

rsa

1083

8451

3800

45.

039

9495

.724

43.5

—cf

d2.R

SA

1234

4016

0566

92.

817

22.7

6714

.233

—bm

wcr

a_1.

rsa

1487

7053

9638

65.

892

202.

6117

4.55

—S

HIP

SE

C5.

rsa

1798

6051

4647

85.

366

140.

1889

.481

—ho

od.r

sa22

0542

5494

489

4.24

360

.943

31.6

76—

pwtk

.RS

A21

7918

5926

171

4.91

724

96.6

582.

79—

inlin

e_1.

rsa

5037

1218

6600

2718

.556

4365

.513

16.5

—au

dikw

_1.r

sa94

3695

3929

7771

116.

5926

58.5

1980

.4—

ldoo

r.rsa

9522

0323

7373

3922

.438

625.

8337

0.67

—ＱＮＡセミナー

June

21,2

005

–p.

34/5

0

正定値対称行列（精度）

名称

次元数

非零要素数

WS

MP

DS

RIS

−10

DS

RIS

−6D

GE

SV

body

y6.R

SA

1936

677

057

0.97

5E-1

20.

66E

-08

0.16

E-0

30.

182E

-11

bcss

tk36

.RS

A23

052

5830

960.

124E

-06

—0.

47E

+00

0.84

8E-0

3m

sc23

052.

RS

A23

052

5889

330.

508E

-07

—0.

54E

+00

0.23

9E-0

3T

HR

EA

D.r

sa29

736

2249

892

0.22

7E-0

7—

—0.

595E

-07

GR

IDG

EN

A.r

sa48

962

3294

85—

——

0.40

6E-1

1na

sasr

b.R

SA

5487

013

6609

70.

624E

-09

0.60

E-0

60.

26E

-01

0.17

5E-0

8cr

anks

eg_2

.rsa

6383

871

0634

80.

312E

-11

0.12

E-0

70.

20E

-03

0.67

5E-1

0O

ILPA

N.r

sa73

752

1835

470

0.55

0E-0

90.

10E

-06

0.11

E+

000.

199E

-08

finan

512.

RS

A74

752

3358

720.

133E

-14

0.71

E-0

90.

32E

-04

0.87

7E-1

4s3

dkq4

m2.

rsa

9044

924

5567

00.

301E

-06

0.45

E-0

60.

25E

-03

—M

_T1.

rsa

9757

849

2557

40.

188E

-06

0.13

E-0

40.

81E

-01

—X

104.

rsa

1083

8451

3800

40.

270E

-05

0.52

E-0

50.

17E

+00

—cf

d2.R

SA

1234

4016

0566

90.

136E

-11

0.30

E-0

60.

35E

-02

—bm

wcr

a_1.

rsa

1487

7053

9638

60.

702E

-10

0.34

E-0

60.

33E

+00

—S

HIP

SE

C5.

rsa

1798

6051

4647

80.

178E

-08

0.47

E-0

60.

15E

-02

—pw

tk.R

SA

2179

1859

2617

10.

100E

-06

0.71

E-0

30.

26E

+01

—ho

od.r

sa22

0542

5494

489

0.13

6E-1

00.

28E

-06

0.76

E-0

2—

inlin

e_1.

rsa

5037

1218

6600

270.

243E

-09

0.37

E-0

60.

13E

+01

—au

dikw

_1.r

sa94

3695

3929

7771

0.20

5E-1

00.

18E

-06

0.15

E-0

1—

ldoo

r.rsa

9522

0323

7373

390.

195E

-10

0.45

E-0

50.

97E

-02

—


June

21,2

005

–p.

35/5

0

性能比較・不定値対称行列


June

21,2

005

–p.

36/5

0

テスト行列

名称

次元数

非零要素数

分野

SP

MS

RT

LS.r

sa29

995

1299

71S

pars

em

atrix

squa

rero

otH

ELM

3D01

.rsa

3222

623

0335

Hel

mho

ltzpr

oble

mbc

sstk

39.R

SA

4677

210

6803

3sh

uttle

rock

etbo

oste

rS

PAR

SIN

E.r

sa50

000

7994

94S

truc

tura

lopt

imiz

atio

nco

pter

2.rs

a55

476

4077

14H

elic

opte

rro

tabl

ade

DIX

MA

AN

L.rs

a60

000

1799

99D

ixon

-Maa

nyop

timiz

atio

nc-

71.R

SA

7663

846

8096

Opt

imiz

atio

nm

odel

A0N

SD

SIL

.rsa

8001

620

0021

Line

arC

ompl

emen

tarit

ypr

oble

mc-

72.R

SA

8406

439

5811

Opt

imiz

atio

nm

odel

bmw

3_2.

rsa

2273

6257

5799

6Li

near

stat

ican

alys

isH

ELM

2D03

.rsa

3922

5715

6709

6H

elm

holtz

prob

lem


June

21,2

005

–p.

37/5

0


WS

MP

5.3.

15

IBM

ES

SL

V4.

2D

SR

IS対角スケーリング付き

TF

QM

R法，疎行列用反復法

x0


:‖b

−A

xn‖ 2

/‖x

n‖ 2

<10

−10.

DG

ES


LU分解，一般行列用直接法

疎行列データは圧縮列格納．

真の解が

x=

1となるように

Aの各列和を右辺

bに設定．加算により

発生する丸め誤差は無視．精度を最大値ノルムで計算．



June

21,2

005

–p.

38/5

0

不定値対称行列（速度・秒）

名称

次元数

非零要素数

WS

MP

DS

RIS

DG

ES

V

SP

MS

RT

LS.r

sa29

995

1299

710.

211

—23

3.29

7H

ELM

3D01

.rsa

3222

623

0335

0.68

3—

285.

757

bcss

tk39

.RS

A46

772

1068

033

0.87

2—

891.

506

SPA

RS

INE

.rsa

5000

079

9494

——

1003

.262

copt

er2.

rsa

5547

640

7714

0.92

6—

1501

.076

DIX

MA

AN

L.rs

a60

000

1799

99—

0.04

617

60.5

08c-

71.R

SA

7663

846

8096

4.83

94.

085

3924

.913

A0N

SD

SIL

.rsa

8001

620

0021

——

4183

.087

c-72

.RS

A84

064

3958

117.

870

7.51

0—

bmw

3_2.

rsa

2273

6257

5799

65.

375

——

HE

LM2D

03.r

sa39

2257

1567

096

3.67

0—

— ＱＮＡセミナー

June

21,2

005

–p.

39/5

0

不定値対称行列（精度）

名称

次元数

非零要素数

WS

MP

DS

RIS

DG

ES

V

SP

MS

RT

LS.r

sa29

995

1299

710.

103E

-11

—0.

104E

-11

HE

LM3D

01.r

sa32

226

2303

350.

193E

-11

—0.

255E

-10

bcss

tk39

.RS

A46

772

1068

033

0.23

8E-1

0—

0.27

3E-0

9S

PAR

SIN

E.r

sa50

000

7994

94—

—0.

124E

-07

copt

er2.

rsa

5547

640

7714

0.25

4E-1

2—

0.12

1E-0

9D

IXM

AA

NL.

rsa

6000

017

9999

—0.

13E

-07

0.12

8E-1

0c-

71.R

SA

7663

846

8096

0.14

3E-1

10.

25E

-05

0.11

9E-0

9A

0NS

DS

IL.r

sa80

016

2000

21—

—0.

194E

-09

c-72

.RS

A84

064

3958

110.

159E

-11

0.28

E-0

5—

bmw

3_2.

rsa

2273

6257

5799

60.

440E

-06

——

HE

LM2D

03.r

sa39

2257

1567

096

0.28

5E-1

2—

—


June

21,2

005

–p.

40/5

0

性能比較・非対称行列Ｑ

ＮＡセミナー

June

21,2

005

–p.

41/5

0

テスト行列

名称

次元数

非零要素数

分野

wes

t202

120

2173

53C

hem

ical

engi

neer

ing

fidap

011

1661

410

9694

8F

luid

dyna

mic

se4

0r01

0017

281

5535

62F

luid

dyna

mic

sm

empl

us17

758

1261

50E

lect

roni

cci

rcui

tdes

ign

raef

sky3

2120

014

8876

8F

luid

dyna

mic

saf

2356

023

560

4842

56F

luid

dyna

mic

sw

ang3

2606

417

7168

Flu

iddy

nam

ics

lhr3

4c35

152

7640

14C

hem

ical

engi

neer

ing

onet

one1

3605

734

1088

Non

linea

rci

rcui

tson

eton

e236

057

2276

28N

onlin

ear

circ

uits

bbm

at38

744

1771

722

Flu

iddy

nam

ics

av41

092

4109

216

8390

2F

inite

Ele

men

tAna

lysi

sba

yer0

157

735

2777

74C

hem

istr

yve

nkat

5062

424

1717

792

Flu

iddy

nam

ics

epb3

8461

746

3625

The

rmod

ynam

ics

twot

one

1207

5012

2422

4N

onlin

ear

circ

uits

tors

o325

9156

4429

042

Flu

iddy

nam

ics

lang

uag

3991

3012

1633

4N

atur

al-la

ngua

gepr

oces

sing

pre2

6590

3359

5928

2N

onlin

ear

circ

uits

ham

rle3

1447

360

5514

242

Ele

ctro

nic

circ

uitd

esig

n ＱＮＡセミナー

June

21,2

005

–p.

42/5

0


WS

MP

5.3.

15

IBM

ES

SL

V4.

2D

GS

F(S

)修正

Mar

kow

itz法による

LU分解，疎行列用直接法

DS

RIS

不完全

LU分解付き

BiC

GS

tab法，疎行列用反復法，

x0


:‖b

−A

xn‖ 2

/‖x

n‖ 2

<10

−10.

DG

ES


LU分解，一般行列用直接法．

疎行列データは圧縮列格納，

ATx

=bを解く．

真の解が

x=

1となるように

ATの各行の列和を右辺

bに設定．加算

により発生する丸め誤差は無視．精度を最大値ノルムで計算．



June

21,2

005

–p.

43/5

0

非対称行列（速度・秒）

名称

次元数

非零要素数

WS

MP

DG

SF

(S)

DS

RIS

DG

ES

V

wes

t202

120

2173

530.

030.

003

—0.

12fid

ap01

116

614

1096

948

1.36

625.

88—

37.7

1e4

0r01

0017

281

5535

620.

5751

.55

—39

.30

mem

plus

1775

812

6150

0.38

0.05

1.25

44.7

5ra

efsk

y321

200

1488

768

1.38

69.3

35.

3870

.34

af23

560

2356

048

4256

1.20

3044

—10

2.27

wan

g326

064

1771

681.

4160

3.93

0.31

129.

75lh

r34c

3515

276

4014

1.51

17.3

2—

317.

53on

eton

e136

057

3410

881.

862.

88—

381.

07on

eton

e236

057

2276

280.

940.

78—

386.

70bb

mat

3874

417

7172

24.

62—

—44

1.22

av41

092

4109

216

8390

214

.09

10.4

8—

561.

83ba

yer0

157

735

2777

741.

150.

18—

1583

.33

venk

at50

6242

417

1779

21.

7027

0.69

8.56

1859

.18

epb3

8461

746

3625

1.79

20.7

01.

68—

twot

one

1207

5012

2422

44.

4212

.84

——

tors

o325

9156

4429

042

37.0

734

4.66

4.09

—la

ngua

g39

9130

1216

334

—0.

680.

77—

pre2

6590

3359

5928

234

.47

——

—ha

mrle

314

4736

055

1424

213

13—

——


June

21,2

005

–p.

44/5

0

非対称行列（精度）

名称

次元数

非零要素数

WS

MP

DG

SF

(S)

DS

RIS

DG

ES

V

wes

t202

120

2173

530.

206E

-08

0.26

5E-0

7—

0.44

8E-0

7fid

ap01

116

614

1096

948

0.19

2E-0

50.

279E

-01

—0.

571E

-04

e40r

0100

1728

155

3562

0.47

8E-1

10.

895E

-06

—0.

338E

-08

mem

plus

1775

812

6150

0.23

3E-1

10.

103E

-07

0.77

1E-0

50.

207E

-10

raef

sky3

2120

014

8876

80.

249E

-12

0.28

6E-0

00.

542E

-08

0.31

6E-0

8af

2356

023

560

4842

560.

712E

-13

0.16

1E-0

4—

0.11

9E-1

2w

ang3

2606

417

7168

0.44

8E-1

30.

416E

-05

0.90

5E-0

80.

253E

-12

lhr3

4c35

152

7640

140.

176E

-01

0.28

9E+

03—

0.10

5E+

01on

eton

e136

057

3410

880.

314E

-10

0.74

9E-0

9—

0.75

1E-0

9on

eton

e236

057

2276

280.

991E

-11

0.98

0E-1

0—

0.13

7E-0

9bb

mat

3874

417

7172

20.

100E

-10

——

0.37

9E-0

8av

4109

241

092

1683

902

0.84

0E-1

30.

717E

-07

—0.

864E

-12

baye

r01

5773

527

7774

0.79

0E-0

60.

211E

+03

—0.

757E

-06

venk

at50

6242

417

1779

20.

321E

-12

0.62

4E-0

50.

248E

-07

0.20

4E-1

1ep

b384

617

4636

250.

281E

-13

0.64

0E-0

80.

381E

-07

—tw

oton

e12

0750

1224

224

0.93

2E-1

00.

414E

-08

——

tors

o325

9156

4429

042

0.44

4E-1

40.

561E

-06

0.24

0E-0

7—

lang

uag

3991

3012

1633

4—

0.59

6E-1

10.

179E

-07

—pr

e265

9033

5959

282

0.22

4E-0

4—

——

ham

rle3

1447

360

5514

242

0.20

6E-0

0—

——


June

21,2

005

–p.

45/5

0

知見

「ほぼ頑強

(nea

rlyro

bust

)」

ES

SLの（ピーク性能比

70%を達成する）直接解法と比

較して，速度・精度の面で勝る．

Ord

erin

gによる

fill-i

nの抑止

疎行列構造を生かした行列分解アルゴリズム

他の手法と比較して，精度の面で勝る．

直接法の性質と計算量削減によって丸め誤差の影響が

少ないため？

行列の構造が同じだったり，多くの右辺を持つ場合には

特に有効．

比較の解法としても利用価値大（速度比較，解き難さの

確認

,etc

.）．


June

21,2

005

–p.

46/5

0

WSM

Pの問題点

「頑強

(rob

ust)」とはまだ言えない

行列のサイズが大きくなると

4バイト整数の表現可能な値

（-2

1474

8364

8～21

4748

3647）を超え内部エラーとなる．

8バイト版の提供待ち．

4並列以上の並列化性能が芳しくない．

対称行列はピボット選択を行なわない．

対角成分に

0がある行列に対しては利用者が事前に置

換を行なう必要がある．

分解された行列の格納方法が不明．

マニュアルが読みにくい．


June

21,2

005

–p.

47/5

0

問題募集！

100万次元以上歓迎

圧縮行格納法

(com

pres

sed

row

stor

age)

圧縮列格納法

(com

pres

sed

colu

mn

stor

age)

wat

anab

e@cc

.kyu

shu-

u.ac

.jpまでお気軽に．


June

21,2

005

–p.

48/5

0

誤差評価１

定理

:A

x=

bの近似解

x̃と

Aの逆行列

Rが求められたと

き，‖R

A−

I‖ ∞

<1ならば

Aは正則であり，

‖x−

x̃‖ ∞

≤‖R

(b−

Ax̃

)‖∞

1−

‖RA−

I‖ ∞

.

ただし

‖·‖ ∞は最大値ノルム．

R=

(LU

)−1


June

21,2

005

–p.

49/5

0

誤差評価２

特異値分解

:

A=

UΣ

VT

UU

T=

VV

T=

I,

Σ=

diag

(σ1,.

..,σ

n),

U=

(u1,.

..,u

n)

‖x−

x̃‖2 2

=n ∑ i=1

1 σ2 i

(ui,

b−

Ax̃

)2

⇒‖x

−x̃‖ 2

≤1

σm

in

‖b−

Ax̃‖ 2

Aの（特に最小）特異値を計算する必要がある．通常，特異値

計算は

Ax

=bを解く以上の手間が必要．


June

21,2

005

–p.

50/5

0

直接解法による大規模疎行列に 対する連立1次方程...

Documents

直接解法による大規模疎行列に対する連立1次方程...