Information and Coding Theory, 2017 by Toyoaki Nishida

情報符号理論—まとめ

Copyright © 2017 Toyoaki Nishida All Rights Reserved.

本科目の構成

雑音源noise source

情報源符号器source encoder

通信路符号器channel encoder

通信路channel

情報源復号器source decoder

通信路復号器channel decoder

情報源符号（例：文字）

通信路符号（例：FAX, デジタル符号）

情報源information source

受信者destination

通報（例：アイデア）

①（離散系）情報源符号化とその限界—瞬時復号可能性を保ったまま，平均符号長をどれだけ短くできるか？

②（離散系）通信路符号化とその限界—通信路の品質から定まる通信速度の範囲内なら，復号誤りを任意に小さくできる

③離散系の誤り訂正／検出符号構成法

講義骨子

1. 情報理論の枠組み情報理論の基礎となる情報量の概念を中心に，情報理論の枠組みを紹介する．

2. 情報源符号化とその限界情報源符号化法，情報源符号化定理，情報源のエントロピーについて述べる．

3. 通信路符号化とその限界情報量の概念を導入し，相互情報量，通信路容量，通信路符号化，通信路符号化定理について述べる．

4. 通信路符号化法誤り検出・訂正が可能な符号の構成法について，パリティ検査符号，ハミング符号，巡回符号，BCH符号などを中心に述べる

5. アナログ情報源の扱いフーリエ級数，フーリエ変換など，アナログ情報の扱いについて基本的事項を述べる．

情報源符号化とその限界

Shannon-Fanoモデル

情報源のモデル化

情報源符号化

平均符号長

情報源符号の持つべき性質—一意復号可能性，瞬時性

瞬時性の判定—接頭条件

瞬時符号構成可能性—クラフトの不等式

一意復号可能な符号の構成可能性—マクミランの不等式

クラフトの不等式

Mlll ,,, 21

121 Mlll

qqq

長さ のM個の符号語 をもつq元瞬時符号を構成できる．Mccc ,,, 21

⇔

瞬時性の判定

符号の木：符号化で使われる符号語の集合を構造的に表現したもの

C1={00,010,011,10,110,111}

1

1

1

0

0

0

00

010

10

110

1 011

0

1

1

1

0 1

010

111

01

0 0

C2={0,01,010,10,111}

0

1 111

0 10

コンパクト符号

コンパクト符号：平均符号長の最も短い瞬時符号

ハフマン符号：コンパクト符号構成法

どうしてハフマン符号がコンパクト符号になるのか？

補助定理１：瞬時符号がコンパクト符号であるための必要条件

補助定理２：コンパクトな瞬時符号の十分条件

コンパクト符号は唯一とは限らない

ハフマン符号で構成されないコンパクト符号

3元符号の場合

シャノン-ファノ符号

ハフマン符号化

例：情報源記号発生確率を〈A: 0.6, B : 0.2, C: 0.1, D: 0.07 , E: 0.03〉とすれば，ハフマン符号化は次のように行われる．

A(0.6)0

B(0.2)

C(0.1)

D(0.07)

0

0

1

1

(0.2)

(0.4)

(1.0)

0

10

110

1110

1

E(0.03)

0

1

(0.1)

1111

平均符号長の限界と情報源符号化定理

情報源の1次エントロピー

補助定理3

情報源記号ごとに瞬時符号を構成した場合の平均符号長の下限

拡大情報源とその1次エントロピー

ブロック符号化：情報源から発生する記号をまとめて符号化する方法．

ブロック符号化をすることによって，平均符号長を情報源エントロピーに近づけることができる．

情報源符号化定理

)(loglog1

12

1

2 SHppqpM

i

ii

M

i

ii

)()( SHLSH

M

i

ii ppSH1

21 log)(

)()( 11 SnHSH n （Sが無記憶の場合）

基本的な情報源符号化法

Sのn次のハフマンブロック符号化：Sのn次拡大情報源のハフマン符号化でSの１情報源記号あたり平均符号長をH1(S)に限りなく近づけられる．

非等長情報源系列の符号化では，情報源記号の有限列のなかで出現頻度が高い順にm個を選んでブロック符号化する．→ mをハフマンブロック符号化のときほど大きくしなくてもSの１情報源記号あたり平均符号長を小さくできる．

ランレングス符号化，ランレングスハフマン符号化では，出現頻度の高い情報源記号の連続した生起（run length）に注目してブロック符号化をする．

情報源系列の累積確率に注目した算術符号は，符号化が簡単である．

記憶のある情報源

記憶を持つ情報源とは？

条件付確率を使ったモデル化

マルコフ情報源モデル

エルゴード性

状態の分類，マルコフ情報源モデルの分類

マルコフ情報源の遷移確率行列表現

正規マルコフ情報源モデルの漸近的性質

正規マルコフ情報源の定常分布の計算法

一般マルコフ情報源のエントロピー計算法

マルコフ情報源のn 次エントロピー

マルコフ情報源

S10

S0

S1

S9

非周期的

周期的

S2

S4

S6

S8S5

S7

S11

S3

S12

S14

S13

過渡的

相互情報量と通信路モデル

情報量：メッセージが不確かさ（エントロピー）を減らす度合いを定量化

不確かなメッセージからでも情報は得られる→相互情報量として定量化

相互情報量の性質

通信路の働きは相互情報量で説明される．

通信路自体は条件付確率を使ってモデル化する→通信路行列

基本的な通信路として2元対称通信路と2元対称消失通信路がある．

通信路の（理論的）性能は通信路容量で表す．

),()()(

)|()(

)|()();(

YXHYHXH

XYHYH

YXHXHYXI

)}(),(min{);(0 YHXHYXI

通信路容量

通信路容量は入力の確率分布を変化させたときの相互情報量の最大値であり，通信路に固有の値である．

一様性があるときや構造的な特徴があるときは，通信路容量は簡単に計算できる．

一般的には，最適化問題の一種として扱われ，ラグランジュの未定乗数法などで解けることもある．

記憶のない2元定常通信路一般の通信路容量は幾何学的に理解することができる．

);(max YXICp

最尤復号法と通信路符号化定理

誤り検出や訂正能力を高めるためには復号領域を大きくする．

限界距離復号法では各符号語のまわりに半径t1の小球を作りt1以下の誤り訂正を行えるようにする．

符号語wiを伝送したきの受信語yがwiの復号領域に入る確率が最大になるよう復号領域を定めたのが最尤復号法．

通信路符号化定理によれば，情報伝送速度Rが通信路容量未満であれば，復号誤り率を任意に下げることができる．

通信路符号化定理は，代表的系列とランダム符号化の手法を使って証明する．

別証明もある．

最尤復号法

w2

w1

wi

w2

Ω2

w1

Ω1

wi

Ωi

通信路入力 通信路出力

限界距離復号法

符号Cの最小ハミング距離：

受信空間において，各符号語を中心として半径t1の球を作る．

これらの球を復号領域とすれば，この符号により，t1個以下の誤りを訂正でき， t1 +t2個以下の誤りを検出できる．

),(min,,

min vudd HCvuvu

1 2

3

3w

2w1w

1t 1t

1t

12 1min td

12 t

12 1min td であれば，これら

の球は重複することはない．

通信路符号化定理

与えられた通信路の通信路容量を とする． であれば，任意の正数 に対し，復号誤り率 が を満たす情報速度の符号が存在する．しかし， であれば，そのような符号は存在しない．

C CR

eP eP

CR

通信路（通信路容量C）

X Y

情報源S0

通信路容量を達成する情報源 )|()()|()(max YXHXHYXHXHC p

代表的系列とランダム符号化の手法を使って証明する

通信路符号化の枠組み

n

k個の情報ビット n－k個の検査ビット

ビット

通信路

シンドローム計算

x c y

e

s

w

受信語

シンドローム

符号語

誤り

誤り訂正

誤り検出／訂正

(n, k)符号

通信路符号化—基本概念

誤り検出や訂正を行うためにはシンドロームを用いる．

単一パリティ検査は最も単純な誤り検出符号．

水平垂直パリティ検査符号を用いると，１誤りが訂正できる．

ハミング符号は水平垂直パリティ検査符号より効率のよい単一誤り訂正符号である．

生成行列と検査行列による符号化とシンドローム計算

通信路符号化—巡回符号

巡回符号では，符号のブール多項式表現を使って見通し良く符号化と復号を行う．

多項式の周期，生成多項式，規約多項式．

巡回符号の符号化．

巡回符号は符号を巡回シフトしても符号である．

巡回符号は１誤り訂正可能である．

巡回符号の復号のしかた．

除算器による実現．

通信路符号化法—ガロア体とBCH符号

ガロア体

素体

素体の拡張

BCH符号

構成法

復号法

基本的性質