thomas zeugmann - 北海道大学minato/toc2016/toc_lec05j.pdf · perl およびtcl...

はじめに “基本”UNIX POSIX 応用テキスト中のパターンを探すおわり

計算理論

Thomas Zeugmann

北海道大学大学院情報科学研究科アルゴリズム研究室

http://www-alg.ist.hokudai.ac.jp/∼thomas/ToC/

第 5回：UNIX における正規表現(日本語訳：大久保好章，湊真一)

計算理論 c©Thomas Zeugmann


はじめに I

関連理論をある拡張形へ発展させた後，その応用について述べてみたい．特にここでは，UNIXで用いられる正規表現について見ていこう．



はじめに I


まず最初に，拡張正規表現の UNIX表記を導入する．



はじめに I


まず最初に，拡張正規表現の UNIX表記を導入する．

次に，正規表現を用いるいくつかの UNIXユーティリティを見ていく．



最初のややこしい事柄 I

正規表現の “基本”UNIX構文法は，POSIX によると，もはや時代遅れとされているが，過去のシステムとの互換性のために今なお広く用いられている．





POSIXは “Portable Operating System Interface” の略であり，各種 UNIXオペレーティングシステムにおける互換性の高いソフトウェア開発のためのアプリケーションプログラミングインターフェース (API)を定めるにあたって IEEEが策定した関連規格の総称である．





POSIXは “Portable Operating System Interface” の略であり，各種 UNIXオペレーティングシステムにおける互換性の高いソフトウェア開発のためのアプリケーションプログラミングインターフェース (API)を定めるにあたって IEEEが策定した関連規格の総称である．

UNIXは，1960 - 70年代に AT & T Bell研究所の研究グループが独自に開発したオペレーティングシステムである．しかし今日では，UNIXシステムはいくつかに枝わかれし，多くの“Unix-like”なシステムも存在している．例えば，Solaris,HP-UX, AIXやGNU/Linux, Mac OS, BSDなどがある．



最初のややこしい事柄 II

正規表現の完全 UNIX拡張は，特定の非正規言語を表現できる．これについては，触れるだけに留める．





Perlおよび Tclはそれら独自の正規表現を定め，それらの構文法に直接組み込まれた強力な正規表現エンジンを持つ．





Perlおよび Tclはそれら独自の正規表現を定め，それらの構文法に直接組み込まれた強力な正規表現エンジンを持つ．

いずれにしても，その基本原理は共通であり，ここではそれらを重点的に見ていく．



“基本”UNIX正規表現 I

正規表現の基本 UNIX構文法は POSIX によると時代遅れとされているが，ほとんどの UNIXユーティリティ(grep, sed ...)はデフォルトでそれを用いている．





grepは “global search for a regular expression and print outmatched lines,” の略，sedは “stream editor.” の略である．





grepは “global search for a regular expression and print outmatched lines,” の略，sedは “stream editor.” の略である．

実際のアプリケーションのほとんどは，128文字を含む ASCII文字セットを扱う．これは，Σ = {a, b}といったこれまでの例とはまったく異なる．



“基本”UNIX正規表現 II

アルファベット {a, b} に関して，“任意の文字”を表現したいとする．このとき，a ∨ bと書く事ができる．しかし，もし 128文字から成るアルファベットを考えた場合，“任意の文字”を同様に表現すると，非常に長い記述になってしまう．





そこで，UNIX正規表現では，大きな文字セットを簡潔に表現するために文字クラスの記述を許している．





そこで，UNIX正規表現では，大きな文字セットを簡潔に表現するために文字クラスの記述を許している．

おそらく既に次のような記述を見たことがあるだろう．[a − z], [abfg]

実際的なニーズを考慮した構文法を次のスライドで定義する．



“基本”UNIX正規表現 III

まず，文字クラスを表現する方法を定義する．文字クラスに関する規則は次の通りである．

記号 . (ドット)は任意の一文字を表す．列 [a1a2 · · ·ak]は次の正規表現を表す．

a1 ∨ a2 ∨ · · · ∨ ak .

∨記号を省略するため，この表記は記述すべき文字を半分省いている．



その他の文字クラス

角カッコの中に a − dなる形式の範囲を書くことで，ASCII列における aから dまでのすべての文字を表す．よって，[a − z]は任意の小文字に一致する．もしすべての英文字と数字の集合を表現したい場合は，[A − Za − z0 − 9]と書くことができる．

UNIX正規表現において特別な意味を持つ角カッコ等の記号(文字)は，それらの前にバックスラッシュ \をつけて表現する．

[^]は，カッコ内に含まれない一文字に一致する．例えば[^a − z]は，小文字でない任意の一文字に一致する．



その他の文字クラスと規則

^は行の先頭，$は行の終端に一致する．は，カッコ内の表現を単一のブロックとして扱うために用いられる．∗ は，その直前ブロックの 0回以上の繰り返しに一致する．すなわち，我々の表記における〈〉に相当する．例えば，空文字列 λ，および，abc，abcabc，abcabcabc，. . . に一致させるためには，$abc $∗ と記述すればよい．

\{x, y\}は，その直前ブロックの少なくとも x回，多くともy回の繰り返しに一致する．よって，a\{3, 5\}は，aaa，aaaaおよび aaaaa に一致する．

この構文法においては，和集合演算に相当する表現はない．



POSIX拡張 I

現代的な UNIX正規表現は，コマンドラインフラグ “-E”を指定することで，現代的な UNIXユーティリティにおいてしばしば使われる．POSIX の拡張正規表現の構文法は，いくつかの例外を除いて，伝統的な UNIX正規表現のそれと同様である．そこでは次のメタ文字が追加されている：

|は和演算を意味する ∨ の代わりに用いられる．演算子 ? は，その直前ブロックの “高々 1回” の繰り返しを意味する．よって，ba?は bあるいは ba に一致する．演算子 +は “1以上”を意味する．よって，R+は我々の表記における R〈R〉の略記である．興味深いことに，バックスラッシュはより現代的な UNIX正規表現では取り除かれる．すなわち，は ( )となり，また，\{ \}は { }となる．もし {x, y} において x = yならば，第 2引数も省略することができる．すなわち，a{5}は aaaaaを意味する．



注意点 I

また，おそらく既に気付いている通り，正規表現を記述する際，先に用いた下線付きの文字ではなく，通常の文字を用いる．つまり，a の代わりに単に aと記述する．また，·も省略される．



注意点 I

また，おそらく既に気付いている通り，正規表現を記述する際，先に用いた下線付きの文字ではなく，通常の文字を用いる．つまり，a の代わりに単に aと記述する．また，·も省略される．

先に述べた通り，Perlは，POSIX拡張正規表現さえよりもさらに豊富な構文法を有する．この構文法は，他のユーティリティやアプリケーションにおいても用いられる．名称は未だ"正規表現"ではあるが，Perl における拡張は，正規表現を遥かに超えた記述力をもたらす．



注意点 II

付加的な記述力を与える共通した正規表現の拡張は，後方参照である．\1や \2といった後方参照は，前のカッコ内の表現に一致する文字列とだけ一致する：



注意点 II


例 1： (cat|dog)\1は catcatと dogdog に一致するが，catdogやdogcat には一致しない．



注意点 II



例 2： (.∗)\1は papa, mamaといった繰り返す語の文字列と一致する．より一般には，非空の任意の文字列を wとしたとき，ww

に一致する．なお，L = {ww | w ∈ Σ+}は正規でないことに注意しよう．



注意点 II



例 2： (.∗)\1は papa, mamaといった繰り返す語の文字列と一致する．より一般には，非空の任意の文字列を wとしたとき，ww

に一致する．なお，L = {ww | w ∈ Σ+}は正規でないことに注意しよう．

後方参照により付加される記述力には，コストを払わなければならない．Perlが採用している最もよく知られた実装は，最悪時において指数的な探索アルゴリズムを必要とする．



字句解析 I

正規表現の最も古い応用のひとつは，“字句解析器”と呼ばれるコンパイラの構成要素の記述に見られる．これは，ソースプログラムを走査 (scan)し，トークン，すなわち，論理的なまとまりを成す連続した文字からなる部分文字列を認識する．キーワードや識別子がトークンの一般的な例であるが，他にも多数存在する．走査器 (scanner)は，有限オートマトンとして実装される．



字句解析 I

正規表現の最も古い応用のひとつは，“字句解析器”と呼ばれるコンパイラの構成要素の記述に見られる．これは，ソースプログラムを走査 (scan)し，トークン，すなわち，論理的なまとまりを成す連続した文字からなる部分文字列を認識する．キーワードや識別子がトークンの一般的な例であるが，他にも多数存在する．走査器 (scanner)は，有限オートマトンとして実装される．

UNIXコマンド lexと，その GNU版である flexは，入力として UNIXスタイルの正規表現のリストを受取る．ここで，各正規表現には，字句解析器がトークンの具体例を見つけた際にすべきことを記述したコードがカッコ書きで付随している．



字句解析 II

こうしたツールは字句解析器の生成器と呼ばれる．なぜなら，それは入力として，字句解析器に関する高度なレベルの記述をもらい，字句解析器として機能する関数をそこから作り出すからである．



字句解析 II


正規表現の表記法は，トークンを記述するにあたり十分強力なので，lexや flex のようなコマンドは大変役に立つ．



字句解析 II



これらのコマンドは，ソースプログラムをトークンに分解する効率的な関数を生成するために，「正規表現からDFAへの変換アルゴリズム」を用いることができる．その主な利点はコード記述にある．なぜなら，正規表現は決定性有限オートマトンを書くよりずっと容易だからである．



字句解析 II



これらのコマンドは，ソースプログラムをトークンに分解する効率的な関数を生成するために，「正規表現からDFAへの変換アルゴリズム」を用いることができる．その主な利点はコード記述にある．なぜなら，正規表現は決定性有限オートマトンを書くよりずっと容易だからである．もし何かを変更する必要があるとき，正規表現の変更は非常に単純であることが多いが，決定性有限オートマトンを実装したコードを変更することは悪夢である．



例

例として，次の (1行の )正規表現を考える．

(0|1)∗1(0|1)(0|1)(0|1)(0|1)(0|1)(0|1)(0|1)(0|1)(0|1)(0|1)(0|1)

(0|1)(0|1)(0|1)(0|1)

この正規表現が定める言語を受理する決定性有限オートマトンを作ってみよう．



例

例として，次の (1行の )正規表現を考える．

(0|1)∗1(0|1)(0|1)(0|1)(0|1)(0|1)(0|1)(0|1)(0|1)(0|1)(0|1)(0|1)

(0|1)(0|1)(0|1)(0|1)

この正規表現が定める言語を受理する決定性有限オートマトンを作ってみよう．

ただし，諸君が予想するよりずっと多くの状態が必要なので，完全に週末をつぶすつもりでいて欲しい．



例 (続き )

そのことを確かめるには，まずはこれをずっと短くした次の正規表現から始めるべきである．

(0|1)∗1(0|1)

これに対応するオートマトンは次の通りである．

1

1

00

1

0

0

1



例 (続き )

では，次の正規表現について各自で考えてみよ．

(0|1)∗1(0|1)(0|1)



例 (続き )


(0|1)∗1(0|1)(0|1)

次の正規表現については？

(0|1)∗1(0|1)(0|1)(0|1)

同様に，より長い正規表現について順次考えていく．



例 (続き )


(0|1)∗1(0|1)(0|1)

次の正規表現については？

(0|1)∗1(0|1)(0|1)(0|1)

同様に，より長い正規表現について順次考えていく．

最後に，およそ 32,000,000 の状態を持つ決定性有限オートマトンとなる正規表現を与えてみよ．



字句解析 III

では，字句解析器に戻ろう．以下は，lexコマンドへの入力例の一部である．

else {return(ELSE); }[A − Za − z][A − Za − z0 − 9]∗ {code to enter the found iden-

{tifier in the symbol table;{return(ID);

}

>= {return(GE);}

= {return(EQ);}

· · ·

図 1: lexへの入力例



字句解析 IV

1行目でキーワード elseが処理され，その動作として記号定数ELSEが返される．

2行目の正規表現は識別子を記述したものであり，ある英文字の後に 0個以上の英文字や数字が続く．その動作として，見つかった識別子が (未登録であれば)記号表に登録され，識別子を表す記号定数 IDが返される．3行目は 2文字の演算子記号 >=を処理する．また，最後の行は，1文字の演算子記号 =を処理する．

実際には，各キーワード，各演算子記号，カンマやカッコ等の各句読点記号，数字や文字列等を含む各定数について，それぞれを記述した正規表現が現れるだろう．



flexの使用例

flex の動作を見るために，次のコードをファイル (例えば，ex.lex )に保存せよ．

/*****************************/

/* making x for u */

/*****************************/

%option noyywrap

%%

"u" printf("x");

main () {

yylex();

}



flexの使用例

次の内容を記述したサンプルテキスト (例えば，xu.txt)を新規作成せよ．

Romans used for both letters U and V the same symbol V.They also used V to denote the number 5. Some moneylenders used the fact that one can obtain an X by extendingthe lines in V - thus a debt of 5 Sesterces became 10Sesterces. Thus, in German we have the common saying“ein X für ein U vormachen.” (English “throw dust in aperson’s eye”)See: Kurt Krüger -Lorenzen, Das geht auf keine Kuhhaut



flexの使用例

ここで以下を実行する．flex ex.lex

これにより，C言語のプログラム lex.yy.cが生成される．次に，それをコンパイルする．gcc lex.yy.c -o xu最後に，xu < xu.txtを実行する．

lex.yy.c の内容を確認してみよう．



flexの使用例

もしすべてがうまくいったら，内容は次の通りとなるだろう．

Romans xsed for both letters U and V the same symbol V.They also xsed V to denote the nxmber 5. Some moneylenders xsed the fact that one can obtain an X by extendingthe lines in V - thxs a debt of 5 Sesterces became 10Sesterces. Thxs, in German we have the common saying“ein X fxer ein U vormachen.” (English “throw dxst in aperson’s eye”)See: Kxrt Krüger -Lorenzen, Das geht axf keine Kxhhaxt



テキスト中のパターンを探す I

あるファイル中のテキストを探すためにテキストエディタ (あるいは，UNIXプログラム grep)をしばしば使うであろう (例えば，深さ優先探索プログラムを定義した箇所を探したい場合等)．これと密接に関連して，適切なWebページを絞り込む，または見つける問題が考えられる．



テキスト中のパターンを探す I

あるファイル中のテキストを探すためにテキストエディタ (あるいは，UNIXプログラム grep)をしばしば使うであろう (例えば，深さ優先探索プログラムを定義した箇所を探したい場合等)．これと密接に関連して，適切なWebページを絞り込む，または見つける問題が考えられる．

問

これらツールはどのように動作するのか？



テキスト中のパターンを探す II

一般に使われるアルゴリズムとして，Knuth-Morris-Pratt (KMP)および Boyer-Moore (BM)がある．両者は類似した考え方に基づいており，O(m + n) の線形時間で動作する．ここで，mは探したい文字列 (パターンと呼ぶ) の長さ，nは探す対象となるファイルの長さである．どちらも特定の文字が等しいかそうでないかだけを調べ，文字に関する複雑な計算は一切行なわない．



テキスト中のパターンを探す II

一般に使われるアルゴリズムとして，Knuth-Morris-Pratt (KMP)および Boyer-Moore (BM)がある．両者は類似した考え方に基づいており，O(m + n) の線形時間で動作する．ここで，mは探したい文字列 (パターンと呼ぶ) の長さ，nは探す対象となるファイルの長さである．どちらも特定の文字が等しいかそうでないかだけを調べ，文字に関する複雑な計算は一切行なわない．

実際は Boyer-Moore の方がわずかに高速だが，より複雑である．Knuth-Morris-Prattは単純なので，ここではこちらについて簡単に述べる．



テキスト中のパターンを探す III

文字列 sasoを grep したいとしよう．ここでは，現在の状態にそれまでに走査した文字列に関する情報を保持させた決定性有限オートマトンを作る．いま，これまでに走査した文字列が“nauvwxy”であったと仮定すると，次のふたつの事柄について知る必要がある



テキスト中のパターンを探す III

文字列 sasoを grep したいとしよう．ここでは，現在の状態にそれまでに走査した文字列に関する情報を保持させた決定性有限オートマトンを作る．いま，これまでに走査した文字列が“nauvwxy”であったと仮定すると，次のふたつの事柄について知る必要がある

1 既に探しているパターン (saso)に一致したか？2 もしまだであるなら，一致に至る途中段階にあるか？



テキスト中のパターンを探す IV

もし，一致の途中段階にあるならば，パターンのどこまでを既に走査したのかも知る必要がある．よって，各状態は，パターンへの部分一致であってほしい．





saso に関する可能な部分一致は，λ, s, sa, sasであり，完全一致は saso それ自身である．別の言い方をすると，saso の空文字列を含むすべての接頭辞を考慮する必要がある．





saso に関する可能な部分一致は，λ, s, sa, sasであり，完全一致は saso それ自身である．別の言い方をすると，saso の空文字列を含むすべての接頭辞を考慮する必要がある．

もしパターンの長さがmならば，m + 1 の接頭辞が存在する．よって，可能な部分一致を記録するために，オートマトン中にはm + 1 の状態が必要となる．空一致が開始状態，完全一致が受理状態となることは明らかであろう．



テキスト中のパターンを探すV

一般に，ある状態において文字を読みこむと，その部分一致にいま読み込んだ文字を加えた文字列の接尾辞で，かつ，パターンの接頭辞でもある最長の部分一致に対応する状態へ遷移する．例えば，既に sasを読み込み，次の文字が aである場合は，部分一致sa に対応する状態へ遷移することになる．



テキスト中のパターンを探すV

一般に，ある状態において文字を読みこむと，その部分一致にいま読み込んだ文字を加えた文字列の接尾辞で，かつ，パターンの接頭辞でもある最長の部分一致に対応する状態へ遷移する．例えば，既に sasを読み込み，次の文字が aである場合は，部分一致sa に対応する状態へ遷移することになる．

我々が欲しい決定性有限オートマトンは以上の考え方に基づいて作り出すことができる．



テキスト中のパターンを探すVI

sasoを含むすべての文字列を受理する決定性有限オートマトン

other

start s a s

sa

other

s any

oempty s sa sas saso



テキスト中のパターンを探すVII

O(m3 + n)時間の文字列照合アルゴリズムを得るためには以上の議論で十分である．そこでは，状態表を作成するために O(m3)

時間を，入力ファイルに対してそれを動作させる際に O(n)時間を要する．






KMPアルゴリズムには，ふたつの巧妙な点がある．ひとつは，O(m)領域のみを必要とする状態表の表現にある (上の場合はO(m2)領域を要する)．






KMPアルゴリズムには，ふたつの巧妙な点がある．ひとつは，O(m)領域のみを必要とする状態表の表現にある (上の場合はO(m2)領域を要する)．

もうひとつは，O(m)時間ですべてを作り上げる複雑なループを用いている点である．これにより，全体で O(m + n)時間となる．しかし，これら巧妙な点はこれまでの講義でも既に見てきたはずである．必要に応じてテキストにある参考文献を参照すること．



Thank you!


thomas zeugmann - 北海道大学minato/toc2016/toc_lec05j.pdf · perl およびtcl...

Documents