presentation title (on one or two lines) · 2017. 10. 31. · 参考： moving forward: overcoming...

Copyright 2013, Toshiba Corporation.

ユーザー目線でのLTSI Testへの期待値

株式会社東芝ソフトウェア技術センター

小林良岳

2 LTSI Testing Workshop 2013

本日の発表内容

基本的な要求

必要なテストとは？

ケーススタディを幾つか紹介

LTSIテストへの期待


基本的な要求

安定したカーネルであること

長期運用に耐えられること

カーネルバージョン間のマイグレーションが可能


基本的な要求

安定したカーネルであること

バグが少ない

バグフィックスが継続して行われている

長期運用に耐えられること

長期稼働の実績がある

カーネルバージョン間のマイグレーションが可能

バージョン間の互換性が検証されている


必要なテストとは？

最低限テストを要する項目機能面（APIレベル等）

性能面（各種パフォーマンス指標）

品質面（品質要求への対応）

互換性面（カーネルバージョン間）

利用しているソフトウェアの例機能面

LTP

…その他

性能面

Cyclictest, Iozone

…その他いろいろ

品質面

電断時のデータ信頼性テスト

長期稼働テスト

互換性面

・・・


LTPの結果比較

テストスイート（LTP）、ユーザランド、ハードウェアは同じ物を利用 Debian 4.0

参考： Moving Forward: Overcoming from Compatibility issues BoFs , ELC2011

カーネルエラーの個数テストケース

2.6.18 1 cron2

2.6.26 3 getcpu01, stime01, cron02

2.6.32 7 execve04, getcpu01, swapon03, sched_cli_serv, clock_gettime03, timer_create04


ファイルシステムデータ信頼性評価結果

0.00

0.50

1.00

1.50

2.00

EXT3-

ORDERED

EXT3-

JOURNAL

* * * JFS XFS

エラー率

[%

]

45.9%

エラー率

[%

]

0.00

0.50

1.00

1.50

2.00

EXT3-ORDERED

EXT3-JOURNAL

EXT4-JOURNAL

EXT4-ORDERED

EXT4-WRITEBACK

* XFS BTRFS

82.4% 84.7% 43.4% 41.4%

43.2%

エラー率

[%

]

0.00

0.50

1.00

1.50

2.00

EXT3-

ORDERED

EXT3-

JOURNAL

EXT4-

JOURNAL

EXT4-

ORDERED

* JFS XFS

13.3%

kernel

2.6.18

kernel

2.6.31

kernel

2.6.33

ファイルサイズの不整合ファイル内容の不整合

Point 1：同一ファイルシステムでもカーネルが違うと特性が

異なる

Point 2: カーネルによってデータ信頼性が非常に低くなる

Point 3: EXT4-JOURNALとBTRFS はデータ信頼性が高い

カーネルバージョン

参考： Evaluation of Data Reliability on Linux File Systems, ELC2010


Linuxカーネル加速による長期稼動試験

問題

• 長期稼動を対象としたテストには時間がかかる → 手っ取り早く長期間分のテストをしたい

START GOAL

加速！

しかし，加速できないものは多い

• CPU最大動作周波数

• ディスクアクセススピード

• ネットワーク通信速度

• ．．．．．プログラム内部の時計不整合が原因の不具合を短時間で検出

Linuxが管理する時計の

進み方を早める

参考： Linux Kernel Acceleration for Long-term Testing, ELC2010


実際に加速してみた結果（スクリーンショット）

xdaliclockはストップウォッチのような速度で動作

450日弱で不正な値が

出力される不具合を

“6時間程度”で再現

（1000倍加速時）

参考： Linux Kernel Acceleration for Long-term Testing, ELC2010


2.4系と2.6系の間の移行で起こった問題

性能に大きな違いが生じている

context switches up to 96% slower

local communication latencies up to 80% slower

file system latencies up to 76% slower

local communication bandwidth less than 50% in some cases.

参考： http://www.denx.de/wiki/Know/Linux24vs26


LTSIのテストへの要望

ユーザが参考にできるテスト結果テスト項目の例

LTP、Iozone、lmbenchなどの一般公開されているテスト

データ信頼性検査

複数のファイルシステムタイプ

互換性検証テストマイナーバージョン間とメジャーバージョン間の２つの観点

いくつかの指標を決める必要はある

API

性能（I/O, Networkなど）

品質

テスト環境への要望ユーザランド

変更しないもの

最新のもの

複数のCPUアーキテクチャ

presentation title (on one or two lines) · 2017. 10. 31. · 参考： moving forward: overcoming...

Documents