ACT － JST プロジェクトソフトウェアプロダクトの収集・解析・検索システム（ SPARS プロジェクト）

大阪大学

井上克郎

SPARS キックオフミーティング平成 14 年 3 月 18 日

ACT-JST

• 科学技術振興事業団（ JST)

• 計算科学技術活用型特定研究開発推進事業（ ACT)– 計算科学技術を活用すること

• 計算機によるシミュレーションやデータベースの構築– 研究開発において高速ネットワークを活用すること

• 研究開発に際して、高度なネットワークの活用もしくは大容量のデータ転送・解析を行うもの

– 特定分野の研究開発であること• 物質・材料分野／生命・生体分野 ／地球・環境分野／情報通

信分野／ スーパーコンピュータネットワーク型

委員委員長 　土居範久 　 慶應義塾大学　理工学部　情報工学科　教授 委員

　淺井　清 日本原子力研究所　理事 浦野紘平 横浜国立大学大学院　環境情報研究院 教授 小柳義夫 東京大学　理学部　情報科学科　教授 茅　陽一 （財）地球環境産業技術研究機構 副理事長 京極好正 独立行政法人 産業技術総合研究所 生物情報解析研究センターセンター長 合志陽一 独立行政法人 国立環境研究所 理事長 五條堀孝 国立遺伝学研究所　生命情報研究センター長・教授 後藤滋樹 早稲田大学　理工学部　情報学科　教授 齋藤鐵哉 独立行政法人 物質・材料研究機構 理事 諏訪正輝 株式会社　日立製作所　日立研究所　嘱託 田代秀一 独立行政法人 産業技術総合研究所 情報処理研究部門 主任研究員 寺倉清之 独立行政法人 産業技術総合研究所 計算科学研究部門 部門長 東倉洋一 日本電信電話株式会社　先端技術総合研究所 所長 能町正治 大阪大学大学院 理学研究科 付属原子核実験施設 教授 星野真弘 東京大学大学院 理学系研究科 地球惑星学科 教授 三浦謙一 富士通株式会社　コンピュータ事業本部　技師長 矢川元基 東京大学大学院　工学系研究科　システム量子工学専攻　教授

他の情報通信分野の採択課題

- ４次元デジタル宇宙データの構築とその応用　海部　宣男 （国立天文台　台長）　　最新の観測データと大規模シミュレーション計算のデータを結びつけ、太陽系から宇宙までの空間構

造と時間発展を含む４次元宇宙の大規模デジタルデータを構築する。またこれを用い、ネットワーキングによる研究、教育、商用、美術など広い分野での応用に提供を図る。

- コモディティグリッド技術によるテラスケール大規模数理最適化　松岡　聡　 （東京工業大学　教授）　　 PC 技術と高速ネットワークによるコモディティグリッド技術により、テラスケールの数

理最適化を行うミドルウェア 。テストベッドを開発し、蛋白質の構造決定問題など種々の大規模最適化問題で世界記録を達成、並びに合算で数テラフロップスを 1 週間以上維持する。

- 広域ビジュアルコンピューティング技術　村木　茂　 （産業技術総合研究所　 連携研究体長）ﾎﾞﾘｭｰﾑｸﾞﾗﾌｨｯｸｽ　　我々が開発中の高並列計算可視化システム（ VG クラスタ）を広域ネットワーク上で結合

し、一研究機関では実現困難な可視化を伴う大規模シミュレーションを可能にする広域ビジュアルコンピューティング技術を研究する。

　

我々の採択課題

ソフトウェアプロダクトの収集・解析・検索システムSoftware Product Archive/Analysis/Retrieve Systems

(SPARS)

文書検索　ｂｙ　 Google

画像検索　ｂｙ　 Google

ソフトウェア検索　ｂｙ　 Google-like 　 System

date 　 calculation 　 astronomy search

Astronomy and numerical software source codeswww.smart.net/~mmontes/ec-cal

Astronomy C/C++ source codewww.cg.tuwien.ac.at/~gzotti/hp/urania/

Astronomy software serverswww.portents.com/marek/pilot/

Search Software for data calculation astronomy

背景

• 今まで、数多くのソフトウェアが開発、利用• 有効に蓄積され、利用されているか ?

– 似たようなプログラムを、様々な所で独自に開発している

– 過去の蓄積を参考にすれば、開発の効率化

• ソフトウェアの蓄積を行って、強力な検索機能を持つ、 Google のソフトウェア版のようなシステムが欲しい

目標• ソフトウェアプロダクトの収集・解析・検索システム

の構築– ソースコード、オブジェクトコード、ライブラリ、関連

ドキュメント（ソフトウェアプロダクト）をインターネット空間で収集を行う

– 収集したソフトウェアプロダクトを解析し、保存する– 適当なキーを与えることによって、必要とするソフト

ウェアプロダクトの情報を取り出せる

ソフトウェアプロダクトの収集、解析、検索システム

インターネット

ソフトウェアプロダクトアーカイブ

検索エンジン 分類・解析

Webサイト

質問解析・検索

検索者

技術的課題（１）

• インターネット空間からのソフトウェアプロダクト収集技術

– ソースコード、オブジェクトコード、ライブラリ、ドキュメントなどの多種のソフトウェアプロダクトの自動認識・分類方法

– 　　ソースコード⇔オブジェクトコード　　　 ソースコード⇔ドキュメントなどの対応を取る方法– 巨大なプロダクトの分割、管理方法

　　　　　種類や大きさ (粒度）に応じたプロダクトモデルの構築

技術的課題（２）

• ソフトウェアプロダクトの解析・保存方法– ドキュメント

• キーワード抽出、インデクス付け• 使用頻度によるページランキング（ google の手法）

– オブジェクトやライブラリ• ドキュメントとの対応による分類• strings, 　 nm によるキーワードの抽出

– ソースコード• コードの類似度による分類（参考資料　 CCFinder，類似度メトリクス）• コメントやシステムコールの呼び出しパターン抽出

技術的課題（３）

• 効率的な問合せと検索手法– プロダクトの種類、粒度の指定– 多様な入力による問合せ

• キーワード• ソースコード断片• プログラム文のパターン

– インタラクティブな問合せによる絞込み– 検索結果の表示方法

• 一部 /全部、ソース / オブジェクト / 特徴メトリクス、 ...

• ランク付けによる候補一覧

アプローチ

1. システム構築のためのモデルや手法の提案

2. モデルや手法の実証のためのプロトタイプ群の作成、評価

3. 統合システムの構築

4. 評価

計画平成 13 年度　　　　　　平成 14 年度　　　　　　平成 15 年度　　　　　　平成 16 年度　　

モデル /手法の構築

プロトタイプ群の作成・評価

統合システムの構築

評価

大阪大学

名古屋大学 奈良先端大１・２ 神戸大学外国人共同

研究者

全体の運営

• 独自方法で、ソフトウェアの収集・解析・検索に関する研究を進めてもらう

• 専属の学生に、年に一度、学会発表　→　報告書へ– 発表する時には、

• 事前に、紙一枚を JST に送る• ACT-JST のクレジットを書く

• ホームページ作成予定• JST からの要求：　年度末の報告書と、年に一回程度の発表会