ocr機能を搭載した...

22
OCR機能を搭載した 「iPhone」アプリの開発 仲野研究室 指導教員: 仲野誠 者: 神夏子 2013年度 情報教育コース 卒業研究 構想発表

Upload: others

Post on 13-Oct-2019

7 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

OCR機能を搭載した 「iPhone」アプリの開発

所 属 : 仲野研究室

指導教員: 仲野誠

発 表 者: 神夏子

2013年度 情報教育コース 卒業研究 構想発表

Page 2: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

目次

§1 開発動機 §2 OCR ■OCRとは ■日本語対応のOCRエンジン ■インストール ■テスト ■TesseractとNhocrの比較 §3 今後の課題とスケジュール ・開発環境 ・参考サイト

Page 3: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

§1 はじめに ■研究動機

OCR機能が搭載されたアプリをよく目にする…

OCRについて 学びたい!!!

名刺認識管理アプリ,手書きメモ認識アプリ, レシート認識家計簿アプリetc…

OCR機能を使って 何か便利なアプリを

自分でつくってみたい!

Page 4: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

■アプリ内容について、、、

手書き文字認識のメモ帳アプリ

画像文字認識の家計簿アプリ

・既に同じ機能がついたアプリが存在していた ・OCRエンジンがどの程度認識するのかわからなかった

OCRエンジンの テスト

アプリ内容の決定

Page 5: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

§2 OCR ■OCR( Optical Character Recognition )とは

画像情報 文字データ ・光学的に読み取り ・前もって記憶された

パターンと照合

※OCR(Optical Character Recognition)の機能を備えた装置 →OCR(Optical Character Reader)

Page 6: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

■日本語対応のOCRエンジン

Tesseract-OCR ・1984年~1994年Hewlerr Packardにて研究開発 ・2005年オープンソース化 ・現在はgoogleがスポンサー ・認識可能言語は日本語含む30カ国語以上

NHocr ・東北大学、サイバーサイエンスセンターの 後藤研究室にてweekend projectとして開発されてい るフリーのエンジン

Page 7: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

■Tesseractのインストール

homebrew パッケージ管理システム

解決法 ・libtoolsをインストールしておく ・XcodeでCのコンパイラをインストールしておく

Tesseractをインストール いくつかのエラー

Page 8: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

■NHocrのインストール

O2-tools

nhocr

一緒にインストール

エラー

Makecharフォルダ

Page 9: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

■NHocrのインストール

・ファイル形式

.ppm .pgm

.pbm

.jpg

ファイル形式 変換ソフトウェア

Page 10: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

■英文でのテスト

誤認識は赤下線の部分のみ 認識率は約98%

Tesseract-OCR

Page 11: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

■英文でのテスト

NHocr

日本語限定対応のため、 日本語が混ざる。

認識率は約70%

Page 12: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

■日本語でのテスト

長い文章の縦書き 短い文章の ひらがな、カタカナ

Page 13: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

■日本語でのテスト

認識は誤りだらけだが、 縦書きを自動で横書きに してくれる

認識率は約65%

Tesseract-OCR 〜長い文章〜

Page 14: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

■日本語でのテスト

NHocr 〜長い文章〜

縦書きはほぼ認識しない。

Page 15: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

■日本語でのテスト

Tesseract-OCR 〜短い文章〜

認識率は約60%

Page 16: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

■日本語でのテスト

NHocr 〜短い文章〜

認識率は約82%

Page 17: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

■日本語でのテスト

Tesseract-OCR 〜レシート〜 (数字と文字の 組み合わせ)

認識率は約62%

フォントや大きさが違っても 読み取る事ができる

Page 18: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

■日本語でのテスト

NHocr 〜レシート〜 (数字と文字の 組み合わせ)

認識率は約55%

認識 できない

フォントや大きさが違うと認識しない。 数字を認識しにくい。

Page 19: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

■TesseractとNhocrの結果と比較

Tesseract

NHocr

英語

・非常に高い認識率 ・認識率が低い ・英文を日本語として認識する場合がある

日本語

・長文、短文ともに認識率は低い ・大きさやフォントが異なる画像でも認識できる ・縦書きを横書きとして変換できる

・文字の大きさやフォントが違うと認識しにくい ・縦書きの認識はほぼできない ・長文の認識率は低い ・短文の認識率は非常に高い

OCRops 認識率が上がる

Page 20: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

§3 今後の課題とスケジュール

7月

・OCRopusの検討 ・アプリ内容の検討・決定

8月 ・Objective-Cの学習 ・OCRエンジンをiOS SDKで コンパイル

9月〜ドイツへ留学 ・Objective-Cの学習 ・Xcodeの学習 ・機能の検討 (留学先が情報分野に特化した大学の為,引き続き学習を続ける。)

Page 21: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

・開発環境

OS Mac OS X 10.7

使用言語 Objective-C

開発ツール Xcode 4.6

OCRエンジン 未決定

Page 22: OCR機能を搭載した iPhone」アプリの開発kitchom.ed.oita-u.ac.jp/jyo/proh25/kousou/kou/kou.pdf · OCR機能を搭載した 「iPhone」アプリの開発 所 属 : 仲野研究室

・NHocr http://code.google.com/p/nhocr/ ・Tesseract-OCR http://code.google.com/p/tesseract-ocr/ ・拡張子辞典 http://www.7key.jp/data/ext_new/p/ppm.html ・画像 http://app-liv.jp/312391317/ http://app-liv.jp/338520753/ http://nochineta.net/weblog/archives/9591 http://www.jiyu-kobo.co.jp/ytl/ykyvm.html http://www.field-works.co.jp/ ・用語 http://www.sophia-it.com/content/OCR http://matome.naver.jp/odai/2130267984478087401 http://www-al.nii.ac.jp/~kameda/blog/cmlog/0910211714.htm

・参考サイト