手持裝置應用系統之設計 與未來發展

手持裝置應用系統之設計與未來發展

黃有評大同大學資訊工程系

內容 研發動機 理論技術與設計要點 導覽與學習系統建置（以關渡自然公園為例） RFID 技術及應用 麥當勞得來速點餐系統 車牌辨識系統（停車管理拍立得、路況監測系統） 鳥類檢索系統（ e 機在手，鳥趣無窮、 emome ） 結論與未來展望

研發動機 因應無線網路與第三代行動通訊（ 3G ）的

發展，以手持裝置為基礎開發各種應用程式，讓使用者能夠充份的感受到無線環境和手持裝置所帶來的便利性。

如何提升新產品附加價值 ?

主要開發平台： PDA 、 Tablet PC 、 WebPad 及手機平台。

Visual Memory

Visual Memory 與 Moving Speed

Tablet PC & WebPad 之便利性 Tablet PC ：

1. 手寫辨識與畫筆功能，利於圖文輸入與講解。2. 硬體、作業系統與一般電腦幾乎相同，利於系

統開發。 WebPad ：

1. 觸控式螢幕，不需滑鼠或光筆即可輕易控制。2. 耐碰撞、重量輕、大小適中、攜帶方便。3. 採用 Embedded Windows XP 系統。

理論與技術背景1. Data mining （資料探勘）2. Genetic algorithm （基因演算法）3. BPN （類神經網路 – 倒傳遞網路）4. Information retrieval （資訊檢索）

models: QBIC, CBIR5. RFID （無線射頻識別系統）6. Location-awareness

基本設計概念1. No keyword is needed.2. Click and select input.3. Simple, flexible, easy to use for indoor and

outdoor activity.4. Passive & active search.5. Interactive learning.

實例一

導覽與學習系統建置（以關渡自然公園為例）

搜尋系統所使用的技術

系統架構（單機使用）

單機使用除了搜尋鳥類資訊外，也可以透過 GPRS 或無線網路，到網站上使用加值服務，如：桌布下載、圖片下載、影片串流服務等等。

系統架構（學習群組模式）

主要功能 智慧型搜尋機制

我們設計一個直覺式鳥類搜尋介面，使用者利用自己所看到的鳥類特徵，如體型、顏色、嘴形、飛行模式等特徵進行搜尋，透過簡易的介面與直覺化的查詢方式，找出想深入了解的鳥類的相關資訊。

使用技術：類神經網路 – 倒傳遞網路（ BPN ）

主要功能 系統推薦機制

系統針對使用者在特定區域查詢過的鳥類，透過資料探勘與關聯法則技術，建立推薦機制，主動推播同一區的其他鳥類資訊給使用者。如此一來，就算使用者無法親眼看見某些鳥類，也可以了解系統推薦的鳥類與其他鳥類的群聚關係。

使用技術： Data Mining - Apriori-like 演算法

主要功能 RFID 學習與導覽機制目前 RFID 技術已經廣泛的使用在物流與導覽系統中，所以我們的系統也加入 RFID 技術，結合主動的導覽方式提供更多互動的學習機制。

使用技術： RFID

開發環境硬體需求操作環境： PDA 手機、 Smart Phone 、 Tablet PC

使用平台： Pocket PC 2002 and 2003 （ PDA 手機）　　　　　 Pocket PC Smart Phone Edition （ Smart Phon

e ）　　　　　Windows XP Tablet PC Edition

通訊方式： GPRS 、 Wireless Network

其他配備： RFID Reader 、 RFID Tag 、 CCD Camera

開發環境軟體需求Client 端開發環境： Windows Embedded Visual C++ 4.0

Server 端開發環境： Borland C++ Builder 6.0Apache Server 、 PHP

資料庫相關： Pocket Access 、 MySQL Server 、 ADOCE 3.1

系統介面

系統介面

系統介面

實驗與評估 實際環境使用測試： 2002 年於華江雁鴨公園雁鴨季活

動，實際測試我們的系統，並搜集使用者操作記錄。

實驗與評估 實際環境使用測試： 2004 年我們在關渡自然公園國際賞鳥博覽會，針對不同年齡層使用者進行教學。

本系統之優點1. 利用 PDA 手機即可隨時隨地進行鳥類檢索。2. 利用上下左右按鍵進行特徵點選，免除需以文字或語言輸入之困擾。

3. 結合 Tablet PC 實現導覽系統與互動式學習環境。4. 系統具備圖案淺顯易懂、輸入簡單、可依不同場合

或環境迅速變更搜尋模型及容易學習使用等優點。5. 結合 RFID 提供互動式學習 ( 例如：學習護照 ) ，更可定位出使用者所在區域。

實例二

RFID 技術及應用

什麼是 RFID RFID

Radio Frequency Identification 無線射頻識別

起源： 第二次世界大戰時，英、德兩軍在英倫三島的戰役中，為了辨別敵我兩方的戰機，發展一套利用無線電來做識別驗證的系統，而這套系統就是 RFID 。直到現在的飛航交通管制，仍舊在使用這個技術。

什麼是 RFID Tag 外觀：各式各樣 *

貼紙可黏貼在物體表面。 膠囊植入動物體內。 名片方便收藏在皮夾。 鹽粒結晶嵌入紙張夾層。 直尺、棒子、鑰匙圈、吊飾…等。

理由： 記錄比目前普遍使用的條碼更多資訊。 無線傳輸方式，可為零售商、物流倉儲等商業應用減少許多開銷。

針對特殊應用或環境來設計 RFID Tag ，使得以往無法使用條碼的工作環境，也可以利用 RFID 來提升效率。

什麼是 RFID 資料讀取

條碼是利用雷射等光學讀取器，將掃瞄光源照射在條碼上進行讀取，所以條件是距離不能過長，而且在讀取器與條碼之間不能有物體阻擋，才能有效的辨識讀取。

RFID則是利用 RF 射頻的方式來進行讀取，只要 RFID Tag 在射頻電波發射的範圍內，就可以讀取到資料。

博物館導覽

數位導覽不是要取代文物導覽，而是輔助參觀者的學習 透過 RFID 感應，取得介紹資訊

e

WLAN

Content DB

Exhibition with RFID tag

RFID DB

Web Browser

Visitors

Introduce / Recommend

Server

Visitor Log

實例三

麥當勞得來速點餐系統

Location-awareness

技術與原理 顧客使用 WebPad 點餐後，系統會統計出使用者的

需求，提供金額與份量等相關資訊，經確認後，透過無線網路傳遞到 Server 端資料庫，擷取出資料庫中的有效資訊，利用資料探勘技術處理後將資料分類儲存並提供個人化服務，達到對內有效控管原料及工作進度，對外提供顧客更好的服務。

開發環境程式語言： PHP Language 、 Java Script 、 ActiveX

　資料庫： MySQL Server

語音轉換： Microsoft Speech SDK 5.1

執行方式：只需透過 IE 連線到後端即可

點餐介面

商品列表

單點套餐切換

已點購餐點

商品熱量成份資訊 確認訂單

可供廚房備餐及交易櫃檯查詢、結

帳廚房 及交易櫃檯 訊息畫面

廚房語音播放 畫面

個人化點餐系統‧ 開發於 PDA 無線點餐系統：

(a) 點餐畫面 (b)推薦商品 (c)確認商品 (d)待餐編號

研發方向 現行架構雖以點餐為主，然因後端嵌入資料探勘

技術，配合資料庫的資料，找出餐點間的關聯、甚至消費族群、消費習慣等商業資訊，配合推出優惠方案，增加商機。

將系統搭配本實驗室研發之智慧型搜尋系統，提供顧客在點餐等待時間可以隨時隨地搜尋植物、鳥類、魚類、餐點營養成份等資訊。

結合 text-to-speech技術，直接播放點餐資訊，以利廚房人員備 餐。以語音輸入直接點餐亦在研發中。

實例四之一

車牌辨識系統（停車管理拍立得）

系統架構

Fuzzy Motors

Internet

停車管理贓車協尋

牌照稅管理資料庫

CaptureImage

停車資料

Police Station

線上通報

辨識系統車牌影像

PHS 上網

Users

WAP手機查詢

網頁查詢

開發動機• 以個人電腦為平台之「車牌辨識」的技術雖已成熟，且己廣泛應用於停車場管理或門禁監控上，但實作於 PDA 上之辨識系統卻付之闕如，但其確有實用性的需求。

結合 PDA 與外掛 CCD Camera 與無線網路卡，並展現手持裝置高度的移動性與可攜性。

提升傳統的收費與管理效率，減少人為書寫之錯誤，同時允許使用者上網查詢。

• 我們的系統針對「路邊停車」與特定區域停車場的議題提出一完整的架構。本系統包括下列幾項主要的功能：

車牌辨識（即時性 & 非即時性） 簡潔之操作與管理介面 贓車協尋與查報系統 牌照稅催繳與罰款通知 查詢介面（ WAP 手機 & 網頁）

系統功能

原理與技術• 車牌辨識：車牌辨識的處理程序包含四個主要的

模組，每個模組也都相對於一個主要的處理步驟。

步驟一：車牌的定位 步驟二：影像處理 步驟三：文字切割 步驟四：文字的比對

• 車牌辨識：流程圖

Step 1原始圖檔

Step 2找出車牌

Step 3相關處理

Step 4車牌辨識

圖檔

1. Zoom image

2. Binary

3. Divide number

4. Histogram equalizing

1. Character recognition

If > Threshold

modify result

Else

Show the probable

license number

Capture Original Image from CCD Camera

原理與技術

Use Prewit method

If > Threshold

possible position

• 類神經網路：本系統車牌辨識方式是利用類神經網路中常用之倒傳遞網路模型來實作，以進行車牌整體辨識工作。

• 協助辨識 0 與 O 、 8 與 3 、 B 等，非常相近的圖案。

　例如：

• 影像處理技術

→

原理與技術

開發環境• 軟體需求

開發平台： Windows CE

開發軟體： Pocket PC 2002 SDK

　　 Embedded Visual C 3.0

　　 Embedded Visual Basic 3.0

　　MySQL

• 硬體需求　 PC 、 PDA 、 Access Point 、 CCD Camera 、無線網卡

• 無線環境需求　 IEEE 802.11b

系統介面

實測結果• 系統辨識率 ?

不傾斜角度 約 70~95%傾斜角度限制 約 15度以內，以上則以車牌影像扭曲情況而定針對相似數字提供三個候選鍵，正確率達 80%夜晚使用需依光線亮度而定Client 端辨識 1 秒以內Server 端辨識 3 秒以內

現有產品比較• 現有系統

車牌不需逐字點選需個別選擇車種、顏色沒有照片佐證

• 問題：無法辨識的霸王車牌 ?

比賽花絮

Happy Ending ，雖沒拿到 100萬，但昨晚泡麵我們吃夠本了！

實例四之二

車牌辨識系統（路況監測系統）

動機 即時車牌辨識系統

動態影像處理 系統自動化 即時性

動機

大部分車牌辨識使用的方式

提出的車牌辨識方式

人工方式擷取靜態圖片 系統動態影像偵測擷取圖片

缺點：無法快速辨識與即時傳遞重要資訊

優點：能夠快速辨識與即時傳遞重要資訊

目標 車牌辨識系統整合

全自動化 即時停車管理、贓車協尋、超速舉發等用途

引入倒傳遞網路模型 預期效率

時間： 1 sec 效果： 90 %

系統架構

攝影機 影像擷取

前處理、車牌定位

字元切割

文字辨識

顯示辨識結果

車輛影像擷取 像素相減法

判斷畫格像素差

影片畫格 30 frames / sec

擷取速率 1次 / 100ms 1次 / 3 frames

車牌定位

輸入 輸出

車輛圖像

Prewitt matrix

Search window

車牌圖像

車牌定位

Prewitt 突顯出黑白像素變化較大處 與車牌特性類似

Search Window Search Window 大小 100 * 40 累計值較大處

-1 0 1

-1 0 1

-1 0 1

字元切割 圖片掃描→縮小範圍→文字定位→切割取出 縮小範圍 (雜訊濾除 )

去除雜訊邊界 ( 上方的發牌縣市、鎖車牌的鏍帽 )

直方圖累計 切出車牌文字的上下緣後，定位出字元區域，再利用垂直的直方圖累計切割出每個文字方塊

字元切割

採比例門檻 y[i] / y[i - 1] > 1.5 整張車牌的文字上下緣

特性為直方圖累計值較高處

辨識字元 樣本預先分類

英文字母 A~Z 及數字 0~9共 36 組作為基本原型字組 增加 1% 、 2% 、 5%雜訊字元模型 增加 1~5度傾斜角度字元模型

正規化影像字元 高 50 pixels 寬 26 pixels

直方圖統計值 共 76 筆資料

字元編碼 6 bits

回傳給後端使用者 系統偵測到之車牌影像 辨識出來的車牌號碼

外力影響 使用者以人工方式加以校對 避免漏失重要資訊

辨識後之處理

監控系統之整合 鄰里安全 超速偵測

資訊之即時傳遞 線上警網 欠稅資料

研發方向

實例五之ㄧ

鳥類檢索系統（ e 機在手，鳥趣無窮）

動機 希望以 Java 手機結合 Server 建構一個行動式的學習

環境，利用手持裝置之便利性，提供無所不在的學習之旅。

透過簡單明瞭的圖形與按鍵設計，建立使用者易於操作的介面，方便使用者做搜尋的動作。

提出一個搜尋系統的模型，可迅速套用至其他應用上，不侷限於鳥類搜尋的範圍。 Example: 植物、商品、藥物、導覽等。

Association Rule BP Network

Java Cellular Phone

Record Management System

Database

Server

鳥類生態自然公園

GPRS

系統架構

開發環境 硬體需求： PC 、 Nokia 7610 。 開發平台：

用戶端： Symbian 60 系列 (Java 手機 ) 伺服器端： Windows XP (PC)

開發軟體： 用戶端

JBuilderX 、 Wireless_toolkit-22 、 Series_60_Platform_2nd_Ed_FP1 、 ActivePerl

伺服器端 JDK 1.5.0_05 、 Tomcat 5.5.9

通訊方式： GPRS 。

系統功能 我們的系統對「鳥類搜尋」提出一個完整的架構。

本系統包括下列幾項主要的功能： 以輸入鳥類名稱的方式做關鍵字檢索 利用圖片特徵勾選的方式做特徵檢索 行動式教學環境 生態筆記 系統推薦機制 記錄使用者資料與搜尋記錄探勘

系統功能 - 文字搜尋與特徵搜尋 文字搜尋：輸入鳥名，做關鍵字搜尋。 特徵搜尋：六個圖片特徵中至少選擇一項。

體型： ( 體型大、體型小 ) 嘴形： (鉤形、彎錐形、雞鴨形、長形 )

飛行： (盤旋式、直線式、波滾式 ) 行走： (步行、跳躍 ) 顏色： ( 深色、淺色、紅褐色、綠色 )

足型： (長腳、短腳 )

系統功能 - 行動式教學環境 適合室內 (ex. 博物館 ) 與戶外 (ex. 動物園 ) 使用。 注入行動教室的概念，可使用手機欣賞影像、聲音、

文字、圖片等資源，兼具在室內講授的教學品質與戶外學習的樂趣。

系統功能 -生態筆記 格式

主題 地點 時間格式 (Thu, 13 Oct 2005 17:04:02 GMT+8) 心得內容

使用者查詢生態筆記記錄時，系統會依主題排序供使用者選擇。

系統功能 - 系統推薦機制 透過 Data mining 中 Apriori-like 演算法進行探勘，

找出鳥類與區域之間的關聯。 建立推薦模型，主動推薦使用者搜尋之鳥類所在區域的其他鳥類。

九大區域： 水域、中低海拔空曠林區、平地、平地樹林底處、田地、沿海、低山區草叢、河川或溪流、中低海拔樹叢

系統功能 - 系統推薦機制

User query

ServerDatabase

特徵：

嘴形→雞鴨形嘴

將搜尋條件丟給資料庫做搜尋

將搜尋結果回傳給 Server

Server回傳結果至手機上顯示，使用者點選「綠頭鴨」查詢詳細資料

系統功能 - 系統推薦機制

User query

Server

S={ 資料庫所有鳥類之集合 } 首先，利用 Minimum spanning tree 演算法將 S分成幾個群組。

再使用 Apriori-like 演算法從每一群組中找出 Large item set 與有效的關聯法則。

Large item set 即表示同一區域中較容易聚在一起的鳥類。

Example: 找到規則R1={綠頭鴨 , 花嘴鴨 , 小水鴨 }皆是位於水域。

點選：

綠頭鴨

交易記錄為

T1={綠頭鴨 }向資料庫做搜尋

將搜尋結果回傳給 Server

Server推薦花嘴鴨與小水鴨給使用者

Database

系統功能 -記錄使用者資料與搜尋記錄探勘 使用者帳號 、密碼寫入資料庫。 將搜尋記錄寫入資料庫，每一位使用者最多可記錄最近 30 筆鳥類搜尋記錄。

使用者透過輸入之帳號 與密碼之比對，可從資料庫取得過去 30 筆搜尋記錄。

回傳搜尋記錄至用戶端。

系統架構 ( 用戶端 )

主畫面文字搜尋

特徵搜尋搜尋結果 鳥類圖片

鳥類介紹鳥類聲音鳥類影片搜尋記錄生態筆記系統推薦

系統架構 ( 用戶端 )

主畫面文字搜尋

特徵搜尋搜尋結果 鳥類圖片

鳥類介紹鳥類聲音鳥類影片搜尋記錄生態筆記系統推薦

系統架構 ( 用戶端 )

主畫面文字搜尋

特徵搜尋搜尋結果 鳥類圖片

鳥類介紹鳥類聲音鳥類影片搜尋記錄生態筆記系統推薦

系統架構 ( 用戶端 )

主畫面文字搜尋

特徵搜尋搜尋結果 鳥類圖片

鳥類介紹鳥類聲音鳥類影片搜尋記錄生態筆記系統推薦

系統架構 ( 用戶端 )

主畫面文字搜尋

特徵搜尋搜尋結果 鳥類圖片

鳥類介紹鳥類聲音鳥類影片搜尋記錄生態筆記系統推薦

系統架構 ( 用戶端 )

主畫面文字搜尋

特徵搜尋搜尋結果 鳥類圖片

鳥類介紹鳥類聲音鳥類影片搜尋記錄生態筆記系統推薦

系統架構 ( 用戶端 )

主畫面文字搜尋

特徵搜尋搜尋結果 鳥類圖片

鳥類介紹鳥類聲音鳥類影片搜尋記錄生態筆記系統推薦

系統架構 ( 用戶端 )

主畫面文字搜尋

特徵搜尋搜尋結果 鳥類圖片

鳥類介紹鳥類聲音鳥類影片搜尋記錄生態筆記系統推薦

研發方向 系統功能

3G 手機平台移植 串流影片 語音記錄 人機互動教學

比賽花絮

實例五之二

鳥類檢索系統（ emome ）

目標 以 Java 手機結合 Server 建構一個行動式的學

習環境，利用手持裝置之便利性，提供無所不在的學習之旅。

透過簡單明瞭的圖形與按鍵設計，建立使用者易於操作的介面，方便使用者做搜尋的動作。

提出一個搜尋系統的模型，可迅速套用至其他應用上，不侷限於鳥類搜尋的範圍。 Example: 植物、商品、藥物、導覽等。

Association Rule BP Network

Java Cellular Phone

Record Management System

Database

Server

鳥類生態自然公園

GPRS

系統架構

特徵搜尋

文字搜尋：輸入鳥名，做關鍵字搜尋。 特徵搜尋：六個圖片特徵中至少選擇一項。

體型： ( 體型大、體型小 ) 嘴形： (鉤形、彎錐形、雞鴨形、長形 )

飛行： (盤旋式、直線式、波滾式 ) 行走： (步行、跳躍 ) 顏色： ( 深色、淺色、紅褐色、綠

色 ) 足型： (長腳、短腳 )

雛型畫面 - 查詢

雛型畫面 - 加值

用功、用功、再用功總是會有收穫的

Thank You