Touch Everywhere

國立中正大學資訊工程學系 指導老師：劉興民 教授 高仲毅、林澤宏、林義嵐、萬怡恩

起源

你還在為螢幕的尺寸所困擾嗎？

如果，有一台裝置能滿足我在每種大小螢幕的應用，就好了。

第一代 The Toucher 誕生

於是

你可以試著想像一下

這是一台具備• 大尺寸投影機• 深度感測裝置• 最新操作系統• 高 1.5m• 重 40kg的多功能智慧裝置。

有一天， The Toucher可以放在你的肩膀上。

所以，滿足了你所有的需求

Use The Toucher Touch Everywhere

Our work

• 使用實驗室的設備和容易取得的材料，組裝出我們的雛型機。• 使用我們自己的演算法，找出兩隻手的手指。• 自動偵測畫面大小，以配合操作。• 在凹凸不平的表面上也能操作。• 克服硬體偵測時，雜訊干擾的問題。

Methodology

在 Kinect所取得的深度資訊上切出一個空間範圍，作為我們的感應平面，當使用者的手指進入此感測區，系統將發出相對應的訊號。

感應平面與屏幕相對位置之示意圖

自動背景校正

• 利用 Kinect前十次所取得的深度資訊 (前十個frame)來建立出一個背景平面，此平面做為未來背景深度的依據，藉由這方法可以使我們在任何地方都可以讓 Kinect的偵測平面落在背景上。 (Demo)

處理前 處理後

濾雜訊

• 公式：• 若和矩陣 G經過運算後， h(i,j)==1就將其留下。

處理前 處理後

濾雜訊

• 公式：• 若和矩陣 G經過運算後， h(i,j)==1就將其留下。

處理前 處理後

分出單多點

• 在使用者接觸時即時判斷該動作是單或多點命令。將所有藍點位置儲存至一陣列，計算藍色群的重心做為中心點。若通過中心點的垂直線和水平線「皆」通過藍色群，為單點；若非，即為多點。

分出兩點

• 在使用者接觸時即時判斷該動作是單或多點命令。將所有藍點位置儲存至一陣列，計算藍色群的重心做為中心點。若通過中心點的垂直線和水平線「皆」通過藍色群，為單點；若非，即為多點。

同心圓

• 為了更加穩定手指位置而構思出此方式。未加這個演算法時，手指位置振動幅度大。而此方法則是比對上一次位置，若這次點落在小同心圓內，則歸納跟上次同一個點，若在大圓外，則是雜訊，也歸納跟上次同一個點，亦即有效更新點則若在大小圓之間。這個方式有效穩定手指訊號。 (影片)

(裡 )

(外 )

凹凸表面自動適應•為了克服投影表面凹凸不平的狀況，紀錄 kinect第一次所取得的每一個座標點的深度值，建立出反應該深度值的觸控表面。 (影片：手機、地球儀 )

程式執行流程

背景校正切出平面濾雜訊

分辨單點多點觸控

單

沿用分辨時所取得的重心同心圓

多

找出個別位置同心圓

OS

實際操作

• 基本動作 ( 動態磚 ) ：• Tap• Hold• Drag• Zoom In/Zoom Out• Rotate

• 切繩子• 畫畫

結論

• 目前已完成作業系統提供大部分的觸控手勢。• 目前經過測試，在牆面、桌面和一些不平整平面上可以完成操作。• 目前我們的系統已可以完成某些應用程式的操作需求。

尚待克服的問題

• 硬體體積較大• Kinect 偵測距離、紅外線測距精準度• Kinect 解析度問題

Q&A

成員分工

• 組長：高仲毅：統整規劃、 Schedule 規劃• 組員：林澤宏： Configuration 、數據紀錄和整理• 林義嵐：文件、海報、投影片、影片整理• 萬怡恩：比賽統籌規劃、開會紀錄

榮獲2012 第 17 屆全國大專院校資訊應用服務創新競賽 佳作

感謝您的聆聽The End.