一、動機與背景
近年來許多工廠為了降低成本和減少人力成本,工廠的作業朝著全面自動化發展,生產線人數將儘可能的降低,取而代之的是只需要少許的遠端監視和操控人員;或者是工廠之工具機台的操作環境過於狹窄,造成操作不便或無法以人力下去作業,因此,為了達到節省成本和操作便利性之目的,故即時遠端控制工具機的模式是需要的。即時遠端控制工具機台的模式必須能使監視和操控人員能以一對多台工具機的流程下去進行,但在進行作業的途中假使發生狀況、緊急事件,必須馬上停止機台作業時,還得進行多道程序的流程(例如:操作按鈕、控制介面、通報管理單位)。為了簡化流程,並讓操作者不必趕往現場停止機器,我們打算利用 Kinect來達到讓操作者能夠一對多之指揮機台運作。
二、創作過程與成果
1. 軟體需求分析
a. 軟體產品企畫概念
將採用NXT樂高機器人來模擬工廠機台遠端操作應用,首先是Kinect抓取到的動作信號,利用NXT樂高機器人配合動作信號,做出相對應的行進動作。本計畫將結合Android智慧型手機[2]、Kinect感測器[3]、資料庫[4],讓NXT樂高機器人可透過操作者做出的動作來控制NXT樂高機器人的執行動作,用以模擬工廠的工具機台,並作為未來能結合工廠的工具機台操作並改善作業流程的方便性,且可達成遠端控制的目的。
b. 軟體功能
1.手勢偵測:藉由特定動作來對機器人下達命令,各個特定動作所對應的命令如下表。
代號 |
動作指令 |
手勢 |
動作說明 |
1 |
前進 |
左手舉高 |
|
2 |
後退 |
雙手舉高 |
|
3 |
右轉 |
右手平舉 |
|
4 |
左轉 |
左手平舉 |
|
5 |
停止 |
雙手放下 |
2.聲源方位辨識:Kinect 的聲源方位辨識的辨識範圍為正前方扇形100度,而我們預計將原本100°範圍分成10等分改成5等分,且分別代表指揮全部的和個別的機器人。
2. 軟體設計
硬體系統架構
一、流程架構圖
3. 產品測試
吵鬧場所測試
安靜場所測試
4. 產品展示
這是我們所使用的kinect 感測器 主要擷取功能:
|
|
這是使用者介面,會顯示下列:
|
|
這是用來模擬工具機的樂高機器人與傳輸指令用的手機 |
|
這是手機畫面,用來顯示下列資訊:
按鈕則是分別為:
|
4.專案管理方式
1.工作分配圖
2.專案網路圖
3.甘特圖
三、創作心得
原本以為這是個容易的專題,但還是在許多方面遇到問題,也使我們不停的在找解決方法,這之間也有許多爭論和不合,儘管如此我們還是用盡心思完成與加強整體作品。下面是我們的幾點心得:
組員的問題,組員中並不是每個人都能排出時間參與會議,各自都有創作外的任務,所以每次開會並不是所有人都能到場,所以我們也使用通訊軟體來告知開會結果,好讓每個人都能清楚知道進度的進展。
尋找教學資源 除了平時在網路上查詢相關資料外,我們也翻閱相關書籍,也請教授幫我們安排前輩給予指導,讓我們增加更多知識。
四、效益或後續發展
由於此次研究沒有進行資料收集,還未導入機器學習,因此感測器在偵測人體動作時,經常會有失準的時候。在未來結合大數據及演算法,導入機器學習,將能夠更加提升AOI機器視覺的準確度並辨識更複雜、細微的動作,甚至能夠結合IoT技術,使得人機互動操作更加直覺性。kinect與樂高機器人,由於花費成本不高,皆是在學習感測器應用,與物聯網技術相當好的媒介,適合對於相關領域充滿興趣的使用者,作為入門的第一步。未來期望將技術導入製造業,運用在一些需要隔離或是不能直接碰觸的工作環境中使用,並提升現有的機台的工作效率,簡化工作人員的運作流程。