一場音樂劇即將開始,奇怪的是這齣音樂劇不像一般舞臺劇不准觀眾錄影,或在開演前總要提醒觀眾將手機關機或轉為靜音;相反的,他們鼓勵觀眾拿起自己的智慧手機或平板電腦,在看演出的同時,到劇團的facebook上面打卡或留言。
演出到中間,觀眾的留言被投射在布幕上,隨著舞臺上鋼琴家手指落在黑白鍵上,布幕上的文字被轉化為影像或音樂符碼。當鋼琴家彈奏完一段音樂,這些文字被重新拼貼,成為劇中一段重要的訊息,讓觀眾不僅是這場音樂劇的觀賞著,也是參與演出的角色之一!
這種不同的表演方式稱為互動藝術,另一個名字稱為「新媒體」。
為了做到這樣的互動表演,這場舞臺劇的創作者-人力飛行樂團,找上了專門做互動科技的帝凱科技林義翔和劉士達。
這樣看似簡單的表演,其實背後需要一道又一道的程序才能夠做到。光是從facebook擷取訊息轉換為文字,就是一大工程。
facebook雖然有提供API,也開放了一些控制的方法,但仍然不完整。因此,必須先從複雜的結構中解析出所需的部分,再將這個部分利用JavaScript寫出軟體,且即時的傳送到Arduino這端。
Arduino此時扮演與鋼琴溝通的角色。當鍵盤觸發Arduino後,Arduino反應到軟體上,軟體再擷取資料並將畫面呈現於觀眾面前。但是,光讓每個琴鍵連結到不同的訊息還不夠,為了讓這場表演更有生命力,Arduino還必須偵測鋼琴家按下琴鍵時,隨著不同的音高、力度及延音而有不同的呈現。
Arduino降低技術門檻
以前,軟體和硬體上的高難度,讓藝術家想要做到這樣的表演,幾乎是難如登天。但是現在,在Massimo Banzi團隊開發出Arduino後,當硬體的開發變得容易,軟體及硬體的結合變得更加簡單,藝術家的創作也更為多元化。
舉例來說,互動桌、互動牆或互動地板在20年前,已屬於了不起的互動科技作品。但是現在可以做到不只是影像以及互動,在Arduino出現後,還加入了控制的元素。當這三者合而唯一,就不單只是牆或地板的想像空間,互動藝術變成可以是立體的,可以是穿在人身上的,或是可以建立在戶外。
但是控制這件事情,在不同的領域有不同的解讀。在工業控制領域,要控制一萬個點是件小事;然而,換到建築領域,就變成極其困難的一件事情。Arduino的出現,讓這些困難變得簡單,許多藝術家天馬行空的想像得以成真。
Arduino是什麼?它是一個開源的單板機控制器,採用了開放原始碼的軟硬體平臺,並且具有使用類似Java,C語言的Processing/Wiring開發環境。透過接收紅外線、超音波、光敏電阻等各種傳感器的訊號,Arduino可以感知環境,控制燈光、馬達或其他驅動器。簡單來說,Arduino就像是將傳感器及驅動器黏在一起的膠水。
易於使用的硬體、軟體平台,讓藝術家、設計師或任何對互動有興趣的人都能夠將想法付諸實現。
此外,它最大的特點在於「社群」。Arduino有完整及熱絡的社群,「有問題就到討論區發問,全世界的工程師馬上會幫你想出解決方案,我們遇到瓶頸就是這樣找出方法」劉士達說道。
圖一 : 劍舞楚天--越王句踐劍展中的互動,讓參展的人可以真正摸到寶劍,而不是僅止於在玻璃櫥窗內觀賞。(國立臺灣博物館) |
|
LED怎麼玩?
有了開放硬體的加入後,互動科技有了不一樣的呈現方法。以LED來說,他們就曾做過兩種截然不同的互動設計。和他們合作的一個是豪華朗機工藝術創作團隊,另一個是一間Pub的舞團。
為豪華朗機工做的是一件稱為「日光域」的藝術作品。這件作品原先是由LED廠商贊助,後來贊助結束後,帝凱科技接下後續的設計。
在做好影像畫面後,透過寫好的軟體程式,將訊號傳送到Arduino,當Arduino接收軟體命令後,再去控制燈泡亮度,讓燈泡可以呈現極亮或極暗,讓人彷彿有沐浴在陽光下的感覺。
除了藝術家之外,Pub的舞團也遇到技術上的問題。跳舞和科技,看似兩個不同領域的東西卻在Arduino的幫忙下,巧妙地結合在一起。
舞團想在表演上加入創新的元素。一開始,舞團的想法是做一顆發光球,當觀眾拍球時,球會不斷的變換顏色。「但是這在國外已經有人做過,我們覺得很無聊。」喜歡玩出不一樣東西的兩人提供舞團更多的想法,有些甚至是他們連想都沒想過的。
就像LED燈條最常用的就是黏在招牌上面,吸引客人;沒有人想過,有一天也可以穿在人身上,甚至拿來做表演。因此,他們最後決定,將LED穿在身上,「國外有人做,但是沒有人做到這麼fancy」,劉士達說道。
市面上一般的LED燈條發亮模式是固定的,只能做到開和關。但是有了Arduino,做到了控制LED燈發亮的時間點,且是即時的。只要先利用軟體後製好LED影像呈現,再透過電腦發射無線訊號到Arduino,Arduino接收訊號後,控制每一位舞者身上的燈條,搭配上舞蹈,即可成為一整套完整的表演。
此外,不同於業界的使用的編輯程式,兩人還利用如Premiere的影像剪輯軟體,加入「時間軸」的概念。舉例來說,LED廠商可以做出花俏的LED燈牆、絢麗的燈光,要製造出流星燈的效果更是小事一件。
不過要讓這個效果從什麼時候開始、到幾秒結束,卻是一件不容易的事情,而這對重視時間、節奏的舞者來說,卻是非常重要的。有了時間軸的概念,舞者便可以更靈活地去運用、操作且編舞。
「如果對互動領域沒有全盤的考量,做出來的設計會帶來一些麻煩。」這是兩人在經過多次經驗後累積出來的感想。
圖三 : 團員們正在討論LED明暗的時間點,以便和舞蹈結合。 |
|