一场音乐剧即将开始,奇怪的是这出音乐剧不像一般舞台剧不准观众录影,或在开演前总要提醒观众将手机关机或转为静音;相反的,他们鼓励观众拿起自己的智慧手机或平板电脑,在看演出的同时,到剧团的facebook上面打卡或留言。
演出到中间,观众的留言被投射在布幕上,随着舞台上钢琴家手指落在黑白键上,布幕上的文字被转化为影像或音乐符码。当钢琴家弹奏完一段音乐,这些文字被重新拼贴,成为剧中一段重要的讯息,让观众不仅是这场音乐剧的观赏着,也是参与演出的角色之一!
这种不同的表演方式称为互动艺术,另一个名字称为「新媒体」。
为了做到这样的互动表演,这场舞台剧的创作者-人力飞行乐团,找上了专门做互动科技的帝凯科技林义翔和刘士达。
这样看似简单的表演,其实背后需要一道又一道的程序才能够做到。光是从facebook撷取讯息转换为文字,就是一大工程。
facebook虽然有提供API,也开放了一些控制的方法,但仍然不完整。因此,必须先从复杂的结构中解析出所需的部分,再将这个部分利用JavaScript写出软体,且即时的传送到Arduino这端。
Arduino此时扮演与钢琴沟通的角色。当键盘触发Arduino后,Arduino反应到软体上,软体再撷取资料并将画面呈现于观众面前。但是,光让每个琴键连结到不同的讯息还不够,为了让这场表演更有生命力,Arduino还必须侦测钢琴家按下琴键时,随着不同的音高、力度及延音而有不同的呈现。
Arduino降低技术门槛
以前,软体和硬体上的高难度,让艺术家想要做到这样的表演,几乎是难如登天。但是现在,在Massimo Banzi团队开发出Arduino后,当硬体的开发变得容易,软体及硬体的结合变得更加简单,艺术家的创作也更为多元化。
举例来说,互动桌、互动墙或互动地板在20年前,已属于了不起的互动科技作品。但是现在可以做到不只是影像以及互动,在Arduino出现后,还加入了控制的元素。当这三者合而唯一,就不单只是墙或地板的想像空间,互动艺术变成可以是立体的,可以是穿在人身上的,或是可以建立在户外。
但是控制这件事情,在不同的领域有不同的解读。在工业控制领域,要控制一万个点是件小事;然而,换到建筑领域,就变成极其困难的一件事情。 Arduino的出现,让这些困难变得简单,许多艺术家天马行空的想像得以成真。
Arduino是什么?它是一个开源的单板机控制器,采用了开放原始码的软硬体平台,并且具有使用类似Java,C语言的Processing/Wiring开发环境。透过接收红外线、超音波、光敏电阻等各种传感器的讯号,Arduino可以感知环境,控制灯光、马达或其他驱动器。简单来说,Arduino就像是将传感器及驱动器黏在一起的胶水。
易于使用的硬体、软体平台,让艺术家、设计师或任何对互动有兴趣的人都能够将想法付诸实现。
此外,它最大的特点在于「社群」。 Arduino有完整及热络的社群,「有问题就到讨论区发问,全世界的工程师马上会帮你想出解决方案,我们遇到瓶颈就是这样找出方法」刘士达说道。
图一 : 剑舞楚天--越王句践剑展中的互动,让参展的人可以真正摸到宝剑,而不是仅止于在玻璃橱窗内观赏。(国立台湾博物馆) |
|
LED怎么玩?
有了开放硬体的加入后,互动科技有了不一样的呈现方法。以LED来说,他们就曾做过两种截然不同的互动设计。和他们合作的一个是豪华朗机工艺术创作团队,另一个是一间Pub的舞团。
为豪华朗机工作的是一件称为「日光域」的艺术作品。这件作品原先是由LED厂商赞助,后来赞助结束后,帝凯科技接下后续的设计。
在做好影像画面后,透过写好的软体程式,将讯号传送到Arduino,当Arduino接收软体命令后,再去控制灯泡亮度,让灯泡可以呈现极亮或极暗,让人仿佛有沐浴在阳光下的感觉。
除了艺术家之外,Pub的舞团也遇到技术上的问题。跳舞和科技,看似两个不同领域的东西却在Arduino的帮忙下,巧妙地结合在一起。
舞团想在表演上加入创新的元素。一开始,舞团的想法是做一颗发光球,当观众拍球时,球会不断的变换颜色。 「但是这在国外已经有人做过,我们觉得很无聊。」喜欢玩出不一样东西的两人提供舞团更多的想法,有些甚至是他们连想都没想过的。
就像LED灯条最常用的就是黏在招牌上面,吸引客人;没有人想过,有一天也可以穿在人身上,甚至拿来做表演。因此,他们最后决定,将LED穿在身上,「国外有人做,但是没有人做到这么fancy」,刘士达说道。
市面上一般的LED灯条发亮模式是固定的,只能做到开和关。但是有了Arduino,做到了控制LED灯发亮的时间点,且是即时的。只要先利用软体后制好LED影像呈现,再透过电脑发射无线讯号到Arduino,Arduino接收讯号后,控制每一位舞者身上的灯条,搭配上舞蹈,即可成为一整套完整的表演。
此外,不同于业界的使用的编辑程式,两人还利用如Premiere的影像剪辑软体,加入「时间轴」的概念。举例来说,LED厂商可以做出花俏的LED灯墙、绚丽的灯光,要制造出流星灯的效果更是小事一件。
不过要让这个效果从什么时候开始、到几秒结束,却是一件不容易的事情,而这对重视时间、节奏的舞者来说,却是非常重要的。有了时间轴的概念,舞者便可以更灵活地去运用、操作且编舞。
「如果对互动领域没有全盘的考量,做出来的设计会带来一些麻烦。」这是两人在经过多次经验后累积出来的感想。
图三 : 团员们正在讨论LED明暗的时间点,以便和舞蹈结合。 |
|