你可能不止一次，見過你的朋友們分享下面這些看上去很“哇”的表演瞬間。

比如一整屏的像素點仰面摔下:

比如呼啦圈的旋轉引起地面波紋:

比如用手擊碎這些屏幕顆粒:

經過多輪刷屏，尤其是2016年年初，這幫幻覺制造者們還跑來北京天橋演出了。到現在為止，應該有不少人都了解這個團隊--來自法國的AdrienM&ClaireB。

為什么要提到他們呢?

因為，這個法國團隊，基本上是我的“新媒體舞蹈”啟蒙老師。2015年年初，我不幸看到了他們火遍朋友圈的作品Pixel，驚嚇之余立刻跑去墻外找了更多更多的信息，然后……就停不下來了。

先來說說他們是怎么“啟蒙”我的

大家都知道，現在在舞臺上使用投影或LED屏實在是一件太稀松平常的事情了。隨之而來的是一個常被詬病的問題--投影和表演之間往往并沒有太多聯系，呈現出“兩張皮”的尷尬狀況。

為解決“高科技”投影和“傳統”表演之間的關聯問題，各種打著“全息”名義的投影層出不窮--它們創造了一種3D視覺效果，使曾經在表演者“背后”的投影，現在起碼看上去好像是在“身邊”了。

看上去像是環繞在演員身邊的紗幕投影效果

不過，大多數貼著“全息”標簽的表演其實就是紗幕加投影，和真正的“全息”技術壓根沒啥關系。但是，至少前進了一步。

Adrien M & Claire B當然也這么做了。但這并不是我被“啟蒙”的原因。

就像舞臺上使用投影一樣稀松平常--當使用投影時，演員與投影的視覺配合演出也同樣數不甚數。這一類表演精打細算地卡好時間節點，反復排練一個一個的Cue點，總能表演得像真的一樣，引來層出不窮的“哇”。

但是面對這種情況，我實在“哇”不出來。

明明沒有互動機制，卻要裝得像有互動。設計得再精細，時間點卡得再好，也還是假的。并且，隨著時間的發展，這個偽裝套路充其量越做越精致，但卻沒可能有質的update。實在是太沒勁兒了。

所以，Adrien M & Claire B給我注入的第一個想法就是--他們有些細節，看上去不像是裝的啊!好像是真的，有交互!

咦，怎么做到的?!

他們如何做到最基礎的“不裝”?

我們且把一個基本的交互系統簡化為如下三個部分。

舞臺上也是這個道理。演員的動作就是輸入，對動作輸入進行信號采集，由計算機進行處理，最終通過屏幕或投影儀進行輸出顯示。

那些“假”互動的表演，就是沒有對演員的動作進行真正的“輸入”。因此，整個互動機制就不成立--一旦演員慢半拍，或者位置跑偏，這個“造假”表演基本上就砸了。

后期“PS”上去的配合效果

那么，如何對演員的動作進行“真正”的輸入呢?

想要對動作進行真實的輸入，就需要用到動作捕捉/追蹤技術。下面這個同樣來自Adrien M的小demo，使用了手部動捕利器Leap Motion，來進行實時的動作交互。

也許不如“PS”效果炫，但“真實”的交互有不可思議的魅力

真實的動作輸入:盤點常用的動捕技術

有哪些常用方式，可以用來對演員的動作進行真實的“輸入”呢?

1.傳統光學動作捕捉系統

最常用的是基于Marker(馬克點)的光學動作捕捉。在演員身上粘貼能夠反射紅外光的馬克點，通過攝像頭對反光馬克點的追蹤，來對演員的動作進行捕捉。有時也會通過演員身穿反射紅外光的緊身衣來完成。

來自光學動捕大佬Vicon公司官網的宣傳圖

身上的小白點就是Marker，Truss架上是攝像頭

這種方式對動作的捕捉精度高，但環境要求也高，并且還超級貴，屬于好萊塢大片拍攝利器之一。不過，如果只是自己想搗騰玩玩，不僅用不起，而且一般還用不好。

*代表產品:Vicon Motion System / Motion Analysis System

2.慣性動作捕捉系統

這一類主要是基于IMU(慣性測量單元)來完成對人體動作的捕捉。把集成了加速度計，陀螺儀和磁力計的IMU綁在人體的特定骨骼節點上，通過算法對測量數值進行計算，從而完成動作捕捉。

聽起來好像有點兒難懂，但其實我們每個人每天都會接觸--我們的智能手機里都內置了IMU。這就是為什么當你把手機橫屏時，正在播放的視頻也會跟著橫過來。

來自國內慣性動作捕捉公司Noitom的動捕案例

綁在演員身上的小紅塊就是IMU，一共需要綁17個

傳統光學動捕來說，這種慣性動作捕捉方案相對價格低廉，適合小型工作室或預算不太高的團隊完成動作捕捉。

*代表產品:XSENS / Noitom

3.基于計算機視覺的動作捕捉

前兩種常用的動作捕捉方式都已經有很長的發展歷史了，但這種基于計算機視覺的動作捕捉卻是近些年才興起的。不過，對于藝術創作和表演來說，這種方式因其簡單、易用、低價，目前使用的頻率可以說是最高的。

這種捕捉方式主要是通過采集及計算深度信息來完成對動作的捕捉。

比如，前文所提到，Adrien M做的手部交互小demo就是使用了以這類方式進行手部動作捕捉的產品Leap Motion。

Adrien M使用Leap Motion作為手部動作輸入端

Leap Motion官方操作指南，非常簡易，插上即用

Leap Motion只能捕捉手部動作，應用范圍相對窄一點。畢竟除了“手舞”，我們還需要“足蹈”。因此，另外一個能捕捉身體動作的產品Kinect，基本上遍布各種需要交互的創作場景。

使用Kinect進行實時交互，可以與另一個形態的自己互動

尤其是那些出現在商場、影院、劇場里的可交互裝置，如果你湊上前去看一眼，里面多半藏著一個Kinect。

*代表產品:Kinect/Leap Motion

不那么好的“真”，和看上去很好的“假”

當然，我的“啟蒙老師”AdrienM&ClaireB也并非每一次都用了“真”交互。

在現階段，令絕大部分看客在第一時間感到激動也不一定是“真”交互。就像神秘的AR(增強現實)產品Magic Leap最廣為人知的，不就是那個鯨魚躍出地面的特效“假”視頻么。

Magic Leap早期宣傳視頻中最“激動人心”的一幕

然而，和人們的期待不太一樣，新技術在發展的早期，往往是笨拙的。但是，卻是極具啟發的。這種啟發，主要發生在觀念的轉化和思考的路徑上。

因此，只有真的--真正的動作輸入，才有那么一點可能帶來創作方式、展演形式和思考路徑上的革新。

即使它第一眼看上去可能會麻煩、難用或不那么友好，但所能帶來的變革，是一萬個“假”互動加起來也沒辦法做到的。