市面上手势/体感操控产品

2010年之后，手势/体感识别技术发展迅速，出现了很多手势识别、体感识别的产品，包括：

2010年6月，微软发布体感游戏机Xbox kinect；
2013年1月，三星发布有手势识别的电视机；
2014年11月，Eyesight公司发布手势操控Singlecue机顶盒（目前已停产）；
2017年5月，大疆发布“晓”Spark无人机，可手势操控；
2019年10月，华为智慧屏，其中AI健身可识别人体姿势；
各大汽车公司，曾经都尝试做过手势识别的轿车中控；
......

手势识别在视频会议能做什么？

接听/挂断电话、调节音量、PPT翻页、拍照/截屏、静音/解除静音、菜单操控（会议室环境控制，空调、座椅、窗户等）等功能，特别是在一些不方便用手按遥控器和触控板的会议场景下，例如远程实时医疗手术。

我觉得，手势操控更多的是未来人机交互中的一种，与遥控器操控、触控屏操控、语音操控等等是相辅相成、互为补充的。

手势识别技术

（此章节以下部分引自 https://cloud.tencent.com/developer/article/1103967 ，作者：机器人网）

目前识别技术主要分为二维手型识别、二维手势识别、三维手势识别。

二维手型识别

二维手型识别，也可称为静态二维手势识别，识别的是手势中最简单的一类。这种技术在获取二维信息输入之后，可以识别几个静态的手势，比如握拳或者五指张开。

二维手势识别

二维手势识别，比起一维手型识别来说稍难一些，但仍然基本不含深度信息，停留在二维的层面上。这种技术不仅可以识别手型，还可以识别一些简单的二维手势动作，比如对着摄像头挥挥手。其代表公司是来自以色列的PointGrab，EyeSight和ExtremeReality。

二维手势识别拥有了动态的特征，可以追踪手势的运动，进而识别将手势和手部运动结合在一起的复杂动作。这样一来，我们就把手势识别的范围真正拓展到二维平面了。我们不仅可以通过手势来控制计算机播放/暂停，我们还可以实现前进/后退/向上翻页/向下滚动这些需求二维坐标变更信息的复杂操作了。

三维手势识别

接下来我们要谈的就是当今手势识别领域的重头戏——三维手势识别。三维手势识别需要的输入是包含有深度的信息，可以识别各种手型、手势和动作。相比于前两种二维手势识别技术，三维手势识别不能再只使用单个普通摄像头，因为单个普通摄像头无法提供深度信息。要得到深度信息需要特别的硬件，目前世界上主要有3种硬件实现方式。加上新的先进的计算机视觉软件算法就可以实现三维手势识别了。

1、结构光（Structure Light）

结构光的代表应用产品就是PrimeSense公司为大名鼎鼎的微软家XBOX 360所做的Kinect一代了。这种技术的基本原理是，加载一个激光投射器，在激光投射器外面放一个刻有特定图样的光栅，激光通过光栅进行投射成像时会发生折射，从而使得激光最终在物体表面上的落点产生位移。

2、光飞时间（Time of Flight）

光飞时间是SoftKinetic公司所采用的技术，该公司为业界巨鳄Intel提供带手势识别功能的三维摄像头。同时，这一硬件技术也是微软新一代Kinect所使用的。这种技术的基本原理是加载一个发光元件，发光元件发出的光子在碰到物体表面后会反射回来。使用一个特别的CMOS传感器来捕捉这些由发光元件发出、又从物体表面反射回来的光子，就能得到光子的飞行时间。根据光子飞行时间进而可以推算出光子飞行的距离，也就得到了物体的深度信息。

就计算上而言，光飞时间是三维手势识别中最简单的，不需要任何计算机视觉方面的计算。

3、多角成像（Multi-camera）

多角成像这一技术的代表产品是Leap Motion公司的同名产品和Usens公司的Fingo。

这种技术的基本原理是使用两个或者两个以上的摄像头同时摄取图像，就好像是人类用双眼、昆虫用多目复眼来观察世界，通过比对这些不同摄像头在同一时刻获得的图像的差别，使用算法来计算深度信息，从而多角三维成像。

技术实现适用性

从手势识别技术实现的适用性来看：

在会议室思科现有视频终端上实现手势识别，可能的方案就只有视频手势识别、超声波手势识别和雷达手势识别了，但是后两个方案需要增加额外的发射装置，要在视频终端正面，而且超声波功精度没有雷达方式高，超声波率过大就变成了微波，人在会议终端前开会久了就是微波炉里的一盘可以行走的肉。所以，后续思科在视频终端中加入手势识别，我才最有可能实现的方式就是视频手势识别。

结合前一节提到的手势识别技术分类，目前思科一部分视频终端是单镜头，另一部分视频终端是双镜头或四镜头组的，不太确定后续思科会用二维手势识别还是三位手势识别来实现，个人认为会用前者。

Nvidia 芯片/套件上运行手势识别模型

还记得《#804 - 认知协作#4：面部识别/姓名标签》里提到思科Room系列、Webex Board系列视频终端内，使用了Nvidia Jetson处理器芯片套件吧。

其中零售价$99的Jetson Nano使用的是Tegra TX1处理器芯片。Jetson Nano是一块SBC（Single Board Computer，单板机），开发者拿它来用作很多电子产品设计的主板，如避障运输车，因为它的处理能力足够强大。

2019年上半年，MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能联合实验室）的研究人员在NVIDIA Jetson Nano和Jetson TX2等边缘设备上开发了一种新型深度学习模型，该模型极大提高了视频应用中手势识别程序的速度，并降低了深度学习模型对边缘计算硬件的处理能力要求。

以下是DEMO手势识别演示程序（演示视频使用的是低配的 Nvidia Jetson Nano 开发套件，镜头随便选的。另外一个演示视频使用 Nvidia Jetson TX2 开发套件的DEMO演示视频及整个论文，详见：https://hanlab .mit.edu/projects/tsm/）。

演示视频：

可以看出，英伟达的NVIDIA Jetson系列处理器芯片，完全能胜任手势操控、体感操控的边缘计算任务。如何开发出算法更高效、计算量更小的深度学习框架，在更短的时间内训练出模型，使得摄像头能在更低的延迟下从视频中对手势进行分类和识别，是视频终端后续集成手势操控功能的需要重点考虑的方面。

思科视频会议中手势操控猜想

说实话，思科除了在Cognitive Collaboration白皮书中提到了一句手势识别以外，目前还没有关于手势操控的任何资料，至于在视频终端中添加什么元器件、如何实现手势识别、添加哪些手势，都不得而知。

举上面的一些例子呢，是想说明：我个人认为思科视频终端其实已经从处理器芯片、算法模型等方面，是能够胜任手势识别的软硬件要求的。

所以，后面有关于思科认知协作手势识别部分，都是我个人胡乱猜测的。

结合“手势识别技术”一节提到的手势识别技术分类，目前思科一部分视频终端是单镜头，另一部分视频终端是双镜头或四镜头组的，不太确定后续思科会用二维手势识别还是三位手势识别来实现，个人认为会用前者，即通过视频画面图像中对比连续几帧二维画面中的手势图像，进行二维手势识别。

至于在会议室思科现有视频终端上实现手势识别，根据“技术实现适用性”一节提到的手势识别各种适用性方案就只有视频手势识别、超声波手势识别和雷达手势识别了，但是后两个方案需要增加额外的发射装置，要在视频终端正面，而且超声波功精度没有雷达方式高，超声波功率过大就变成了微波，人在会议终端前开会久了就是微波炉里的一盘可以行走的肉。所以，后续思科在视频终端中加入手势识别，我猜最有可能实现的方式就是视频手势识别方式。

手势有几百几千种，但常用的手势不可能太多太复杂，太多了人记不住，太复杂了机器理解不了。所以，一般10~20来个常用的可能就差不多了：

左划、右划、上划、下划、前推、后撤、顺时针、逆时针、双指捏合、双指撑开、左右挥手，以及一些特定的手型，例如V字型、OK手势、比心手势、拍照手势、点赞手势、嘘（动作）等。

而视频终端常用的操作有：