计算机视觉与室内解读

在思科认知协作涉及的技术中，计算机视觉（Computer Vision）层面提到了三个方向：

• 人脸识别（Face recognition）

• 手势识别（Gesture recognition）

• 物体识别和室内解读（Object recognition/Room interpretation）

人脸识别 和 手势识别 ，在先前的章节中都有涉及。现在，我们主要看看 物体识别和 室内解读这方面。

室内解读，思科提出这个概念，主要是希望视频终端能够借助AI技术识别会议室里的人和物，清点会议室的人数，并将其与会议室内的座位数进行比较、与会议名单上的名字进行比较等等，统计会议出席人数、会议室利用率、会议室空间大小合适度、为后续会议建议合适的会议室等等，在便利本地和远程会议参与者的同时，提高会议效率和优化会议资源的利用。

为了理解室内解读，先要了解会议室物体识别的技术问题。

物体识别（Object recognition）技术

要讨论思科提出的室内解读，就先要了解什么是物体识别（Object recognition）。物体识别又是另外一个宏大而复杂的技术话题，例如RCNN、R-CNN、faster RCNN、YOLO，SSD，RetinaNet，FPN等一堆算法，完全看不懂。想了解相关知识，需要自行查阅相关资料。以下是知乎上两篇较通俗的文章，供参考：

https://zhuanlan.zhihu.com/p/36668416

https://zhuanlan.zhihu.com/p/44670184

Nvidia Jetson套件上的物体识别学习模型

前面我们几次提到过Nvidia Tegra芯片和Jetson TX1/TX2套件，因为思科Room系列和Board系列视频终端里采用的 就是Nvidia处理器芯片/套件。

Nvidia Jetson TX1于2015年推出。此后，它已被包括丰田、思科在内的大公司以及Blue River lettuce机器人公司等初创公司采用。根据FCC Filings的说法，思科Webex Board 55内部采用的是NVIDIA Jetson TX1套件。

以下是基于Jetson Nano（配置比Jetson TX2低）的物体识别DEMO：

视频演示：

Nvidia芯片，为思科视频终端摄像头优化4K视频、最佳视角、发言者跟踪，提供人脸识别、物体识别、噪音抑制等功能的AI算力。

Nvidia，现在就代表着AI人工智能！思科当初选择Nvidia Jetson芯片组件，现在看来，是多么的明智啊！所以说，在设计硬件之初，一定一定要选好核心板子，以免后续真的要上H265、4K、AI等要求边缘处理能力的时候，才发现自己选的硬件能力达不到！

目前视频终端xAPI和命令行

在《 #804 - 认知协作#4：面部识别/姓名标签 》一文中，有提到《Collaboration Endpoint Software Api Reference Guide CE93》文档里有提到一些相关API，例如：

• RoomAnalytics PeopleCountOutOfCall

• RoomAnalytics PeoplePresenceDetector

• RoomAnalytics PeoplePresence

• RoomAnalytics PeopleCount Current

当然，以上只是现有的一些xAPI。后续思科如果要 进一步 增强 室内解读方面的功能，肯定会新增更多的xAPI。

《 #804 - 认知协作#4：面部识别/姓名标签 》一文中也提及了一些ISV的开发实例，主要是针对现有xAPI开发的室内人员检测、空闲/占用状态会议室的显示、参会人员数量统计的应用。

People Presence Detector确实依赖于- Cisco Proximity 功能。它使用终端的超声波 进行无线连接演示，而且还可以确定对比房间反射率是否有任何变化，从而确定会议室是否空闲。。如果未在终端上启用，则只需转到“Proximity”设置选项卡或搜索“ Proximity”关键字，打开 Proximity模式即可：

终端注册在内网On-prem时，只有菜单PeoplePresenceDetector（通过登录视频终端的Web GUI并打开“Setup->Configuration”选项卡，可以轻松启用这些设置。在搜索字段中，输入RoomAnalytics，这些选项将可见）：

或者SSH登录视频终端，用命令行来配置或者查看相关状态参数：

xConfiguration RoomAnalytics PeoplePresenceDetector:Off

** end

OK

xConfiguration RoomAnalytics PeoplePresenceDetector:On

** end

OK

xstatus RoomAnalytics PeopleCount

*s RoomAnalytics PeopleCount Current: -1

** end

OK

终端注册到Webex云端时，通过登录视频终端的Web GUI界面，并打开“Setup->Configuration”菜单选项卡，可以轻松启用这些设置。在搜索字段中，输入RoomAnalytics，这些选项将可见）：

会议室室内设备分析系统架构

视频终端设备通过各种传感器（超声波、摄像头计算机视觉等）解读会议室室内情况，上报给云端Webex Control Hub。Webex Control Hub会根据数据分析，对会议室设备、设施、空间大小等提出优化建议。

同时，第三方会议室室内解决方案也可以通过xAPI连接会议室内视频终端设备，获取相应数据信息，为最终用户呈现更便捷更智能的协作会议室体验，例如提供当前适合特定人数的空余会议室、提供会议室路径导览等等。

目前一些室内分析合作伙伴

国外已经有一些资深的会议解决方案提供商，兼顾多品牌的同时，能够利用思科现有API接口，开发出统计会议、会议室、视频终端等信息的系统。 以下例举了4个合作伙伴：

• Vyopta

• ifiniti

• FLOWSCAPE

• appspace

结尾

目前，根据思科视频终端和系统开放出来的API，实现了以下一些功能：

• 会议室空闲/占用判断；

• 会议室参会人员统计；

• 会议室开会利用率统计；

• 会议室地图导航指引；

让我们来猜猜思科想在后面的认知协作里面再增加哪些室内解读方面的功能呢？

• 出席人员匹配/无感签到；
  

• 出席人员与 座位 数的对比分析；

• 会议室灯光/光线亮度的分析和建议；

• 会议室空间大小合适 度统计分析；

• 根据 会议人数和会议要求 建议 合 适的会议室；

• ......

当然，上述罗列的室内解读功能都是我随便乱猜的。大的方向，肯定是通过认知协作里的物体识别/室内解读技术，对优化会议室和拥挤空间的使用，改善会议预订行为，降低会议场地成本， 提高会议室参会体验，提高协作技术的投资回报率（ROI）。

相关阅读

==========================

#801 - 认知协作#1：语音助理Webex Assistant

#802 - 认知协作#2：会议转录引擎EVA@Voicea

#803 - 认知协作#3：人物洞察People Insight

#804 - 认知协作#4：面部识别/姓名标签

#805 - 认知协作#5：噪音侦测和抑制

#806 - 认知协作#6：近场共享/主动入会

#807 - 认知协作#7：手势识别

#809 - 认知协作#9：未来已来

############################