如果有一天，周遭的世界突然变得很安静，动听美妙的音乐，在你看来只是沉寂；振奋人心的演讲，对你而言只是默剧；大自然的千里莺啼，于你来说也只是画卷。你会不会感到害怕？

而有这么一群人，每天都在与这世界无声交流着，他们就是听力障碍人士。据2006年第二次全国残疾人抽样调查显示，我国的听力残疾人约2780万，占全国残疾人的30%以上，而且数据每年都在增加。受限于发病原因及家庭情况，能够使用助听器、人工耳蜗的听障人士占比较少，其他人不仅面临着生活中的种种不便，也难以感受到世界的精彩纷呈，所以手语成了他们与人们的主要沟通桥梁。

但是手语看不懂、专业知识不够、翻译技巧不够、体态不够生动、手语翻译在翻译的过程中有存在帮助聋人回答问题的现象……这些暴露的问题都极大的影响了听障人士在翻译服务中的用户体验。据残联统计，我国专业的手语翻译不足1万人，难以满足听障人士参与社会生活时的沟通需求。这就需要一些App能够添加将文本翻译成手语的能力，在手语翻译有限的情况下，满足听障人士的基本生活和学习的需要。

每年9月的第四个星期日是国际聋人日，为了关爱听障人士，华为手语服务（SignPal Kit）提供[手语生成能力](https://developer.huawei.com/consumer/cn/hms/signpal-kit/?ha_source=hms1)，将文本实时翻译为流畅、自然且符合听障人士表达习惯的手语动作数据，能够轻松构建信息无障碍创新应用，构筑无缝交流的世界。可用于家庭日常生活交流、教育学习、外出购物、媒体播报等场景。例如在教学场景中，可帮助听障儿童学习阅读，实现手语教学。

### 手语生成

1.	手语动作生成

基于深度神经网络技术，实时将输入文本翻译为时序稳定、连贯且符合听障人士表达习惯的手语动作数据。

2.	手语表情生成

手语生成不仅包括手部动作和身体姿态，还支持面部表情，包括开心、愤怒、伤心、疑惑等基本表情信息，以及皱眉、鼓腮等多种非手控表情。

3.	手语口型生成

手语生成支持符合听障人士表达习惯的口动。

手语服务能将输入文本转化为手语动作数据，可用于家庭日常生活交流、教育学习、外出购物、媒体播报等场景。运用手语动作及面部表情，手语服务精准流畅地传递讲师的授课内容，让处在无声世界的特教学院听障学生，也能实现无障碍网课学习。

### 优势特点

1.	自然流畅：手语动作流畅、自然，符合手语表达习惯。

2.	词汇覆盖广：按照中国国家通用标准有1万多个词汇，满足多场景应用。

3.	手语表达丰富：手语动作包括手部动作、身体姿态、面部表情和口型驱动。

### 开发步骤

在开始App开发工作之前，您需要完成必要的开发准备工作，确保您的工程中已经配置[AppGallery Connect](https://developer.huawei.com/consumer/cn/doc/development/HMSCore-Guides/config-agc-0000001128181106?ha_source=hms1)、[集成HMS Core SDK](https://developer.huawei.com/consumer/cn/doc/development/HMSCore-Guides/integrating-sdk-0000001128021316?ha_source=hms1)、[配置混淆脚本](https://developer.huawei.com/consumer/cn/doc/development/HMSCore-Guides/config-obfuscation-scripts-0000001174140947?ha_source=hms1)以及[添加权限](https://developer.huawei.com/consumer/cn/doc/development/HMSCore-Guides/add-permissions-0000001174060867?ha_source=hms1)。

1、开通鉴权。需要使用“agconnect-services.json”里的api_key值，在应用初始化时通过AccessToken或者api_key来设置应用鉴权信息，AccessToken的优先级较高。

通过[setAccessToken()](https://developer.huawei.com/consumer/cn/doc/development/HMSCore-References/signpalapplication-0000001176255485#section1564113017115?ha_source=hms1)方法设置Access Token，在应用初始化时设置即可，如果Token过期了，需要更换Token重新设置。

```
SignPalApplication.getInstance().setAccessToken("your 
AccessToken");
```

通过setApiKey()方法设置api_key，在应用启动时初始化设置一次即可，无需多次设置。

```
SignPalApplication.getInstance().setApiKey("your api_key");
```

当您在AppGallery Connect上注册您的应用时，系统会给您的应用分配api_key，可参见[添加当前应用的AppGallery Connect配置文件](https://developer.huawei.com/consumer/cn/doc/development/HMSCore-Guides/integrating-sdk-0000001128021316#section8388123603312?ha_source=hms1)。

2、创建手语生成实例。可以通过手语生成自定义配置类[GeneratorSetting](https://developer.huawei.com/consumer/cn/doc/development/HMSCore-References/generatorsetting-0000001127038926?ha_source=hms1)创建手语生成[SignGenerator](https://developer.huawei.com/consumer/cn/doc/development/HMSCore-References/signgenerator-0000001127198738?ha_source=hms1)实例。

```
// 1.创建新的配置项，不是必须设置，不设置则使用默认值
GeneratorSetting 
setting
 = new GeneratorSetting()
    .setLanguage(GeneratorConstants.CN_CSL)

// 2.配置方法
 // a.初始化时设置
  SignGenerator 
signGenerator
 = new SignGenerator(
setting
);
   // b.过程中更新
   
signGenerator
.updateSetting(
setting
);
```

3、给[SignGenerator](https://developer.huawei.com/consumer/cn/doc/development/HMSCore-References/signgenerator-0000001127198738?ha_source=hms1)实例设置手语生成回调[GeneratorCallback](https://developer.huawei.com/consumer/cn/doc/development/HMSCore-References/generatorcallback-0000001181005427?ha_source=hms1)，用于处理手语生成结果。

```
signGenerator
.setCallback(new GeneratorCallback() {
    @Override
    public void onEvent(String taskId, int eventId, Bundle bundle) {
        switch (eventId){
        // 以下回调事件类型是在使用手语生成过程中需要关注的
        case GeneratorConstants.EVENT_START:
            // 任务开始回调
            break;
        case GeneratorConstants.EVENT_DOWNLOADING:
            // 任务下载中
            break;
        case GeneratorConstants.EVENT_STOP:
           // 任务停止回调
            boolean isInterrupted = bundle.getBoolean(GeneratorConstants.EVENT_STOP_INTERRUPTED);
            break;
        default:
           break;
        }
    }

@Override
public void onSignDataAvailable(String taskId, SignMotionFragment signFragment, Pair<Integer, Integer> range, Bundle bundle) {
        // 获取手语动作数据
        ArrayList<Map<String,float[]>> motionDataList= signFragment.getSignMotionDataMap();
        // 获取表情数据
        int[] faceArr = signFragment.getFaceMotion();
        // 获取口型BlendShape驱动数据，如果不设置开启则为空数组
        float[] faceBlendShape = signFragment.getFaceBlendShapeArray();
        // 手语动作表情绘制，需要您自行实现
       
    }

@Override
    public void onError(String taskId, SignPalError err){
        // 手语生成失败处理
    }
    @Override
    public void onWarning(String taskId,SignPalWarning warning){
        // 告警处理（不影响业务逻辑）
    }
});
```

4、调用[text2SignMotion](https://developer.huawei.com/consumer/cn/doc/development/HMSCore-References/signgenerator-0000001127198738#section88275158546?ha_source=hms1)()方法进行手语生成，text取值为字符串类型。

```
String 
id
 = 
signGenerator
.text2SignMotion(
text
, GeneratorConstants.QUEUE_MODE);
```

5、停止当前正在执行的手语生成任务，并清空队列中的所有任务与缓存。

```
signGenerator
.stop();
```

6、合成结束后，释放资源。

```
if (
signGenerator
!= null) {
    
signGenerator
.shutdown();
}
```

**了解更多详情>>**

访问[华为开发者联盟官网](http://developer.huawei.com/consumer/cn/hms?ha_source=hms1)  
获取[开发指导文档](http://developer.huawei.com/consumer/cn/doc/development?ha_source=hms1)  
华为移动服务开源仓库地址：[GitHub](http://github.com/HMS-Core)、[Gitee](http://gitee.com/hms-core)

**关注我们，第一时间了解 HMS Core 最新技术资讯~**

ITPub博客

关爱2700多万听障者，手语服务助力无声交流

最新文章