基于字标注法的分词

中文分词字标注通常有 2-tag,4-tag 和 6-tag 这几种方法，其中 4-tag 方法最为常用。标注集是依据汉字（其中也有少量的非汉字字符）在汉语词中的位置设计的。

1. 2-tag 法

2-tag 是一种最简单的标注方法 , 标注集合为 {B,I} ，其将词首标记设计为 B ，而将词的其他位置标记设计为 I 。例如词语“重庆”的标注结果是“重 /B 庆 /I ”，而“大学生”的标注结果为“大 /B 学 /I 生 /I ”

对于以下句子

迈向 充满 希望 的 新 世纪 —— 一九九八年 新年 讲话

使用 2-tag （ B ， I ）的标注结果为

迈 /B 向 /I 充 /B 满 /I 希 /B 望 /I 的 /B 新 /B 世 /B 纪 /I — /B — /I 一 /B 九 /I 九 /I 八 /I 年 /I 新 /B 年 /I 讲 /B 话 /I

2.4-tag 法

4-tag 标注集合为 {S,B,M,E} ， S 表示单字为词， B 表示词的首字， M 表示词的中间字， E 表示词的结尾字。对于以下句子

迈向 充满 希望 的 新 世纪 —— 一九九八年 新年 讲话

使用 4-tag （ S,B,M,E ）的标注结果为

迈 /B 向 /E 充 /B 满 /E 希 /B 望 /E 的 /S 新 /S 世 /B 纪 /E — /B — /E 一 /B 九 /M 九 /M 八 /M 年 /E 新 /B 年 /E 讲 /B 话 /E

参考我爱自然语言处理博客， python 实现方法为

本文使用 pku 语料库，其原始格式为

标注后的结果为

3.6-tag 法

6-tag 标注集合为 {S,B,M1,M2,M,E} ， S 表示单字为词， B 表示词的首字， M1/M2/M 表示词的中间字， E 表示词的结尾字。例如“大学生”可以标注为“大 /B 学 /M 生 /E ” 。