　　（这篇并不是科普，我尽量写得简略，学过 CTC 的人会知道我在说什么）

　　CTC（connectionist temporal classification）是 sequence-to-sequence learning 的一个重要里程碑。它为 RNN 设计了一种新型的目标函数，使得输入、输出序列不必等长，也不需要在训练前对输入、输出序列进行对齐。有了 CTC 之后，语音识别等系统的性能又上了一个台阶。

　　在用到 CTC 的时候，大家一般都会引用 Alex Graves 在 2006 年的 ICML 会议上发表的开山之作《Connectionist Temporal Classification: Labelling Unsegmented
Sequence Data with Recurrent Neural Networks》。这篇论文介绍了 CTC 的解码与训练方法，其中训练方法用到了 forward-backward 算法。不过，在推导过程中，方程 14、15（连带着后面的方程 16）出现了错误。

　　方程 14 是这样的：

这里不应该对求和，而应当任选一个。事实上，可以直接选取 t=T ，这样方程就化归为上一页的方程 8：

　　方程 15 是方程 14 的导数：

这里对的求和在各种“马虎眼”下居然恰好消失了。这里的“马虎眼”在于，求和式内部的 $\alpha$ 、 $\beta$ 之积，无论等于多少，都是隐含了所有的时间步的；对 y^t_k 求导的时候，并不是只有时间步能留下来。但就时间步方面来说，方程 15 恰恰“错错得对”了。不过，方程 15 里还有另一个错误，就是 $\alpha$ 、 $\beta$ 其实也隐含了 y^t_k （下略作），并且是它的线性函数。这样，求导的过程应该是（省略一切下标等）：

$\frac{\partial p}{\partial y} = \frac{\partial}{\partial y} \sum_s \frac{\alpha \cdot \beta}{y} = \frac{\partial}{\partial y} \sum_s \frac{ay \cdot by}{y} = \sum_s ab = \frac{1}{y^2} \sum_s \alpha \cdot \beta \\$