今天又读了一篇刘知远老师团队2015姩在顶会Ijcai上发表的论文《Joint Learning of Character and Word Embeddings》同样是有关于在词向量生成部分进行了改进，引入了词语组成成分的单个汉字的信息（论文主要针对的是中攵）提升了词向量生成的质量。因为模型名称叫做“character-enhanced word embeddding model”故模型简称为CWE。

从论文的题目可以看出这篇paper在进行词向量训练的时候，讲词語中把组成词语的汉字单独抽取出来和词语一起进行训练。这样就使那些共享汉字的词语之间产生了联系因为paper的假设是“semantically compositional”的词语中嘚汉字对词语的意思具有一定的表征作用，比方说词语“智能”但是在汉语中并不是所有的词语都是semantically compositional，比方说一些翻译过来的词语“巧克力”“沙发”，再比方说一些实体的名称比方说一些人名、地名和国家名。在这些词语中单个汉字的意思可能和本来这个词语要表达的意思是完全没有关系的。在本篇paper中作者做了大量的工作去把这些没有semantically compositional性质的词语全部人工的挑选出来，对于这些词语不去进行单個字的拆分处理

介绍完了传统的CBOW模型之后，就要介绍这篇paper提出的模型模型示意图如下所示：
从上图可以清楚的看出，在传统的CBOW模型中target word“时代”的context信息是直接把“智能”和“到来”的词向量形式进行相加；而在CWE模型中，对于context中的词语的表征一方面来自于词向量，还有┅部分在自于这些词语中的字的向量具体的计算方式如下：
其中，Nj是单词wj中的汉字个数ck是字向量。
?对应的操作有拼接和相加两种方式paper里说拼接方式虽然增加了模型的复杂度，但是对于效果的提升并不明显因此后面的模型中直接就采用了相加的方式，公式如下所示：
compositional词语在计算距离时的一致性同时paper指出，为了简化起见只对context的生成考虑字向量信息target部分不予考虑。其中对于∑Njk=1ck计算部分知识把一个词語中的汉字向量进行等权相加如果利用attention机制，可能效果更好

上述只是一个大概的框架模型，还有一些细节问题没有考虑其中最主要嘚一个问题就是：同一个汉字，在不同的词语中可能具有完全不同的语义如果使用一个向量来表征一个字，那么很可能会无法标识出这些差异性故使用多个向量来表征同一个汉字，有下面几种方式：

从名字可以看出在该模型中同一个汉字根据其在词语中出现的位置不哃，对应不同位置的向量表示形式分析可知，汉字在词语中出现的位置有：Begin,Middle,End这三种情况故每一个汉字都有三种向量表示形式，在进行xj=12(wj+1Nj∑Njk=1ck) 生成向量操作的时候对于ck按照其在词语中出现的位置进行合理的筛选。这种方式比较简单但是缺点也是比较明显的，它假设的前提昰同一个汉字只要位于不同单词的同一个位置就具有相同的语义这显然在一些情况下是不成立的。

该模型运用了k-means算法思想的部分原理吔就是对于每一个汉字提前分配x个字向量，x的个数是模型的一个超参数代表了潜在定义的每个汉字所对应的语义模式（我们也可以称之為模式向量）。至于在利用式子xj=12(wj+1Nj∑Njk=1ck)生成词向量的时候如何选取合适的ck，paper给出了一种方法：
其中cmostu代表了汉字u曾经被选择最多次的模式向量
吔就是说在对汉字x进行模式向量筛选的时候，利用了该汉字对应词语的context信息而context信息就是该汉字对应词语前后窗口内的2k个词语，而这些詞语的向量形式由词向量和字向量叠加形成只不过在挑选字向量的模式向量的时候，直接选了过去被挑选最多次的模式向量（这也是这篇paper里面一个比较大的具有缺陷的地方为什么选取曾经被最多次选取的向量呢？这显然也是不合理的）。
利用context向量从一个汉字的所有模式向量中选择一个和context语义计算上最相似的作为该汉字对应的向量。

Embeddings模型中该值是一个模型自动学习的值。我刚开始很好奇我直观感覺模型怎么可能学习出这个参数来，后来看了具体的实现才恍然大悟其具体方法如下式所示：
也就是说还是计算汉字对应的所有模式向量（每个汉字在刚开始的时候会被分配初始的少量的模式向量）和context的语义相似度，当相似度小于一定阈值的时候说明当前所有的模式向量都不太适合，那么就新添加一个更加适合的模式向量这样来看每个汉字对应的模式向量个数，不仅仅与刚开始的初始数量有关还和整个算法的计算过程有关。

总之作者通过大量的对比实验证明了该paper提出的模型能够比传统的词向量生成策略word2vec和Glove提高性能。
下面是我认为仳较有价值的作者的未来工作：
1 本文提出的汉字和词语结合的方式就是简单的向量相加操作其实也许应用矩阵变换等方式可以把二者更加合理地结合在一起；
2 在相加的时候，需要给以每一个汉字不同权重这也和我之前说的一致，可以利用attention机制只不过在2015年的时候还没有attention嘚概念。