是一种定义电子文档结构和描述其内容的国际标准语言,具有极好的扩展性

是所有电子文档标记语言的起源，早在万维网发明之前“通用标言”就已存在

是1986年国际标准化组织出版发布的一个信息管理方面的国际标准（ISO 信息处理）

简单的理解就是对于数据进行结构化组织呈现,用于描述文档的显示式样或者描述文档中文字的用途

可扩展标记语言，是一种用于标记电子文件使其具有结构性的标记语言。

与HTML一样都是标准通用标记语言的子集，

只不过超文本标记语言被设计用来显示数据

XML被设计用来传输和存储数据.

语法上和HTML也是相似的，但HTML中的元素是固定的，而XML的标签是可以由用户自定义的。

逻辑上来说SGML是非常适合用于Web项目中的

但是SGML的固有缺点,复杂/庞大/学习成本高等

所以XML这一SGML的子集,应运而生.

比如Spring的配置文件

DOM4J使用SAX解析器把XML文档加载到内存，生成DOM对象。当然也支持事件驱动的方式来解析XML文档。

在DOM4J中，所有XML组成部分都是一个Node，

其中Branch表示可以包含子节点的节点，

例如Document和Element都是可以有子节点的，它们都是Branch的子接口。

文本节点有三个子接口，分别是CDATA、Text、Comment。

//3.使用解析器解析文档

GT200，扑朔迷离的NVIDIA第二代DirectX 10 GPU；一款全新设计的旗舰性能显卡，计算机图形加速领域最具奢华身份的娱乐产品已于今夜降临。

GX2这一连串耳熟能详的产品型号陆续攀顶3D性能高峰得事实在业内无可争议。也许有着“龟兔赛跑”的前车之鉴，NVIDIA在大幅领先的现状下仍然坚持不懈的快速研发新品，GT200应运而生。

GT一样，通过屏蔽硬件规格换分档次。

● 万亿次计算的单芯片

在核心型号上GT200与上一代的G9X有了巨大改变，那么在性能上GT200是否会和型号升级一样有长足进步呢？保留顶级产品象征“GTX”的Gefroce GTX 280全新旗舰产品拥有傲人的240个流处理器和512bit显存位宽，仅这两个规格在NVIDIA历史上已经是“前无古人、后无来者”，均是首次在单卡单核产品中采用的高规格配置，同时GT200还较多的改进了核心架构，在流处理器数目的攀升支持下，其理论峰值计算能力已经逼近万亿次大关，是目前全球最复杂最强悍的单个芯片。

280。这是因为G92核心是在G80核心基础上优化而得，整体核心架构设计及思路没有革命性改变，仅是将384bit显存位宽和90nm这些权宜设计革新为256bit和65nm，同时NVIO外置芯片功能回归GPU。反观GT200架构、功能上都做了重新定位和调整，所以Geforce GTX 280才是真正第二代DirectX 10产品的先驱者。

第一批送抵ZOL的Geforce GTX 280显卡有四款，除了NVIDIA提供的官方样卡之外，映众（Inno3D）、讯景（XFX）和索泰（ZOTAC）最早送测了他们自有品牌的产品，对NVIDIA最新旗舰产品的发布表示了最有力的支持，也显示出自身的强悍实力。

也许一篇文字无法真正诠释这款划时代的产品，本站将分三路出击，从本文的技术分析，从的超频测试，从的全面游戏性能测试，为大家奉上GTX280这份饕餮盛宴。

GT200 爆炸性核心规格探秘

一 、什么是命名实体识别？

命名实体识别（Named Entity Recognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。通常包括两部分：（1）实体边界识别；（2） 确定实体类别（人名、地名、机构名或其他）。

NER是NLP中一项基础性关键任务。从自然语言处理的流程来看，NER可以看作词法分析中未登录词识别的一种，是未登录词中数量最多、识别难度最大、对分词效果影响最大问题。同时NER也是关系抽取、事件抽取、知识图谱、机器翻译、问答系统等诸多NLP任务的基础。

NER当前并不算是一个大热的研究课题，因为学术界部分学者认为这是一个已经解决的问题。当然也有学者认为这个问题还没有得到很好地解决，原因主要有：命名实体识别只是在有限的文本类型（主要是新闻语料中）和实体类别（主要是人名、地名、组织机构名）中取得了不错的效果；与其他信息检索领域相比，实体命名评测预料较小，容易产生过拟合；命名实体识别更侧重高召回率，但在信息检索领域，高准确率更重要；通用的识别多种类型的命名实体的系统性能很差。

命名实体识别的研究主体一般包括3大类(实体类、时间类和数字类)和7小类(人名、地名、机构名、时间、日期、货币和百分比)命名实体。评判一个命名实体是否被正确识别包括两个方面：实体的边界是否正确；实体的类型是否标注正确。

从语言分析的全过程来看, 命名实体识别属于词法分析中未登录词识别的范畴。命名实体识别是未登录词中数量最多、识别难度最大、对分词效果影响最大的问题，同时它也是信息抽取、信息检索、机器翻译、问答系统等多种自然语言处理技术必不可少的组成部分。

事件检测：地点、时间、人物是时间的几个基本构成部分，在构建事件的摘要时，可以突出相关人物、地点、单位等。在事件搜索系统中，相关的人物、时间、地点可以作为索引关键词。事件的几个构成部分之间的关系，从语义层面更详细的描述了事件。

信息检索：命名实体可以用来提高和改进检索系统的效果，当用户输入“重大”时，可以发现用户更想检索的是“重庆大学”，而不是其对应的形容词含义。此外，在建立倒排索引的时候，如果把命名实体切成多个单词，将会导致查询效率降低。此外，搜索引擎正在向语义理解、计算答案的方向发展。

语义网络：语义网络中一般包括概念和实例及其对应的关系，例如“国家”是一个概念，中国是一个实例，“中国”是一个“国家”表达实体与概念之间的关系。语义网络中的实例有很大一部分是命名实体。

机器翻译：命名实体的翻译常会有一些特殊翻译规则，例如中国人民翻译成英文时要使用名字的拼音来表示，有名在前姓在后的规则，而普通的词语要翻译成对应的英文单词。准确识别出文本中的命名实体，对提高机器翻译的效果有重要的意义。

问答系统：准确的识别出问题的各个组成部分特别重要，问题的相关领域，相关概念。目前，大部分问答系统都只能搜索答案，而不能计算答案。搜索答案进行关键词的匹配，用户根据搜索结果人工提取答案，而更加友好的方式是把答案计算好呈现给用户。问答系统中有一部分问题需要考虑到实体之间的关系，例如“美国第四十五届总统”，目前的搜索引擎会以特殊的格式返回答案“特朗普”。

命名实体识别当前并不是一个大热的研究课题，因为学术界部分认为这是一个已经解决了的问题，但是也有学者认为这个问题还没有得到很好地解决，原因主要有：命名实体识别只是在有限的文本类型（主要是新闻语料中）和实体类别（主要是人名、地名）中取得了效果；与其他信息检索领域相比，实体命名评测预料较小，容易产生过拟合；命名实体识别更侧重高召回率，但在信息检索领域，高准确率更重要；通用的识别多种类型的命名实体的系统性很差。

同时，中文的命名实体识别与英文的相比，挑战更大，目前未解决的难题更多。英语中的命名实体具有比较明显的形式标志，即实体中的每个词的第一个字母要大写，所以实体边界识别相对容易，任务的重点是确定实体的类别。和英语相比，汉语命名实体识别任务更加复杂，而且相对于实体类别标注子任务，实体边界的识别更加困难。

汉语命名实体识别的难点主要存在于：（1）汉语文本没有类似英文文本中空格之类的显式标示词的边界标示符，命名实体识别的第一步就是确定词的边界，即分词；（2）汉语分词和命名实体识别互相影响；（3）除了英语中定义的实体，外国人名译名和地名译名是存在于汉语中的两类特殊实体类型；（4）现代汉语文本，尤其是网络汉语文本，常出现中英文交替使用，这时汉语命名实体识别的任务还包括识别其中的英文命名实体；（5）不同的命名实体具有不同的内部特征，不可能用一个统一的模型来刻画所有的实体内部特征。

最后，现代汉语日新月异的发展给命名实体识别也带来了新的困难。

其一，标注语料老旧，覆盖不全。譬如说，近年来起名字的习惯用字与以往相比有很大的变化，以及各种复姓识别、国外译名、网络红人、虚拟人物和昵称的涌现。

其二，命名实体歧义严重，消歧困难。譬如下列句子：

余则成潜伏在敌后 VS 余则成潜伏在线

我和你一起唱《我和你》吧。

看完吓死你：惊悚视频，胆小勿入。

当前命名实体识别的主要技术方法分为：基于规则和词典的方法、基于统计的方法、二者混合的方法等。

1基于规则和词典的方法

基于规则的方法多采用语言学专家手工构造规则模板,选用特征包括统计信息、标点符号、关键字、指示词和方向词、位置词(如尾字)、中心词等方法，以模式和字符串相匹配为主要手段，这类系统大多依赖于知识库和词典的建立。

基于规则和词典的方法是命名实体识别中最早使用的方法，它们依赖于手工规则的系统, 都使用命名实体库, 而且对每一个规则都赋予权值。当遇到规则冲突的时候, 选择权值最高的规则来判别命名实体的类型。一般而言，当提取的规则能比较精确地反映语言现象时，基于规则的方法性能要优于基于统计的方法。但是这些规则往往依赖于具体语言、领域和文本风格，编制过程耗时且难以涵盖所有的语言现象，特别容易产生错误，系统可移植性不好，对于不同的系统需要语言学专家重新书写规则。

基于规则的方法的另外一个缺点是代价太大，存在系统建设周期长、移植性差而且需要建立不同领域知识库作为辅助以提高系统识别能力等问题。

在这4种学习方法中，最大熵模型结构紧凑，具有较好的通用性，主要缺点是训练时间复杂性非常高，有时甚至导致训练代价难以承受，另外由于需要明确的归一化计算，导致开销比较大。而条件随机场为命名实体识别提供了一个特征灵活、全局最优的标注框架，但同时存在收敛速度慢、训练时间长的问题。一般说来，最大熵和支持向量机在正确率上要比隐马尔可夫模型高一些，但是隐马尔可夫模型在训练和识别时的速度要快一些，主要是由于在利用Viterbi算法求解命名实体类别序列的效率较高。隐马尔可夫模型更适用于一些对实时性有要求以及像信息检索这样需要处理大量文本的应用,如短文本命名实体识别。

基于统计的方法对特征选取的要求较高，需要从文本中选择对该项任务有影响的各种特征，并将这些特征加入到特征向量中。依据特定命名实体识别所面临的主要困难和所表现出的特性，考虑选择能有效反映该类实体特性的特征集合。主要做法是通过对训练语料所包含的语言信息进行统计和分析，从训练语料中挖掘出特征。有关特征可以分为具体的单词特征、上下文特征、词典及词性特征、停用词特征、核心词特征以及语义特征等。

基于统计的方法对语料库的依赖也比较大，而可以用来建设和评估命名实体识别系统的大规模通用语料库又比较少，这是此种方法的又一大制约。

自然语言处理并不完全是一个随机过程,单独使用基于统计的方法使状态搜索空间非常庞大，必须借助规则知识提前进行过滤修剪处理。目前几乎没有单纯使用统计模型而不使用规则知识的命名实体识别系统，在很多情况下是使用混合方法，主要包括：

1. 假设大家对上边的内容都已经熟悉了，在这看下NeuroNER的网络结构

   命名实体识别（NER）是在自然语言处理中的一个经典问题，其应用也极为广泛。比如从一句话中识别出人名、地名，从电商的搜索中识别出产品的名字，识别药物名称等等。传统的公认比较好的处理算法是条件随机场（CRF），它是一种判别式概率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。简单是说在NER中应用是，给定一系列的特征去预测每个词的标签。如下图：

   X我们可以看做成一句话的每个单词对应的特征，Y可以看做成单词对应的标签。这里的标签就是对应场景下的人名、地名等等。重点在X的理解上面，什么是特征呢？通常我们都会取的特征是词性，如果名词、动词… 但是有人会反问，知道了词性就能学习出标签吗？显然是不够的，我们可能需要更多的特征来完成我们的学习。但是这些特征需要我们根据不同的场景去人工的抽取，比如抽取人名的特征我们往往可能看看单词的第一个字是不是百家姓等等。所以更多严谨的CRF的图应该如下：

   至于y之间的连线请参考CRF算法的详细内容。接下来会更注重用深度学习的方法来解决NER问题。

   看了上图有的人则会有疑惑了，这个特征要怎么提取呢？如何知道提取出来的特征是有效的呢？要提多少个特征才好呢？的确，特征工程确实是一个麻烦的问题，关于特征的提取也大都是根据经验和拍脑门想出来的，这整个过程很是麻烦。幸运的是现在深度学习大红大紫，其原因除了它的效果卓越之外还免去了我们手工提取特征的烦恼，以下将会讲解本人Github上的代码思路与实现。

   条件随机场（CRF）在NER上的应用。了解深度学习的人都知道，我们把数据放入神经网络中然后输出我们想要的结果，无论想要处理的问题是分类、回归或者是序列的问题，其本质就是通过神经网络学习出特征然后根据特征求得结果。这不就正是我们需要的吗？我们只要让神经网络替我们把特性选好，然后我们只要简单的把特征放到CRF里不就好了吗？这就是整个程序的本质。

   知道了本质我们需要克服的困难也很多，接下来我们一一来解决。

   1. 如何把词转换成神经网络能接受的数据？

   神经网络只接受数字，不接受字符串，所以我们需要用工具把词转换成为词向量，这个工具可以是gensim word2vec、glove等等。训练的数据最好是要有个庞大的数据集，比如从网上爬取下来的新闻然后用这些数据来训练词向量。如果就用已有的数据训练行不行呢？或者干脆不训练，随机初始化这些词向量行不行呢？答案是：可以。但是解决不了下面这个问题。

   2. 如何处理训练数据中没有见过的词？

   我们之所以需要用庞大的新闻数据来预训练词向量的原因就是为了克服训练数据量小的问题。因为人力有限，我们不可能有很大的标记过的数据，如果在测试样例中出现了我们没有标记过的词，那么显然会影响NER结果。然后word2vec的用处就是将相似的词的“距离”拉的很近（由于word2vec又是一个很大的话题，这里不拓展讨论啦），这样可以一定程度上减少未出现词的影响。

   使用基于字的BiLSTM-CRF，主要参考的是文献[4][5]。使用Bakeoff-3评测中所采用的的BIO标注集，即B-PER、I-PER代表人名首字、人名非首字，B-LOC、I-LOC代表地名首字、地名非首字，B-ORG、I-ORG代表组织机构名首字、组织机构名非首字，O代表该字不属于命名实体的一部分。如：

   这里当然也可以采用更复杂的BIOSE标注集。

         模型的第二层是双向LSTM层，自动提取句子特征。将一个句子的各个字的char

   可以看出整个序列的打分等于各个位置的打分之和，而每个位置的打分由两部分得到，一部分是由LSTM输出的 pipi 决定，另一部分则由CRF的转移矩阵 AA 决定。进而可以利用Softmax得到归一化后的概率：

         模型在预测过程（解码）时使用动态规划的Viterbi算法来求解最优路径：

         关于CRF模型的特征模板就不细讲了，是参考 [3] 来做的。提好特征之后用CRF++工具包即可，这部分是小伙伴做的～

         1. 总的来说，经过仔细选择特征模板的CRF模型在人名上的识别效果要优于BiLSTM-CRF，但后者在地名、组织机构名上展现了更好的性能。究其原因，可能是因为：
         (1) 人名用字较灵活且长度比较短，用特征模板在窗口内所提取的特征要比神经网络自动学习的特征更有效、干扰更少
         (2) 地名、组织机构名的构成复杂、长度较长，使用双向LSTM能够更好地利用句子级的语义特征，而特征模板只能在窗口内进行提取，无法利用整句话的语义。

         2. 对于CRF模型来说，使用 {字符,词性,词边界,实体列表} 这一组合模板的效果在CRF模型系列中表现最好（各个单一模板以及其他组合模板的结果未列出）。

   对于BiLSTM-CRF模型来说，这里在每一层的处理都是比较简单的，还有可以提高的空间。例如字向量embedding的初始化方式，这里只是用了最简单的随机初始化，然而由于语料规模比较小，所以不太合适。可以考虑对句子做分词，然后将字向量初始化为该字所在词的词向量（可以用在别的大型语料上的预训练值）。此外，还可以尝试文献[5][7][8]的思路，将low-level的特征经过一个RNN或CNN，进而通过“组合”的方式来得到字级别的embedding（英文是用字母构造单词，中文是用偏旁部首构造汉字），将其与随机初始化的字向量拼接在一起。

         另外要提的一点是BiLSTM-CRF在这应该是过拟合了，迭代轮数（120轮）给大了，测试集指标在大约60轮之后已经开始下降。应该划个验证集做early stopping。

   说到命名实体抽取，先要了解一下基于字标注的中文分词。
   

   “我/爱/北京/天安门”。

   那什么是基于字标注呢？

   就是这样，给每个字都进行一个标注。我们可以发现这句话中字的标注一共有四种。他们分别代表的意义如下。

   B表示一个词的开始，E表示一个词的结尾，M表示词中间的字。如果这个词只有一个字的话，用O表示。

   了解了中文分词，那么实体识别也差不多。就是把不属于实体的字用O标注，把实体用BME规则标注，最后按照BME规则把实体提取出来就ok了。

   数据可以自己标注，也可以找个公开的数据集先练练手。我是用的是玻森数据提供的命名实体识别数据， 这是官网，在数据下载里面有一个命名实体识别数据集，或者在下载。

   这个数据集一个包含了6个实体类别：

   每个实体用都用大括号括了起来，并标明实体类别。当然自己标注的时候也不一定要这么标，只要能提取出来就可以。

   然后我们要做的就是把原始数据按照BMEO规则变成字标注的形式，以便模型训练。这使用python实现还是比较简单的，嫌麻烦的可以看我github里的代码。按字标注后结果如下。

   然后我们习惯按照标点符号把一个长句分成几个短句，反正一般实体里面也没有标点符号。结果如下。

   然后的思路就是建立一个word2id词典，把每个汉字转换成id。这里习惯现按照数据集中每个汉字出现的次数排序，id从1开始。
   再建立一个tag2id词典，把每一个字标注的类型转换成id。这里的顺序我就随便搞的。
   

   之后就把刚按标点分开的数据，按照一一对应的顺序，把汉字和每个字的标签转换成id，分别存到两个数组里面，一起保存到一个pkl文件中，这样模型使用时候就可以直接读取，不用每次都处理数据了。这里习惯把每一句话都转换成一样的长度。这个长度当然是自己设置的，比它长的就把后面舍弃，比它短的就在后面补零。
   这里第一个数组里是这句话汉字转换成的id，第二个数组里存的是这句话每个字的标注转换成的id。

   以上数据处理的代码是里data_util.py实现的功能。

   这里模型就直接用的里的Bilstm+crf模型，也可以看BiLSTM_CRF.py这个文件。这个模型由于没有使用batch，速度比较慢，但是初学者就先用这个吧，学会了之后再进行修改。

   至于想要看懂这部分的代码，就要学一下pytorch了，当然使用tensorflow也是可以的。推荐一下的教程，pytorch和tensorflow都有。

   pytorch里，lstm是写好的，可以直接使用，crf目前还没有，所以是直接写的。

   lstm就是很经典的lstm，网上有很多讲解。crf我想另写一篇，详细讲一下。

   训练直接运行train.py就可以了。就是把之前存到pkl中的数据取出来，转换成tensor形式，输入到模型中。crf的损失函数是另外定义的。然后通过pytorch提供的

   反向传播和梯度下降，更新参数，让损失函数越来越小即可。看代码吧。

   命名实体识别的准确度判断有三个值。准确率、召回率和f值。

   这里需要先定义一个交集，是经过模型抽取出来的实体，与数据集中的所有实体，取交集。

   准确率=交集/模型抽取出的实体
   召回率=交集/数据集中的所有实体
   f值=2×(准确率×召回率) / (准确率+召回率)