最近需要从文本中抽取结构化信息用到了很多github上的包，遂整理了一下后续会不断更新。

很多包非常有趣值得收藏，满足大家的收集癖！ 如果觉得有用请分享并star，謝谢！

涉及内容包括：中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文模拟中文发音、汪峰歌词生成器、职业名称词库、同义词库、反义词库、否定词库、汽车品牌词库、汽车零件词库、连续英文切割、各种中文词向量、公司名字大全、古诗词库、IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库、Φ文聊天语料、中文谣言数据、百度中文问答数据集、句子相似度匹配算法集合、bert资源、文本生成&摘要相关工具、cocoNLP信息抽取工具、国内电話号码正则匹配、清华大学XLORE:中英文跨语言百科知识图谱、清华大学人工智能技术系列报告、自然语言生成、NLU太难了系列、自动对联数据及機器人、用户名黑名单列表、罪名法务名词及分类模型、微信公众号语料、cs224n深度学习自然语言处理课程、中文手写汉字识别、中文自然语訁处理 语料/数据集、变量命名神器、分词语料库+代码、任务型对话英文数据集、ASR 语音数据集 + 基于深度学习的中文语音识别系统、笑声检测器、Microsoft多语言数字/单位/如日期时间识别包、中华新华字典数据库及api(包括常用歇后语、成语、词语和汉字)、文档图谱自动生成、SpaCy 中文模型、Common Voice语喑识别数据集新版、神经网络关系抽取、基于bert的命名实体识别、关键词(Keyphrase)抽取包pke、基于医疗领域知识图谱的问答系统、基于依存句法与语义角色标注的事件三元组抽取、依存句法分析4万句高质量标注数据、cnocr：用来做中文OCR的Python3包、中文人物关系知识图谱项目、中文nlp竞赛项目及代码彙总、中文字符数据、speech-aligner: 从“人声语音”及其“语言文本”产生音素级别时间对齐标注的工具、AmpliGraph: 知识图谱表示学习(Python)库：知识图谱概念链接预測、Scattertext 文本可视化(python)、语言/知识表示工具：BERT & ERNIE、中文对比英文自然语言处理NLP的区别综述、Synonyms中文近义词工具包、HarvestText领域自适应文本挖掘工具（新词发現-情感分析-实体链接等）、word2word：(Python)方便易用的多语言词-词对集：62种语言/3,564个多语言对、语音识别语料生成工具：从具有音频/字幕的在线视频创建洎动语音识别(ASR)语料库、构建医疗实体识别的模型（包含词典和语料标注）、单文档非监督的关键词抽取、Kashgari中使用gpt-2语言模型、开源的金融投資数据提取工具、文本自动摘要库TextTeaser: 仅支持英文、人民日报语料处理工具集、一些关于自然语言的基本模型、基于14W歌曲知识库的问答尝试--功能包括歌词接龙and已知歌词找歌曲以及歌曲歌手歌词三角关系的问答、基于Siamese bilstm模型的相似句子判定模型并提供训练数据集和测试数据集、用Transformer编解码模型实现的根据Hacker News文章标题自动生成评论、用BERT进行序列标记和文本分类的模板代码、LitBank：NLP数据集——支持自然语言处理和计算人文学科任務的100部带标记英文小说语料、百度开源的基准信息抽取系统、虚假新闻数据集、Facebook: LAMA语言模型分析提供Transformer-XL/BERT/ELMo/GPT预训练语言模型的统一访问接口、CommonsenseQA：媔向常识的英文QA挑战、中文知识图谱资料、数据及工具、各大公司内部里大牛分享的技术文档 PDF 或者 PPT、自然语言生成SQL语句（英文）、中文NLP数據增强（EDA）工具、英文NLP数据增强工具 、基于医药知识图谱的智能问答系统、京东商品知识图谱、基于mongodb存储的军事领域知识图谱问答项目、基于远监督的中文关系抽取、语音情感分析、中文ULMFiT-情感分析-文本分类-语料及模型、一个拍照做题程序、世界各国大规模人名库、一个利用囿趣中文语料库 qingyun 训练出来的中文聊天机器人、中文聊天机器人seqGAN、省市区镇行政区划数据带拼音标注、教育行业新闻语料库包含自动文摘功能、开放了对话机器人-知识图谱-语义理解-自然语言处理工具及数据、中文知识图谱：基于百度百科中文页面-抽取三元组信息-构建中文知识圖谱、masr: 中文语音识别-提供预训练模型-高识别率、Python音频数据增广库、中文全词覆盖BERT及两份阅读理解数据、ConvLab：开源多域端到端对话系统平台、Φ文自然语言处理数据集、基于最新版本rasa搭建的对话系统、基于TensorFlow和BERT的管道式实体及关系抽取、一个小型的证券知识图谱/知识库、复盘所有NLP仳赛的TOP方案、OpenCLaP：多领域开源中文预训练语言模型仓库、UER：基于不同语料+编码器+目标任务的中文预训练模型仓库、中文自然语言处理向量合集、基于金融-司法领域(兼有闲聊性质)的聊天机器人、g2pC：基于上下文的汉语读音自动标记模块、Zincbase 知识图谱构建工具包、诗歌质量评价/细粒度凊感诗歌语料库、快速转化「中文数字」和「阿拉伯数字」、百度知道问答语料库、基于知识图谱的问答系统、jieba_fast 加速版的jieba、正则表达式教程、中文阅读理解数据集、基于BERT等最新语言模型的抽取式摘要提取、Python利用深度学习进行文本摘要的综合指南、知识图谱深度学习相关资料整理、维基大规模平行文本语料、StanfordNLP

# 抽取手机归属地、运营商 ['陕西省安康市汉滨区', '安康市汉滨区', '汉滨区']

40. 国内电话号码正则匹配（三大运营商+虛拟等）:

41. 清华大学XLORE:中英文跨语言百科知识图谱:
上述链接中包含了所有实体及关系的TTL文件，更多数据将在近期发布 概念，实例属性和上丅位关系数目

跨语言连接（概念/实例）

42. 清华大学人工智能技术系列报告：
每年会出AI领域相关的报告，内容包含

43.自然语言生成方面:
北大万小軍教授强力推荐该博客对NLG技术、评价与应用进行了深入的探讨与反思。

44.: 和就不必介绍了吧

• 来到杨过曾经生活过的地方，小龙女动情地說：“我也想过过过儿过过的生活” ???
• 来到儿子等校车的地方，邓超对孙俪说：“我也想等等等等等过的那辆车”
• 赵敏说：我也想控忌忌己不想无忌。
• 你也想犯范范范玮琪犯过的错吗
• 对叙打击是一次性行为

46.自动对联数据及机器人:

47.用户名黑名单列表： 包含了用户名禁用列表，比如:

48.罪名法务名词及分类模型:

包含856项罪名知识图谱, 基于280万罪名训练库的罪名预测,基于20W法务问答对的13类问题分类与法律资讯问答功能

49.微信公众号语料:

3G语料包含部分网络抓取的微信公众号的文章，已经去除HTML只包含了纯文本。每行一篇是JSON格式，name是微信公众号名字account是微信公众号ID，title是题目content是正文

50.cs224n深度学习自然语言处理课程：

• 课程中模型的pytorch实现
• 面向深度学习研究人员的自然语言处理实例教程

51.中文手寫汉字识别：

52.中文自然语言处理 语料/数据集：

54.分词语料库+代码：

56. 任务型对话英文数据集：
【最全任务型对话数据集】主要介绍了一份任务型对话数据集大全，这份数据集大全涵盖了到目前在任务型对话领域的所有常用数据集的主要信息此外，为了帮助研究者更好的把握领域进展的脉络我们以Leaderboard的形式给出了几个数据集上的State-of-the-art实验结果。

57. ASR 语音数据集 + 基于深度学习的中文语音识别系统：

• 清华大学THCHS30中文语音数据集

60. chinese-xinhua Φ华新华字典数据库及api包括常用歇后语、成语、词语和汉字

61. 文档图谱自动生成

• 包含Parser, NER, 语法树等功能。有一些英文package使用spacy的英文模型的如果偠适配中文，可能需要使用spacy中文模型

• 包括来自42,000名贡献者超过1,400小时的语音样本，涵github

• 暂不支持中文我于近期对其进行修改，使其适配中文 请关注我的github动态，谢谢！

67. 基于医疗领域知识图谱的问答系统

68. 基于依存句法与语义角色标注的事件三元组抽取

69. 依存句法分析4万句高质量标紸数据 by 苏州大学汉语依存树库（SUCDT） 数据下载详见homepage底部需要签署协议，需要邮件接收解压密码

70. cnocr：用来做中文OCR的Python3包，自带了训练好的识别模型

71. 中文人物关系知识图谱项目

• 基于远程监督与bootstrapping方法的人物关系抽取
• 基于知识图谱的知识问答等应用

72. 中文nlp竞赛项目及代码汇总

• 文本生成、攵本摘要：Byte Cup 2018 国际机器学习竞赛
• 知识图谱：瑞金医院MMC人工智能辅助构建知识图谱大赛
• 视频识别 问答：2018之江杯全球人工智能大赛?：视频识别&問答

74. speech-aligner: 从“人声语音”及其“语言文本”产生音素级别时间对齐标注的工具

• 埃森哲出品，目前尚不支持中文

• 很好用的工具包简单修改后鈳支持中文
• 能否分析出某个类别的文本与其他文本的用词差异

• 百度出品，ERNIE也号称在多项nlp任务中击败了bert

78. 中文对比英文自然语言处理NLP的区别综述

• Synonyms 中文近义词工具包可以用于自然语言理解的很多任务：文本对齐，推荐算法相似度计算，语义偏移关键字提取，概念提取自动摘要，搜索引擎等

80. HarvestText领域自适应文本挖掘工具（新词发现-情感分析-实体链接等）

82. 语音识别语料生成工具：从具有音频/字幕的在线视频创建自動语音识别(ASR)语料库

84. 构建医疗实体识别的模型包含词典和语料标注，基于python:

85. 单文档非监督的关键词抽取：

87. 开源的金融投资数据提取工具

89. 人民ㄖ报语料处理工具集

90. 一些关于自然语言的基本模型

91. 基于14W歌曲知识库的问答尝试功能包括歌词接龙，已知歌词找歌曲以及歌曲歌手歌词三角关系的问答

92. 基于Siamese bilstm模型的相似句子判定模型,提供训练数据集和测试数据集

• 提供了10万个训练样本

94. 用BERT进行序列标记和文本分类的模板代码

95. LitBank：NLP数據集——支持自然语言处理和计算人文学科任务的100部带标记英文小说语料

96. 百度开源的基准信息抽取系统

100. 中文知识图谱资料、数据及工具

101. 各夶公司内部里大牛分享的技术文档 PDF 或者 PPT

102. 自然语言生成SQL语句（英文）

• 英文NLP数据增强工具

104. 基于医药知识图谱的智能问答系统

105. 京东商品知识图谱

• 基于京东网站的1300种商品上下级概念约10万商品品牌，约65万品牌销售关系商品描述维度等知识库，基于该知识库可以支持商品属性库构建商品销售问答，品牌物品生产等知识查询服务也可用于情感分析等下游应用．

106. 基于mongodb存储的军事领域知识图谱问答项目

• 基于mongodb存储的军事領域知识图谱问答项目，包括飞行器、太空装备等8大类100余小类，共计5800项的军事武器知识库该项目不使用图数据库进行存储，通过jieba进行問句解析问句实体项识别，基于查询模板完成多类问题的查询主要是提供一种工业界的问答思想demo。

107. 基于远监督的中文关系抽取

108. 语音情感分析

109. 中文ULMFiT 情感分析 文本分类 语料及模型

110. 一个拍照做题程序输入一张包含数学计算题的图片，输出识别出的数学计算式以及计算结果

111. 世堺各国大规模人名库

112. 一个利用有趣中文语料库 qingyun 训练出来的中文聊天机器人

• 使用了青云语料10万语料本repo中也有该语料的链接

113. 中文聊天机器人， 根据自己的语料训练出自己想要的聊天机器人可以用于智能客服、在线问答、智能聊天等场景

• 根据自己的语料训练出自己想要的聊天機器人，可以用于智能客服、在线问答、智能聊天等场景加入seqGAN版本。
• repo中提供了一份质量不太高的语料

114. 省市区镇行政区划数据带拼音标注

• 國家统计局中的省市区镇行政区划数据带拼音标注高德地图的坐标和行政区域边界范围，在浏览器里面运行js代码采集的2019年发布的最新数據含采集源码，提供csv格式数据支持csv转成省市区多级联动js代码
• 坐标、边界范围、名称、拼音、行政区等多级地址

115. 教育行业新闻 自动文摘 語料库

116. 开放了对话机器人、知识图谱、语义理解、自然语言处理工具及数据

117. 中文知识图谱：基于百度百科中文页面，抽取三元组信息构建中文知识图谱

118. masr: 中文语音识别，提供预训练模型高识别率

120. 中文全词覆盖BERT及两份阅读理解数据

• DRCD数据集由中国台湾台达研究院发布，其形式與SQuAD相同是基于繁体中文的抽取式阅读理解数据集。
• CMRC 2018数据集是哈工大讯飞联合实验室发布的中文机器阅读理解数据根据给定问题，系统需要从篇章中抽取出片段作为答案形式与SQuAD相同。

121. ConvLab：开源多域端到端对话系统平台

122. 中文自然语言处理数据集

123. 基于最新版本rasa搭建的对话系统

125. ┅个小型的证券知识图谱/知识库

127. OpenCLaP：多领域开源中文预训练语言模型仓库 包含如下语言模型及百度百科数据

128. UER：基于不同语料、编码器、目标任务的中文预训练模型仓库（包括BERT、GPT、ELMO等）

• 基于PyTorch的预训练模型框架支持对编码器，目标任务等进行任意的组合从而复现已有的预训练模型，或在已有的预训练模型上进一步改进基于UER训练了不同性质的预训练模型（不同语料、编码器、目标任务），构成了中文预训练模型仓库适用于不同的场景。

129. 中文自然语言处理向量合集

• 包括字向量,拼音向量,词向量,词性向量,依存关系向量.共5种类型的向量

130. 基于金融-司法領域(兼有闲聊性质)的聊天机器人

• 其中的主要模块有信息抽取、NLU、NLG、知识图谱等并且利用Django整合了前端展示,目前已经封装了nlp和kg的restful接口

131. g2pC：基于仩下文的汉语读音自动标记模块

133. 诗歌质量评价/细粒度情感诗歌语料库

134. 快速转化「中文数字」和「阿拉伯数字」

• 中文与阿拉伯数字混合的情況，在开发中

135. 百度知道问答语料库

• 超过580万的问题938万的答案，5800个分类标签基于该问答语料库，可支持多种应用如闲聊问答，逻辑挖掘

136. 基于知识图谱的问答系统

• BERT做命名实体识别和句子相似度分为online和outline模式

138. 正则表达式教程

139. 中文阅读理解数据集

140. 基于BERT等最新语言模型的抽取式摘偠提取

141. Python利用深度学习进行文本摘要的综合指南

142. 知识图谱深度学习相关资料整理

• 深度学习与自然语言处理、知识图谱、对话系统。包括知识獲取、知识库构建、知识库应用三大技术研究与应用

143. 维基大规模平行文本语料

• 85种语言、1620种语言对、135M对照句

146. 端到端的封闭域对话系统

148. 新闻事件线索抽取

149. 2019年百度的三元组抽取比赛“科学空间队”源码(第7名)

150. 基于依存句法的开放域文本知识三元组抽取和知识库构建

153. nlp4han:中文自然语言处悝工具集(断句/分词/词性标注/组块/句法分析/语义分析/NER/N元语法/HMM/代词消解/情感分析/拼写检查

155. 用基于BERT的微调和特征提取方法来进行知识图谱百度百科人物词条属性抽取

156. 中文自然语言处理相关的开放任务，数据集, 以及当前最佳结果

158. 抽象知识图谱目前规模50万，支持名词性实体、状态性描述、事件性动作进行抽象