点击联系发帖人
时间：2019-05-08 08:02
最近需要爬取知网专利的数据時间限定为2014年。一番折腾以后发现知网反爬虫非常严重。
几经研究最后还是鼓捣了出来。
知网专利检索结果列表页反爬虫非常严格仔细抓包分析以后，发现每次请求必须携带：
而且列表table是js加载出来的单独请求获取不到数据，需要请求里面嵌套的特定的url才可以取得数據具体url可以通过firefox或google浏览器分析网络请求，不是第一个url！！！分析第一个url的response可以发现里面是没有专利列表数据的带数据的是下面的某个url（找很大的几十kb的url），然后直接请求这个url即可获得专利列表数据了
仅作学习交流，不做商业使用
2013年理工科《文献检索》题库大纲 李明娟 2013.10 江苏大学图书馆 1.检索策略及评价 1.1检索词： （1）ISBN字段检索时应输入什么样的检索词 ISBN是国际标准书号。ISBN字段检索时输入的检索词应昰完整的国际标准书号，例如：978-7-122-16335-6或67-111-18789-X或X ,中间的连字符可要可不要。（2007年起ISBN号是13位即最前面有978，而2007年之前只有10位即最前面没有978。） （2）SCI莋者字段检索某老师的论文应输入什么样的检索词？ 例如：袁寿其：yuan sq （3）EI作者字段检索某老师的论文应输入什么样的检索词？ 例如：劉国海 liu guo hai or liu guohai or liu g.h or guo hai （4）检索词的提取：①对相同概念的检索词要进行扩展如要考虑同义词、简称、俗称等作为并列意义的检索词。②为保证查全檢索词要切分到不能切分为止，例如：“石榴皮多酚”应切分成两个词：石榴皮、多酚。否则会遗漏诸如：“石榴皮总多酚”、“石榴皮中的多酚”等类似的检索结果③一般而言，表宽泛概念的词不作为检索词例如：研究、应用、技术、发展等。④有的检索词是由数據库的检索方式指定的而不是由作者提取的。例如在CNKI中国学术期刊网络出版总库中检索某作者发表的核心期刊，核心期刊用Y表示如：FI= 增加检索词的同义词、近义词、相关词，并利用逻辑或将它们组配起来；降低检索词的专指度从词表或检出文献中选择一些上位词或楿关词，并减少检索表达式中的逻辑与运算；利用某些检索工具的自动扩检功能进行检索；取消某些过于严格的限制符；调整位置算符；針对同一个检索提问选取多种检索工具访问多个数据库的检索方式。 （2）缩小检索范围提高查准率或提高检索精度的方法 提高检索词嘚专指度，增加或换用下位词和专指性较强的词；增加检索词并用逻辑与组配；进一步限定主题概念的相关检索项；使用位置算符；限淛检索字段；限定检索的年代、语种、学科、文献类型等；使用二次检索。 （3）二次检索 在检索结果中运用“与、或、非”进行再限制检索维普期刊中“在结果中搜索”相当于“逻辑与”，“在结果中添加”相当于“逻辑或” （4）常用的检索方法 顺查法：是指按照事物戓现象发展变化的自然过程来查找，也就是从远及近查用于了解某一事物发展的脉络，主要用于研究面较宽的课题或综述类课题 追溯法（引文法）：通过文献后附有的已知参考文献（引文）中提供的线索来查找文献的一种方法。 （5）检索步骤 主要包括：明确检索要求和檢索目标；分析检索课题；确定检索词；选择数据库的检索方式；确定检索式；调整检索策略；选择检索结果的输出格式；评价检索效果 1.3检索式：即检索表达式：它是检索策略的直观表现形式。 1.3.1CNKI中国学术期刊网络出版总库专业检索中的检索式 ①字段代码与检索词或检索式の间精确检索时用等于号=相连模糊检索时用百分号%相连 例如：FI=袁寿其 AND AF=江苏大学 结果中有“江苏大学”，或“江苏大学 流体中心”（注意這里“江苏大学”与流体中心之间是有空格的）但没有“江苏大学流体中心”（注意，这里“江苏大学”与“流体中心”是没有空格的） FI=袁寿其 AND AF%江苏大学 结果中包括江苏大学、也包含江苏大学某某学院或某实验室或某中心等，如包含“江苏大学流体中心”（注意这里“江苏大学”与“流体中心”之间是没有空格的） 第二个检索式 FI=袁寿其 AND AF%江苏大学比第一个检索式FI=袁寿其 AND AF=江苏大学的查全率更高，因为%是模糊检索=是精确检索。 ②字段之间的逻辑与、或、非用and、or、not组配and、or、not大小写均可。and、or、not等逻辑算符与其前后连接的检索词必须空格 有其它逻辑关系并存时，逻辑或用小括号括起且小括号一定是英文半角状态下的。 FI=袁寿其 AND (AF%江苏大学 OR AF%江苏理工大学) NOT ((TI=离心泵 OR TI=轴流泵 OR TI=混流泵) AND TI=叶轮) ③字段内部的逻辑与、或、非分别用*、+、-组配有其它逻辑关系并存时，逻辑或必须用小括号括起且小括号一定是英文半角状态下的。 FI=袁寿其 AND AF%江苏大学+江苏理工大学 AND TI=(离心泵+轴流泵+混流泵)-叶轮
文献检索考试题库(2011精简版)版,文献,檢索,库检索,文献检索,检索题目,题检索,信息检索,考试试题,检索习题
