Python小爬虫 - The Soul of Linux
作者：斯巴达克斯
时间：March 28, 2014
Python写的小爬虫，用来爬去Amazon上的书籍信息，分2个脚本（一个把页面下载下来，一个分析下载好的页面），下载的时候使用多进程（结合数据库，多开脚本）进行下载
创建表语句
CREATE TABLE `AMAZON_BOOK` (
`BOOK_ID` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '书ID',
`ASIN` varchar(100) NOT NULL COMMENT 'amazon书籍标识',
`BOOK_NAME` varchar(200) DEFAULT NULL COMMENT '书名',
`BOOK_SERIES` varchar(100) DEFAULT NULL COMMENT '丛书名',
`ORIGINAL_BOOK_NAME` varchar(200) DEFAULT NULL COMMENT '外文书名',
`AUTHOR` varchar(200) DEFAULT NULL COMMENT '作者',
`EDITOR` varchar(200) DEFAULT NULL COMMENT '责任编辑',
`EDITOR_CONTACT` varchar(400) DEFAULT NULL COMMENT '责任编辑联系方式',
`PUBLISHER_NAME` varchar(200) DEFAULT NULL COMMENT '出版社名称',
`PUBLISH_DATE` date DEFAULT NULL COMMENT '出版时间',
`PUBLISH_VERSION` varchar(100) DEFAULT NULL COMMENT '版次',
`PRINTED_COUNT` int(11) DEFAULT '0' COMMENT '印次',
`PRINTED_DATE` date DEFAULT NULL COMMENT '印刷时间',
`ISBN` varchar(100) DEFAULT NULL COMMENT 'ISBN',
`BARCODE` varchar(100) DEFAULT NULL COMMENT '条形码',
`WORD_COUNT` varchar(50) DEFAULT NULL COMMENT '字数',
`FACT_PAGE_COUNT` int(11) DEFAULT NULL COMMENT '实际页数',
`PAGE_COUNT` int(11) DEFAULT NULL COMMENT '电子书页数',
`CHAPTER_COUNT` int(11) DEFAULT NULL COMMENT '章节数量',
`PRINTED_QUANTITY` int(11) DEFAULT NULL COMMENT '印刷数量',
`FOLIO` varchar(50) DEFAULT NULL COMMENT '开本',
`PAPER_MATERIAL` varchar(50) DEFAULT NULL COMMENT '纸张',
`PACK` varchar(50) DEFAULT NULL COMMENT '包装',
`INTRODUCTION` mediumtext COMMENT '简介',
`AUTHOR_INTRODUCTION` mediumtext COMMENT '作者简介',
`EDITOR_COMMENT` mediumtext COMMENT '编辑评论',
`CELEBRITY_COMMENT` mediumtext COMMENT '名人评论',
`TABLE_OF_CONTENTS` mediumtext COMMENT '目录',
`TAGS` varchar(200) DEFAULT NULL COMMENT '标签',
`BOOK_CATEGORY_CODE` varchar(35) DEFAULT NULL COMMENT '书分类代码',
`PAPER_PRICE` decimal(13,4) DEFAULT NULL COMMENT '纸质书价格',
`LANGUAGE` varchar(200) DEFAULT NULL COMMENT '语种',
`PACKAGE_SIZE` varchar(200) DEFAULT NULL COMMENT '商品尺寸',
`PACKAGE_WEIGHT` varchar(200) DEFAULT NULL COMMENT '商品重量',
`TRANSLATOR` varchar(200) DEFAULT NULL COMMENT '译者',
`EDITOR_DEPARTMENT` varchar(200) DEFAULT NULL COMMENT '责编部门',
`CREATE_DATETIME` datetime DEFAULT NULL,
`CREATE_BY` varchar(100) DEFAULT NULL,
`UPDATE_DATETIME` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
`UPDATE_BY` varchar(100) DEFAULT NULL,
`DELETE_FLAG` tinyint(4) DEFAULT '0' COMMENT '0未删除,1已删除',
`PAPER_SALE_PRICE` decimal(13,4) DEFAULT NULL COMMENT '纸质书售价',
`DOWNLOAD_SUCCESS` tinyint(1) DEFAULT '0' COMMENT '0下载未成功,1下载成功',
`IS_DOWNLOADING` tinyint(1) DEFAULT '0' COMMENT '0没有在下载中,1已在下载中',
`PARSE_OK` tinyint(1) DEFAULT NULL COMMENT '0未分析成功,1成功分析',
PRIMARY KEY (`BOOK_ID`),
UNIQUE KEY `ASIN` (`ASIN`)
) ENGINE=InnoDB AUTO_INCREMENT=110297 DEFAULT CHARSET=utf8 COMMENT='书';
请在数据库中自行添加 ASIN字段的值（可以分析搜索页面抓取需要的）
下载页面脚本
#!/usr/bin/env python
# coding=utf-8
import time
import socket
import urllib
import MySQLdb
# 下载进度
def reportHook(blocks_read, block_size, total_size):
if not blocks_read:
print 'Connection opened'
if total_size
return True
return False
# 执行查询语句，并返回结果
def fetchAllResult(cursor, sql):
cursor.execute(sql)
return cursor.fetchall()
# 执行更新语句
def updateSQL(cursor, sql):
cursor.execute(sql)
# 开始下载页面
def startDownLoad(conn, start_asni, error_file):
# 开始下载商品页面和商品详细页面
print "-------start download:
--------" % start_asni
updateSQL(cur, set_downloading_sql % start_asni)
product_file_name = start_asni + '.html'
product_description_file_name = start_asni + '_description.html'
downloadPage(product_url % start_asni, product_file_name)
downloadPage(product_description % start_asni, product_description_file_name)
if existsFile(product_file_name) and existsFile(product_description_file_name):
updateSQL(cur, set_success_sql % start_asni)
print "..... Book [%s] download OK..... " % start_asni
print "..... Book [%s] download failure, will restart download ..... " % start_asni
updateSQL(cur, set_failure_sql % start_asni)
print "******* [ %s ] download exception *******" % start_asni
updateSQL(cur, set_failure_sql % start_asni)
error_file.write(start_asni + '\n')
time.sleep(2)
# 连接Mysql
def connMysql(host, user, passwd, db, port):
conn = None
conn = MySQLdb.connect(host=host, user=user, passwd=passwd, db=db, port=port, charset='utf8')
except MySQLdb.Error,e:
print "Mysql Error [ %d ]: %s" % (e.args[0], e.args[1])
return conn
# 定义数据库IP、用户名、密码
host = 'localhost'
user = 'root'
passwd = '123456'
db = 'download_book'
port = 3306
book_root = "D:\\AMAZON_BOOK"
socket.setdefaulttimeout(20)
# 商品页面
product_url = '/111fsfsdfd/dp/%s'
# 商品详细页面
product_description = '/111fsfsdfd/dp/product-description/%s'
# 查询SQL语句
get_notstart_sql = """
BOOK_ID,ASIN,DOWNLOAD_SUCCESS,IS_DOWNLOADING
AMAZON_BOOK
DOWNLOAD_SUCCESS = 0 AND IS_DOWNLOADING = 0
# 更新SQL语句
set_downloading_sql = """
AMAZON_BOOK
IS_DOWNLOADING = 1
ASIN = '%s'
# 下载成功时更新语句
set_success_sql = """
AMAZON_BOOK
DOWNLOAD_SUCCESS = 1
ASIN = '%s'
# 失败时更新语句
set_failure_sql = """
AMAZON_BOOK
DOWNLOAD_SUCCESS = 0,IS_DOWNLOADING = 0
ASIN = '%s'
conn = connMysql(host, user, passwd, db, port)
cur = conn.cursor()
errorlog = open('d:\\error.log','a')
# 获取书籍标识并下载
while True:
os.chdir(book_root)
start_asni = fetchAllResult(cur, get_notstart_sql)
# 查询结果是否为空
if start_asni:
asni = start_asni[0][1]
createDir(asni)
os.chdir(asni)
startDownLoad(conn, asni, errorlog)
print "-------- There is no Book page downdload ! ---------"
errorlog.close()
cur.close()
conn.close()
分析页面脚本
#!/usr/bin/env python
# coding=utf-8
import urllib
import logging
import pickle
import HTMLParser
import MySQLdb
import BeautifulSoup
# 下载页面
def downloadPage(url, filename):
download_ok = False
urllib.urlretrieve(url, filename)
if os.path.getsize(filename) > 2048:
download_ok = True
return download_ok
# 读取下载好的页面
def readHtmlContent(filename):
html_file = open(filename, 'r')
html = html_file.read()
html_file.close()
data = BeautifulSoup.BeautifulSoup(html)
return data
# 分析页面文件，找出想要的字段
def parseHtml(product_filename, description_filename):
data = readHtmlContent(product_filename)
description = readHtmlContent(description_filename)
ASIN = os.path.splitext(os.path.basename(product_filename))[0]
book_dict[ASIN] = {}.fromkeys(book_filed_list, '')
result_list
result_list.append(ASIN)
error = 'Error'
# 获取书名及作者
namestring = u' [书名,作者及包装]分析..%s '
get_book_name_author = data.findAll('div',{'class':'buying'})
for i in get_book_name_author:
book_name_author = i.getText()
book_name_author_list = book_name_author.split(']')
book_dict[ASIN]['BOOK_NAME'] = book_name_author_list[0].split('[')[0]
book_dict[ASIN]['PACK'] = book_name_author_list[0].split('[')[1]
if book_name_author_list[1]:
book_dict[ASIN]['AUTHOR'] =
book_name_author_list[1].split('~')[1]
result_list.append(namestring % ok)
result_list.append(namestring % error)
# 获取封面图片
imgstring = u' [封面下载]..%s '
img_url = data.find('div',{'class':'main-image-inner-wrapper'}).img['src']
img_file = ASIN + "\\" + ASIN + '.jpg'
is_ok = downloadPage(img_url, img_file)
result_list.append(imgstring % ok)
result_list.append(imgstring % error)
result_list.append(imgstring % error)
# 获取价格
pricestring = u' [定价及售价]分析..%s '
p_market = re.compile(u'市场价')
p_order = re.compile(u'定价|价格')
p_price = re.compile(',')
get_book_price_html = data.find('div',{'class':'buying','id':'priceBlock'})
if get_book_price_html:
get_book_price = get_book_price_html.findAll('tr')[0:2]
for i in get_book_price:
price_list = i.getText().split()
if p_market.match(price_list[0]):
book_dict[ASIN]['PAPER_PRICE']
price_list[1]
if "," in book_dict[ASIN]['PAPER_PRICE']:
book_dict[ASIN]['PAPER_PRICE'] = p_price.sub('',book_dict[ASIN]['PAPER_PRICE'])
elif p_order.match(price_list[0]):
book_dict[ASIN]['PAPER_SALE_PRICE'] =
re.match('\d+\.\d{2}',price_list[1]).group()
if "," in book_dict[ASIN]['PAPER_SALE_PRICE']:
book_dict[ASIN]['PAPER_SALE_PRICE'] = p_price.sub('',book_dict[ASIN]['PAPER_SALE_PRICE'])
result_list.append(pricestring % ok)
book_dict[ASIN]['PAPER_PRICE'] = 0
book_dict[ASIN]['PAPER_SALE_PRICE'] = 0
result_list.append(pricestring % error)
book_dict[ASIN]['PAPER_PRICE'] = 0
book_dict[ASIN]['PAPER_SALE_PRICE'] = 0
result_list.append(pricestring % error)
# 获取图书描述
book_description_string = u' [图书描述]分析..%s '
p = re.compile(u'年|月|日')
book_description = data.findAll('div',{'id':'ps-content'})
press_date_span = book_description[0]('span',{'class':'byLinePipe'})[0]
book_dict[ASIN]['PUBLISH_DATE'] = re.sub(p, '-', press_date_span.nextSibling.getText())[0:-1]
# 出版日期
description_div = book_description[0].find('div',{'id':'postBodyPS'})
introduction = description_div.getText()
if '&#' in introduction:
book_dict[ASIN]['INTRODUCTION'] = entry.unescape(introduction)
book_dict[ASIN]['INTRODUCTION'] = introduction
result_list.append(book_description_string % ok)
result_list.append(book_description_string % error)
# 获取基本信息
basic_info_string =u' [图书基本信息]分析..%s '
basic_info = data.find('td',{'class':'bucket'})
li_list = basic_info.ul.findAll('li')
for li in li_list:
text = li.getText()
if ':' in text:
key,value = text.split(':', 1)
if key in u"出版社":
if ';' in value:
book_dict[ASIN]['PUBLISHER_NAME'] = value.split(';')[0]
book_dict[ASIN]['PUBLISH_VERSION'] = value.split(';')[1].split()[0]
book_dict[ASIN]['PUBLISHER_NAME'] = value.split()[0]
version_list = value.split()[1].split()
if len(version_list) > 2:
book_dict[ASIN]['PUBLISH_VERSION'] = version_list[0]
elif key in u"开本":
book_dict[ASIN]['FOLIO'] = value
elif key == "ISBN":
book_dict[ASIN]['ISBN'] = value
elif key in u"条形码":
book_dict[ASIN]['BARCODE'] = value
elif key in u"商品尺寸":
# 商品尺寸
book_dict[ASIN]['PACKAGE_SIZE'] = value
elif key in u"商品重量":
# 商品重量
book_dict[ASIN]['PACKAGE_WEIGHT'] = value
elif key in u"平装":
book_dict[ASIN]['FACT_PAGE_COUNT'] = 0
page = value[0:-1]
book_dict[ASIN]['FACT_PAGE_COUNT'] = page
elif key in u"丛书名":
if '&' in value:
book_dict[ASIN]['BOOK_SERIES'] = value.split(';')[1]
book_dict[ASIN]['BOOK_SERIES'] = value
elif key in u"外文书名":
# 外文书名
if '&' in value:
book_dict[ASIN]['ORIGINAL_BOOK_NAME'] = value.split(';')[1]
book_dict[ASIN]['ORIGINAL_BOOK_NAME'] = value
elif u'：' in text:
key,value = text.split(u'：', 1)
if key in u"语种":
book_dict[ASIN]['LANGUAGE'] = value
result_list.append(basic_info_string % ok)
book_dict[ASIN]['FACT_PAGE_COUNT'] = 0
result_list.append(basic_info_string % error)
# 获取商品描述
productDescription_string = u' [商品详细页面]分析..%s '
productDescription_section = description.find('div',{'id':'productDescription'})
WriterRecommendAuthor = productDescription_section.findAll('h3')
WriterRecommendAuthorContent = productDescription_section.findAll('div',{'class':'productDescriptionWrapper'})
for i,j in zip(WriterRecommendAuthor,WriterRecommendAuthorContent) :
key = i.getText()
value = u''.join([unicode(x) for x in j.contents[0:-2]]).strip()
if key in u"编辑推荐":
if '&#' in value:
book_dict[ASIN]['EDITOR_COMMENT'] = entry.unescape(value)
book_dict[ASIN]['EDITOR_COMMENT'] = value
elif key in u"目录":
if '&#' in value:
book_dict[ASIN]['TABLE_OF_CONTENTS'] = entry.unescape(value)
book_dict[ASIN]['TABLE_OF_CONTENTS'] = value
elif key in u"作者简介":
if '&#' in value:
book_dict[ASIN]['AUTHOR_INTRODUCTION'] = entry.unescape(value)
book_dict[ASIN]['AUTHOR_INTRODUCTION'] = value
result_list.append(productDescription_string % ok)
result_list.append(productDescription_string % error)
return result_list
# 获取文件大小
def getSize(filename):
is_ok = True
if os.path.getsize(filename) < 61440:
is_ok = False
return is_ok
# 连接Mysql
def connMysql(host, user, passwd, db, port):
conn = None
conn = MySQLdb.connect(host=host, user=user, passwd=passwd, db=db, port=port, charset='utf8')
except MySQLdb.Error,e:
print "Mysql Error [ %d ]: %s" % (e.args[0], e.args[1])
return conn
# 执行SQL语句
def execSQL(cursor, sql):
cursor.execute(sql)
print "OK !!"
print "Failure !!"
# 打开日志文件并返回文件对象
def openLogFile(filename, mode):
data = open(filename,mode)
return data
# 把分析后形成的字典写入到文件
def dumpBookDictToFile(book_dict,filename):
data = openLogFile(filename,'w')
pickle.dump(book_dict,data)
data.close()
# 把写入到文件的字典读取出来
def loadBookDictFromFile(filename):
data = openLogFile(filename,'r')
book_dict = pickle.load(data)
data.close()
return book_dict
# 程序开始
# 定义数据库IP、用户名、密码、端口
host = 'localhost'
user = 'root'
passwd = '123456'
db = 'download_book'
port = 3306
# 定义存放书籍信息的字典
book_dict = {}
# 初始化一个HTMLParser实例，来转换HTML实体编码
entry = HTMLParser.HTMLParser()
# 定义书的根目录并切换至该目录
book_root = "D:\\Test\\book"
# book_root = "D:\\AMAZON_BOOK"
os.chdir(book_root)
# 定义日志文件根目录
log_file_root = 'D:\\logs'
# log_file_root = 'D:\\amazon_book_log'
if not os.path.exists(log_file_root):
os.makedirs(log_file_root)
# 生成的字典写入到文件
book_dict_file = os.path.join(log_file_root,'amazon_book_dict.log')
log_filename = os.path.join(log_file_root,'amazon_book_parse_html.log')
# 定义程序输出的日志文件
format_string = '%(asctime)s %(message)s'
logging.basicConfig(filename=log_filename, , format=format_string, filemode='w')
console = logging.StreamHandler()
console.setFormatter(logging.Formatter(format_string))
logging.getLogger('').addHandler(console)
# 定义书的字段
book_filed_list = ['BOOK_NAME','BOOK_SERIES','ORIGINAL_BOOK_NAME','AUTHOR','PUBLISHER_NAME',
'PUBLISH_DATE','PUBLISH_VERSION','ISBN','BARCODE','FACT_PAGE_COUNT',
'FOLIO','PACK','INTRODUCTION','AUTHOR_INTRODUCTION','EDITOR_COMMENT',
'TABLE_OF_CONTENTS','PAPER_PRICE','LANGUAGE','PACKAGE_SIZE','PACKAGE_WEIGHT',
'TRANSLATOR','PAPER_SALE_PRICE',
# 遍历书的根目录
for dirpath, dirnames, filenames in os.walk('.'):
if filenames:
asni = os.path.basename(dirpath)
product_filename = os.path.join(dirpath, asni + ".html")
description_filename = os.path.join(dirpath, asni + "_description.html")
if getSize(product_filename) and getSize(description_filename):
parseHtml(product_filename, description_filename)
ok = ''.join(result)
(" " + ok)
error = u" %s 文件不完整,跳过分析!!" % asni
# 把生成的字典dump到文件
dumpBookDictToFile(book_dict,book_dict_file)
# 加载文件中的字典
# book_dict = loadBookDictFromFile(book_dict_file)
# 更新语句
update_string = """
Test_copy_copy
BOOK_NAME='%s',BOOK_SERIES='%s',ORIGINAL_BOOK_NAME='%s',AUTHOR='%s',
PUBLISHER_NAME='%s',PUBLISH_DATE='%s',PUBLISH_VERSION='%s',ISBN='%s',BARCODE='%s',
FACT_PAGE_COUNT=%s,FOLIO='%s',PACK='%s',INTRODUCTION='%s',AUTHOR_INTRODUCTION='%s',
EDITOR_COMMENT='%s',TABLE_OF_CONTENTS='%s',PAPER_PRICE=%s,LANGUAGE='%s',PACKAGE_SIZE='%s',
PACKAGE_WEIGHT='%s',TRANSLATOR='%s',PAPER_SALE_PRICE=%s,PARSE_OK=%d
ASIN = '%s'
# 连接到MySQL更新数据
conn = connMysql(host, user, passwd, db, port)
pattern = re.compile("'")
price_pattern = re.compile(",")
cur = conn.cursor()
for key,value in book_dict.iteritems():
if "'" in value['BOOK_NAME']:
value['BOOK_NAME'] = pattern.sub("\\'",value['BOOK_NAME'])
if "'" in value['AUTHOR']:
value['AUTHOR'] = pattern.sub("\\'",value['AUTHOR'])
if "'" in value['BOOK_SERIES']:
value['BOOK_SERIES'] = pattern.sub("\\'",value['BOOK_SERIES'])
if "'" in value['ORIGINAL_BOOK_NAME']:
value['ORIGINAL_BOOK_NAME'] = pattern.sub("\\'",value['ORIGINAL_BOOK_NAME'])
if '&#' in value['INTRODUCTION']:
value['INTRODUCTION'] = entry.unescape(value['INTRODUCTION'])
if "'" in value['INTRODUCTION']:
value['INTRODUCTION'] = pattern.sub("\\'",value['INTRODUCTION'])
if '&#' in value['AUTHOR_INTRODUCTION']:
value['AUTHOR_INTRODUCTION'] = entry.unescape(value['AUTHOR_INTRODUCTION'])
if "'" in value['AUTHOR_INTRODUCTION']:
value['AUTHOR_INTRODUCTION'] = pattern.sub("\\'",value['AUTHOR_INTRODUCTION'])
if '&#' in value['EDITOR_COMMENT']:
value['EDITOR_COMMENT'] = entry.unescape(value['EDITOR_COMMENT'])
if "'" in value['EDITOR_COMMENT']:
value['EDITOR_COMMENT'] = pattern.sub("\\'",value['EDITOR_COMMENT'])
if '&#' in value['TABLE_OF_CONTENTS']:
value['TABLE_OF_CONTENTS'] = entry.unescape(value['TABLE_OF_CONTENTS'])
if "'" in value['TABLE_OF_CONTENTS']:
value['TABLE_OF_CONTENTS'] = pattern.sub("\\'",value['TABLE_OF_CONTENTS'])
if not value['FACT_PAGE_COUNT']:
value['FACT_PAGE_COUNT'] = 0
if not value['PAPER_PRICE']:
value['PAPER_PRICE'] = 0
if not value['PAPER_SALE_PRICE']:
value['PAPER_SALE_PRICE'] = 0
if len(value['PUBLISH_DATE'])
value['PUBLISH_DATE'] = ''
if "," in str(value['PAPER_PRICE']):
value['PAPER_PRICE'] = price_pattern.sub('',str(value['PAPER_PRICE']))
if "," in str(value['PAPER_SALE_PRICE']):
value['PAPER_SALE_PRICE']= price_pattern.sub('',str(value['PAPER_SALE_PRICE']))
update_sql = update_string % (value['BOOK_NAME'], value['BOOK_SERIES'], value['ORIGINAL_BOOK_NAME'], value['AUTHOR'],
value['PUBLISHER_NAME'], value['PUBLISH_DATE'],value['PUBLISH_VERSION'], value['ISBN'],
value['BARCODE'],value['FACT_PAGE_COUNT'],value['FOLIO'], value['PACK'],
value['INTRODUCTION'], value['AUTHOR_INTRODUCTION'],value['EDITOR_COMMENT'],
value['TABLE_OF_CONTENTS'], value['PAPER_PRICE'], value['LANGUAGE'],value['PACKAGE_SIZE'],
value['PACKAGE_WEIGHT'], value['TRANSLATOR'],value['PAPER_SALE_PRICE'], 1, key)
print update_sql
print "[%s] update : " % key,
execSQL(cur, update_sql)
cur.close()
conn.close()
添加新评论
：哈哈，我用的这个博客没这个功能，我会同时在http://linux55...
：我是用的这个软件 wireshark
：非常赞，哈哈，加个分享功能吧，方便大家分享给好友们！
：你抓个抓包工具是什么,怎么查看的,谢谢
：呵呵，有空再补充一下。
：相当详细了~居然还涉及到操作系统层面的描述，楼主知识面很广啊！如此还可...
：不错，网站可以多建立几个板块，可以加入帐号注册，让别人也能发文档，就更...
：这么好的博客 注定51是容不下的，自立营火是大势所趋呀，哈哈
：看了你这个技术网站，给人耳目一新的感觉。真的很好，能否email我，我...页面导航：
→ 正文内容 零基础写python爬虫之爬虫框架Scrapy安装配置
零基础写python爬虫之爬虫框架Scrapy安装配置
Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。
前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，
用来解决简单的贴吧下载，绩点运算自然不在话下。
不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。
于是乎，爬虫框架Scrapy就这样出场了！
Scrapy = Scrach+Python，Scrach这个单词是抓取的意思，
Scrapy的官网地址：。
那么下面来简单的演示一下Scrapy的安装流程。
具体流程参照：
友情提醒：一定要按照Python的版本下载，要不然安装的时候会提醒找不到Python。建议大家安装32位是因为有些版本的必备软件64位不好找。
1.安装Python（建议32位）
建议安装Python2.7.x，3.x貌似还不支持。
安装完了记得配置环境，将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。
在cmd中输入python如果出现版本信息说明配置完毕。
2.安装lxml
lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML。点击选择对应的Python版本安装。
3.安装setuptools
用来安装egg文件，下载python2.7的对应版本的setuptools。
4.安装zope.interface
可以使用第三步下载的setuptools来安装egg文件，现在也有exe版本，下载。
5.安装Twisted
Twisted是用Python实现的基于事件驱动的网络引擎框架，下载。
6.安装pyOpenSSL
pyOpenSSL是Python的OpenSSL接口，下载。
7.安装win32py
提供win32api，下载
8.安装Scrapy
终于到了激动人心的时候了！安装了那么多小部件之后终于轮到主角登场。
直接在cmd中输入easy_install scrapy回车即可。
9.检查安装
打开一个cmd窗口，在任意位置执行scrapy命令，得到下列页面，表示环境配置成功。
您可能感兴趣的文章:
上一篇：下一篇：
最 近 更 新
热 点 排 行
12345678910你的位置： >
> 用Python教你如何“养”一只DHT爬虫
废话少说, 直接上菜.
我假设你了解:
1, DHT协议
2, 网络字节序/主机字节序
3, bencode
5, 种子文件构造
不懂的赶紧去google, 要是缺一个, 我会一口盐汽水喷死你的!
最重要的是, 你必须会编程!!!!!!! 必须会!!!!!!!!!!!
ok, DHT原理是什么我在这就不写了, 毕竟会看我这文章的人都是已经知道了的.
本文贴的代码均为Python, 使用其他编程语言的人可以看注释. 为了简单, 只会说大概思路和关键性代码, 细节自行搞定.
本文讲的是要实现一个爬虫, 所以不会跟协议文档那么严格. 只要保证你能正确请求,回应即可. 用软件开发的一句话来说: 只要接口一致, 管你内部细节代码是怎么写的.
第一步, 构建自己的路由表, 这里涉及到大量Python代码, 请深呼吸:
在构建自己的路由表之前, 得写两个辅助函数, 后面会用到:
from&hashlib&import&sha1&&from&random&import&randint&&def&node_id():&&&&&&&&&&&&&&&把爬虫&伪装&成正常node,&一个正常的node有ip,&port,&node&ID三个属性,&因为是基于UDP协议,&&&&&&&所以向对方发送信息时,&即使没&明确&说明自己的ip和port时,&对方自然会知道你的ip和port,&&&&&&&反之亦然.&那么我们自身node就只需要生成一个node&ID就行,&协议里说到node&ID用sha1算法生成,&&&&&&&sha1算法生成的值是长度是20&byte,&也就是20&*&8&=&160&bit,&正好如DHT协议里说的那范围:&0&至&2的160次方,&&&&&&&也就是总共能生成6个独一无二的node.&&&&&&&ok,&由于sha1总是生成20&byte的值,&所以哪怕你写SHA1(20)或SHA1(19)或SHA1(&I&am&a&2B&)都可以,&&&&&&&只要保证大大降低与别人重复几率就行.&注意,&node&ID非十六进制,&&&&&&&也就是说非FF5C85FE1FDBEB2EF59E4B0F51ECA这个样子,&即非hash.hexdigest().&&&&&&&&&&&&&&hash&=&sha1()&&&&&&s&=&&&&&&&&&for&i&in&range(20):&&&&&&&&&&s&+=&chr(randint(0,&255))&&&&&&hash.update(s)&&&&&&return&hash.digest()&&&def&intify(nid):&&&&&&&&&这是一个小工具,&把一个node&ID转换为数字.&后面会频繁用到.&&&&&&&&assert&len(nid)&==&20&&&&&return&long(nid.encode(&#39;hex&#39;),&16)&#先转换成16进制,&再变成数字
协议里说道, table里有bucket, bucket里有node, 每个bucket有K个node, 目前K=8, 即每个bucket有8个node. 由于table范围是0到2的160次方, 那么一个table最多能有(2的160次方)/K那么多的bucket.
OK, 按照OOP编程思想来说, 那么肯定会有table, bucket, node这3个类, 无OOP的, 自己看着办.
由于是基于Kademila而写, 所以我习惯上把这三个类名变为KTable, KBucket, KNode:
class&KNode:&&&&&&def&__init__(self,&nid,&ip,&port):&&&&&&&&&&&&&&&&&&&&&&&nid就是node&ID的简写,&就不取id这么模糊的变量名了.&__init__方法相当于别的OOP语言中的构造方法,&&&&&&&&&&&在python严格来说不是构造方法,&它是初始化,&不过,&功能差不多就行.&&&&&&&&&&&&&&&&&&&&&&self.nid&=&nid&#node&ID&&&&&&&&&&self.ip&=&ip&&&&&&&&&&self.port&=&port&&&&&&&#以下两个方法非Python程序员不需关心&&&&&&def&__eq__(self,&other):&&&&&&&&&&return&self.nid&==&other.nid&&&&&&def&__ne__(self,&other):&&&&&&&&&&return&self.nid&!=&other.nid&&&&class&KBucket:&&&&&&def&__init__(self,&min,&max):&&&&&&&&&&&&&&&&&&&&&&&min和max就是该bucket负责的范围,&比如该bucket的min:0,&max:16的话,&&&&&&&&&&&那么存储的node的intify(nid)值均为:&0到15,&那16就不负责,&这16将会是该bucket后面的bucket的min值.&&&&&&&&&&&nodes属性就是个列表,&存储node.&last_accessed代表最后访问时间,&因为协议里说到,&&&&&&&&&&&当该bucket负责的node有请求,&回应操作;&删除&添加&更新&等这些操作时,&&&&&&&&&&&那么就要更新该bucket,&所以设置个last_accessed属性,&该属性标志着这个bucket的&新鲜程度&.&用linux话来说,&touch一下.&&&&&&&&&&这个用来便于后面说的定时刷新路由表.&&&&&&&&&&&&&&&&&&&&&&self.min&=&min&#最小node&ID数字值&&&&&&&&&&self.max&=&max&#最大node&ID数字值&&&&&&&&&&self.nodes&=&[]&#node列表&&&&&&&&&&self.last_accessed&=&time()&#最后访问时间&&&&&&&def&nid_in_range(self,&nid):&&&&&&&&&&&&&判断指定的node&ID是否属于该bucket的范围里&&&&&&&&&&&&return&self.min&&=&intify(nid)&&&self.max&&&&&&&def&append(self,&node):&&&&&&&&&&&&&&&&&&&&&&&添加node,&参数node是KNode实例.&&&&&&&&&&&如果新插入的node的nid属性长度不等于20,&终止.&&&&&&&&&&如果满了,&抛出bucket已满的错误,&终止.&通知上层代码进行拆表.&&&&&&&&&&如果未满,&先看看新插入的node是否已存在,&如果存在,&就替换掉,&不存在,&就添加,&&&&&&&&&&添加/替换时,&更新该bucket的&新鲜程度&.&&&&&&&&&&&&&&&&&&&&&&if&len(node.nid)&!=&20:&return&&&&&&&&&if&len(self.nodes)&&&8:&&&&&&&&&&&&&&if&node&in&self.nodes:&&&&&&&&&&&&&&&&&&self.nodes.remove(node)&&&&&&&&&&&&&&&&&&self.nodes.append(node)&&&&&&&&&&&&&&else:&&&&&&&&&&&&&&&&&&self.nodes.append(node)&&&&&&&&&&&&&&self.last_accessed&=&time()&&&&&&&&&&else:&&&&&&&&&&&&&&raise&BucketFull&&&&class&KTable:&&&&&&&&&&&&&&&该类只实例化一次.&&&&&&&&&&&&&&def&__init__(self,&nid):&&&&&&&&&&&&&&&&&&&&&&&这里的nid就是通过node_id()函数生成的自身node&ID.&协议里说道,&每个路由表至少有一个bucket,&&&&&&&&&&&还规定第一个bucket的min=0,&max=2的160次方,&所以这里就给予了一个buckets属性来存储bucket,&这个是列表.&&&&&&&&&&&&&&&&&&&&&&self.nid&=&nid&#自身node&ID&&&&&&&&&&self.buckets&=&[KBucket(0,&2&**&160)]&#存储bucket的例表&&&&&&&def&append(self,&node):&&&&&&&&&&&&&添加node,&参数node是KNode实例&&&&&&&&&&&&&#如果待插入的node的ID与自身一样,&那么就忽略,&终止接下来的操作.&&&&&&&&&&if&node.nid&==&self.nid:&return&&&&&&&&&&&&#定位出待插入的node应该属于哪个bucket.&&&&&&&&&&index&=&self.bucket_index(node.nid)&&&&&&&&&&bucket&=&self.buckets[index]&&&&&&&&&&&#协议里说道,&插入新节点时,&如果所归属的bucket是满的,&又都是活跃节点,&&&&&&&&&&&#那么先看看自身的node&ID是否在该bucket的范围里,&如果不在该范围里,&那么就把&&&&&&&&&&#该node忽略掉,&程序终止;&如果在该范围里,&就要把该bucket拆分成两个bucket,&按范围&公平平分&node.&&&&&&&&&&try:&&&&&&&&&&&&&&bucket.append(node)&&&&&&&&&&except&BucketFull:&&&&&&&&&&&&&&if&not&bucket.nid_in_range(self.nid):&return&#这个步骤很重要,&不然递归循环很狂暴,&导致程序死翘翘.&&&&&&&&&&&&&&self.split_bucket(index)&&&&&&&&&&&&&&&self.append(node)&&&&&&&def&bucket_index(self,&nid):&&&&&&&&&&&&&&&&&&&&&&&定位bucket的所在索引&&&&&&&&&&&传一个node的ID,&从buckets属性里循环,&定位该nid属于哪个bucket,&找到后,&返回对应的bucket的索引;&&&&&&&&&&&没有找到,&说明就是要创建新的bucket了,&那么索引值就是最大索引值+1.&&&&&&&&&&注意:&为了简单,&就采用循环方式.&这个恐怕不是最有效率的方式.&&&&&&&&&&&&&&&&&&&&&&for&index,&bucket&in&enumerate(self.buckets):&&&&&&&&&&&&&&if&bucket.nid_in_range(nid):&&&&&&&&&&&&&&&&&&return&index&&&&&&&&&&return&index&&&&&&&&&&&&&&&def&split_bucket(self,&index):&&&&&&&&&&&&&&&&&&&&&&&拆表&&&&&&&&&&&index是待拆分的bucket(old&bucket)的所在索引值.&&&&&&&&&&&假设这个old&bucket的min:0,&max:16.&拆分该old&bucket的话,&分界点是8,&然后把old&bucket的max改为8,&min还是0.&&&&&&&&&&&创建一个新的bucket,&new&bucket的min=8,&max=16.&&&&&&&&&&然后根据的old&bucket中的各个node的nid,&看看是属于哪个bucket的范围里,&就装到对应的bucket里.&&&&&&&&&&&各回各家,各找各妈.&&&&&&&&&&new&bucket的所在索引值就在old&bucket后面,&即index+1,&把新的bucket插入到路由表里.&&&&&&&&&&&&&&&&&&&&&&old&=&self.buckets[index]&&&&&&&&&&point&=&old.max&-&(old.max&-&old.min)/2&&&&&&&&&new&=&KBucket(point,&old.max)&&&&&&&&&&old.max&=&point&&&&&&&&&&self.buckets.insert(index&+&1,&new)&&&&&&&&&&for&node&in&old:&&&&&&&&&&&&&&if&new.nid_in_range(node.nid):&&&&&&&&&&&&&&&&&&new.append(node)&&&&&&&&&&for&node&in&new:&&&&&&&&&&&&&&old.remove(node)&&&&&&&&&&&&&&&def&find_close_nodes(self,&target):&&&&&&&&&&&&&&&&&&&&&&&返回与目标node&ID或infohash的最近K个node.&&&&&&&&&&&定位出与目标node&ID或infohash所在的bucket,&如果该bucuck有K个节点,&返回.&&&&&&&&&&&如果不够到K个节点的话,&把该bucket前面的bucket和该bucket后面的bucket加起来,&只返回前K个节点.&&&&&&&&&&还是不到K个话,&再重复这个动作.&要注意不要超出最小和最大索引范围.&&&&&&&&&&总之,&不管你用什么算法,&想尽办法找出最近的K个节点.&&&&&&&&&&&&&&&&&&&&&&nodes&=&[]&&&&&&&&&&if&len(self.buckets)&==&0:&return&nodes&&&&&&&&&&index&=&self.bucket_index(target)&&&&&&&&&&nodes&=&self.buckets[index].nodes&&&&&&&&&&min&=&index&-&1&&&&&&&&&max&=&index&+&1&&&&&&&&&while&len(nodes)&&&K&and&(min&&=&0&or&max&&&len(self.buckets)):&&&&&&&&&&&&&&if&min&&=&0:&&&&&&&&&&&&&&&&&&nodes.extend(self.buckets[min].nodes)&&&&&&&&&&&&&&if&max&&&len(self.buckets):&&&&&&&&&&&&&&&&&&nodes.extend(self.buckets[max].nodes)&&&&&&&&&&&&&&min&-=&1&&&&&&&&&&&&&max&+=&1&&&&&&&&&&num&=&intify(target)&&&&&&&&&&nodes.sort(lambda&a,&b,&num=num:&cmp(num^intify(a.nid),&num^intify(b.nid)))&&&&&&&&&&return&nodes[:K]&#K是个常量,&K=8
ok, 路由表这个玩意儿比较有技术含量, 又难以描述, 所以会贴代码演示. 接下来的DHT客户端/服务端就不再贴那么多的代码了, 毕竟处理网络的代码太多太复杂, 技术含量不高, 按照DHT协议描述的那样操作就行了.
第二步, 实现DHT客户端
实现一个DHT客户端, 不用都要实现ping, find_node, get_peers, announce_peer操作了, 做一个爬虫, 仅仅只需要实现find_node功能就能达到目的了. 因为我们只想不停地交朋友而已.
要想加入DHT网络, 首先得认识第一个已知的node, 这个node最好是长期在线的, 又稳定的. 我这里就认识一个, :6881, 由于UDP的原因, 只能接受ip, 所以请提前解析出ip地址.
然后使用DHT协议说的那个find_node操作, 现在解释一下某些key的潜在意义吧
t: transaction ID的简称, 传输ID. 起什么作用呢? 由于UDP无3次握手这个机制, 所以任何人都可随便发送信息给你, 根本就不需与你提前进行连接. 想想这么个情况, 你发送了一请求数据给某node, 然后收到DHT说的回复类型的数据, 即y=r, 但是, 你怎么知道回应的是你之前的哪个请求呢? 所以就要靠t了, 当你发送时, t=aa的话, 对方回应这个请求时, 回应消息的t绝对是aa, 这样你就能区分了. 在发送之前, 要为该t值注册一个处理函数, 当收到回应时, 调用该函数进行处理. 记得设置一个定时器, 时间一到, 立马删除该函数, 不然你内存飙升. 如果超时后才收到信息的话, 很遗憾, 没了处理函数, 直接忽略. 我建议定时器设定到5秒. 当然, 随便你. 一定要保证成功收到第一个node的find_node回复, 不然失败, 就没法继续find_node了.即: 认识不到第一个朋友, 就别想认识第二个朋友.
id: 就是自身node ID了, 是node_id()函数生成的哈, 样子绝不是DHT协议例子中的样子, 这主要是为了方便演示而已
target: 这个也是自身的node ID, 作用是问某node离我最近的都有哪些node.
收到对方回复后, 把那key为nodes给解析出来, 按DHT协议说的, 每个node是以4字节ip+2字节port+20字节node ID组成, 那么nodes的字节数就会是26的倍数. &解码&node和&编码&node的Python代码如下:
from&struct&import&unpack&&&def&num_to_dotted(n):&&&&&&d&=&256&*&256&*&256&&&&&q&=&[]&&&&&&while&d&&&0:&&&&&&&&&&m,&n&=&divmod(n,&d)&&&&&&&&&&q.append(str(m))&&&&&&&&&&d&/=&256&&&&&return&&#39;.&#39;.join(q)&&&def&decode_nodes(nodes):&&&&&&n&=&[]&&&&&&nrnodes&=&len(nodes)&/&26&&&&&nodes&=&unpack(&!&&+&&20sIH&&*&nrnodes,&nodes)&&&&&&for&i&in&range(nrnodes):&&&&&&&&&&nid,&ip,&port&=&nodes[i&*&3],&num_to_dotted(nodes[i&*&3&+&1]),&nodes[i&*&3&+&2]&&&&&&&&&&n.append((nid,&ip,&port))&&&&&&return&n&&&decode_nodes函数的反作用函数如下:&&def&dotted_to_num(ip):&&&&&&hexn&=&&#39;&#39;.join([&%02X&&%&long(i)&for&i&in&ip.split(&#39;.&#39;)])&&&&&&return&long(hexn,&16)&&&def&encode_nodes(nodes):&&&&&&n&=&[]&&&&&&for&node&in&nodes:&&&&&&&&&&n.extend([node.nid,&dotted_to_num(node.ip),&node.port])&&&&&&return&pack(&!&&+&&20sIH&&*&len(nodes),&*n)
解析出来后, 插入到路由表里, 然后使用find_node继续向刚解析出来的node进行请求, target还是自身node ID, 以此循环. 这样就能认识很多很多的node啦. 细节就不说了, 自己看着办.
第三步, 实现DHT服务器端, 协议文档说得很清楚了, 我只列出几个需要注意的问题:
1, 服务器端得实现处理node发来的ping, find_node, get_peers, announce_peer请求.
2, 回应信息里的t的值是对方的t值, 不是自己随便写的.
3, 最好要实现那个token机制, 这样就减少被捣乱的几率, 此token就按协议那种方式就行, 每5分钟变换一次, 10分钟内的有效.
4, 一定要记得前面说的那句&当该bucket负责的node有请求, 回应操作; 删除 添加 更新 等这些操作时, 那么就刷新该bucket&.
5, 由于是做DHT爬虫, 所以处理get_peers请求和find_node请求差不多一样, 都是返回最近的node. 当然, 你闲得蛋疼的话, 可以来得标准点, 做能返回peers那种, 不过, 没必要.
6, announce_peer请求里的port就是对方提供下载种子的端口, 监听于TCP, 不是DHT连接的端口. 还有请求消息里的id就仅仅指的是对方的node ID, 我看博客园某人写的文章说是对方的peer ID, 我表示很不解.
第四步, 定时刷新路由表
按协议所说, 过一段时间后, 路由表里的node不全都是活跃了, 所以要定时刷新路由表. 说下大概思路, 遍历路由表中的bucket列表, 看看bucket的last_accessed是不是超过了比如说15分钟, 如果超过了, 说明有可能不&新鲜&了, 那么从该bucket随机选择一个node, 向该node发送find_node操作, 接着就不管了. 笔者为了简单, 就采用这么简单的方式了, 没有去确认可疑node是否还&活&着. 你可以严格按照协议文档那么写.
你可能会问的问题:
1, 怎么知道一个资源的下载速度?
答: 有句话这么说: 下载人数越多, 下载速度越快. 那么, 如果某一个资源的infohash出现的announce_peer次数越高, 那么就说明下载人数就越多, 人数越多就越快. 这个下载速度就没法用绝对速度表示, 不过可以使用相对速度.
2, 怎么在众多的资源中过滤出影视资源?
答: 得到种子, 如果有files字段话, 遍历它进行正则匹配, 看看有木有后缀名是rmvb, avi, mp4等什么的, 如果有, 那它大部分情况就是影视了. 如果没有files字段, 就对name字段进行正则匹配吧.
3, 为什么那些影视资源总是些&很黄很暴力&?
答: 这个就不是很清楚了, 我想, 使用BT的人大多数都是些撸管男吧.
4, infohash这个词是根据什么而来的?
答: 种子文件中info字段的hash值
5, 如何认识更多的node?
答: 多开启几个node实例.
6, 什么情况下, 对方把我给加入到对方的路由表里?
答: 当你向对方find_node时. 也许你的ping, get_peers也能让对方把你添加到路由表里. 同理, 当你接到ping, find_node, get_peers时, 就把对方给添加到路由表里, 至少收到find_node请求时, 就要把对方给添加到路由表里.
7, 如何长期保存node?
答: 数据库, 文件都行, 我不建议长期保存node, 你只要一直在线, 使用内存存储最好不过了, 速度快, 代码简单.
原文链接：
转载请注明： &
与本文相关的文章}