扫一扫体验手机阅读
python3.6爬虫需要安装的模块
<span type="1" blog_id="2073149" userid='
分享到朋友圈
关注作者，不错过每一篇精彩在 CentOS 7 上安装并配置 Python 3.6环境 - 简书
在 CentOS 7 上安装并配置 Python 3.6环境
拖了很久没有更新，抱歉啦~ 今天受邀写篇如何在 CentOS 7 上配置 Python 3 环境的文章。往常我都选择直接把我早年写的一篇文章丢过去，让他们看其中的源码编译 Python 那一节，不过那节写的其实不太详细，而且最近被很多人问这个问题，所以还是单独写一篇好了。
当前最新的 CentOS 7.3 默认安装的是 Python 2 ，并且默认的官方 yum 源中不提供 Python 3 的安装包。有些用户想要升级使用 Python 3 但实际可能有各种各样的问题，导致出错，反观一下激进的 Fedora 社区，在23的时候，就将默认的版本修改成了 Python3 （如果我没记错的话）。
先说下我所使用的系统环境， 一个新创建的 Docker 容器（备注：系统时区专门做了设置）。 使用 cat /etc/redhat-release
可以看到运行的是 CentOS 7.3 版本。
system version
在纯净的 CentOS 系统上安装 Python 环境主要有两种办法。 一种是通过源码编译安装，另外一种就是安装已经打好的 RPM 包。依照个人习惯，我们先来看一下如何通过源码编译的方式安装 Python 3.6 并且配置虚拟环境。
使用源码进行编译安装
先安装安装几个必须的包，以方便后续的操作
yum install wget gcc make
# wget 用于下载源码包
# gcc 和 make 用于编译
install gcc and wget
下载源码包
wget https://www.python.org/ftp/python/3.6.1/Python-3.6.1.tar.xz
解包，解压缩
xz -d Python-3.6.1.tar.xz
tar -xvf Python-3.6.1.tar
decompress archives
cd Python-3.6.1
./configure --prefix=/usr/local/python3.6 --enable-optimizations
先解释下上面的参数，--prefix 是预期安装目录，--enable-optimizations 是优化选项（LTO，PGO 等）加上这个 flag 编译后，性能有 10% 左右的优化（如果没记错的话），但是这会明显的增加编译时间。不过关于 LTO 和 PGO 其实不在今天文章的讨论范围内，建议感兴趣的可以看看 。我应该不太可能去写相关的文章 哈哈哈 毕竟写起来就会停不下来。
make install
make error
如图，会看到出错了，提示 zlib not available 所以，我们需要装一下依赖
yum install zlib-devel
那为什么需要这个依赖包呢， 其实是因为 Python 有个很重要的内建模块 zipimport 用于从 Zip 压缩包中导入模块。 而如果没有 zlib 的包，那么就无法进行解压缩了，也自然该模块就不能使用了。
当我们的依赖安装好之后，重新执行上面的编译安装的步骤，发现执行成功。
/usr/local/python3.6/bin/python3 --version
Python 3.6.1
install success
此刻，我们的 Python 3 也就安装成功了。
编译安装完还远远不够，我们来做些检查。
当我们运行 Python 终端，输入 import bz2 的时候，会发现没有这个模块。如果你对这个模块不熟悉，那也没关系。我们输入 import sqlite3熟悉 Python 的同学应该对 sqlite3 不会太陌生，但如果你还是不熟悉的话，那你按方向键试试看。有没有发现，输出变成了^[[D^[[A 类似这样的内容？
arrow keys problem
熟悉 Python 源码的同学，肯定知道我要说什么了。但是假如你不熟悉，没关系，我来告诉你。正常来讲，在终端下我们预期当输入上方向键，会显示上一条命令，输入左方向键，可以将光标移动到左侧。但当前情况和我们的预期不同，什么原因？
这里涉及到了一点点关于输入设备的历史原因，简单来说就是需要有个模块来对用户的输入进行转义。回到本文的重点，就是我们编译安装的时候缺少了 readline 这个模块。既然已经发现了问题，那解决的办法其实很简单
yum install readline-devel
安装完成后，重复上面的步骤，编译&&安装即可。
前面只是解决了方向键输入的问题，但是我提到的那两个模块还是 import 不进来，那我们仔细的看看我们的编译过程的输出。其中有这样的一段（依据系统环境的不同，输出可能也是不一致的）
Python build finished successfully!
The necessary bits to build these optional modules were not found:
To find the necessary bits, look in setup.py in detect_modules() for the module's name.
some optional modules were not found
按照上面的提示，很明显，我们缺少了一些（可选的）模块，这些模块假如你觉得自己不会用到，那也可以不理会它。这些模块，我用到的会多一些，甚至是那个一般人都不会碰的 TK 模块 哈哈哈。解决方式就只是装一下对应的模块即可。
# 解决 import bz2 报错
yum install
bzip2-devel
# 解决 import curses 报错
yum install
ncurses-devel
# 解决 import sqlite3 报错
yum install sqlite-devel
# 解决 _dbm _gdbm 缺失提醒
yum install gdbm-devel
# 解决 _lzma 缺失提醒
yum install xz-devel
# 解决 _tkinter 缺失提醒
yum install tk-devel
# 解决 readline 缺失提醒及方向键行为非预期的问题
yum install readline-devel
当这些模块都装完，重新编译会发现提醒已经消失，安装即可。
all modules were found
import successful
使用 rpm 包进行安装
先来介绍一下
这个社区，名字的全写是【Inline with Upstream Stable】取首字母，它主要是一个提供新版本RPM包的社区。具体使用可以查看 简单说来就只要按下面的命令操作即可。
yum -y install https://centos7.iuscommunity.org/ius-release.rpm
yum install ius
添加 IUS 之后，先创建缓存元数据，再进行安装即可
yum makecache
yum install python36u
yum -y install python36u-pip
yum -y install python36u-devel
yum install python36u
完成后直接终端输入 python3 即可。
上面只是写了 Python 的安装，如果是使用 RPM 的方式安装的话，那直接是可用的。但如果是源码编译的，总不至于每次都输入一大串路径吧。所以解决方法很简单，加个链接即可。
ln -s /usr/local/python3.6/bin/python3 /usr/bin/python3
另外，当系统中存在多个 Python 版本的时候，尽量去避免环境污染。我个人比较推荐使用 virtualenv 创建独立的虚拟环境，我日常中也是这样用的。不过，当我们安装完 Python 3.6 后，可以直接执行下面的命令进行虚拟环境的创建。
python3 -m venv py3
source py3/bin/activate
Python 3.6.1
CentOS 7 上安装Python 3.6 主要有两种方式，源码编译和安装 RPM 包。对于想快速使用源码配置环境但并不想关心具体原因的读者，可以直接使用我GitHub上提供的这个脚本进行安装
另外Python 3.6 可直接使用 python3 -m venv venv_name 创建虚拟环境。
Developer? Linuxer?Vim党?Python?ACG?
关注微信公众号：TheMoeLove 可以和我交流～
--- author: SeisMan date:
categories: Linux tags: [CentOS, Perl, Python] --- 这篇博文记录了我用 CentOS 7 搭建 **地震学科研...
用两张图告诉你，为什么你的 App 会卡顿? - Android - 掘金Cover 有什么料？ 从这篇文章中你能获得这些料： 知道setContentView()之后发生了什么？ ... Android 获取 View 宽高的常用正确方式，避免为零 - 掘金相信有很多朋友...
用两张图告诉你，为什么你的 App 会卡顿? - Android - 掘金 Cover 有什么料？ 从这篇文章中你能获得这些料： 知道setContentView()之后发生了什么？ ... Android 获取 View 宽高的常用正确方式，避免为零 - 掘金 相信有很多...
第2章 软件包管理简介 一、源码包
//脚本安装包；?源码包优点：①开源，如果有足够的能力，可以修改源代码；②可以自由选择所需的功能；③软件是编译安装，所以更加适合自己的系统，更加稳定、效率更高；④卸载方便；?源码包缺点：①安装过程步骤较多，尤其安装较大的软件集合时（如...
X399平台点睛之笔ZENITHEXTREME引爆性能狂潮 近期，X399平台的顶级性能浮出水面，各家媒体的全方位测试犹如一支强心剂，让PC玩家大呼过瘾。我们惊喜地发现，国内外各大科技媒体一致选用了ROGZENITH EXTREME这款主板。它是华硕目前最顶级的X399芯片...
你真的像你以为的那样认识你自己吗？未必。否则，哲学三大终极问题之一，就不会有“我是谁”了。 我们常常在饭局上吹嘘自己认识哪些大人物，并对他们的事迹如数家珍；职场上，我们向客户吹嘘自己对专业领域的认知，老马识途出神入化；情感上，我们极力收集各种蛛丝马迹，好让自己对另一半的认识...
一笑倾人国 西周幽王三年（公元前779年），出兵讨伐褒国，褒人献美女褒姒。 褒和姒，这两个字分开看，很有背景。褒水，是汉中市北端的一条水名，发源于秦岭南麓的太白山，在勉县流入沔水。早在上古夏朝时期，依褒水而建立的褒国，便从此开始流传。姒，在夏禹开国时期，便规定以国为姓，是分...
http://blog.csdn.net/u/article/details/
今日小伙伴莫妮卡状态不佳，跟领导吵架对峙。 哭得稀里哗啦～ 早上好像也因为一句话让她哭了。着实不应该。 晚上吃饭 大家一起吐槽莫妮卡领导，tina忍不住发飙了。 哄她，安慰莫妮卡，逗tina的一天。 陪她做用户画像到3点，虽熬夜，但睡下时脑子都是工作的事，觉得在跟她讨论的过...
七月七日七夕节 秦明独自走在街上，看着街道上一对对恋人相互拥抱着不时会有冷风吹来让人感到有些寒冷 只是那些情侣相互拥抱着到时让人感到温馨 “总裁，你又在这里啊？ 这里有一些文件需要你批阅一下”这时一个秘书打扮的人在秦明面前恭敬的站着。 “你先拿着吧，晚点我自己会看。奥 对了...在 SegmentFault，学习技能、解决问题
每个月，我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。
问题对人有帮助，内容完整，我也想知道答案
问题没有实际价值，缺少关键内容，没有改进余地
如图，python3没有commands模块了吗？
Deprecated since version 2.6: The commands module has been removed in Python 3. Use the subprocess module instead.
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
不写的很清楚了吗用subprocess代替了
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
用执行单个命令用os.system()比较简单。需要输入的字符也比较少。
答案对人有帮助，有参考价值
答案没帮助，是错误的答案，答非所问
Deprecated since version 2.6: The commands module has been removed in Python 3. Use the subprocess module instead.
｀来自官方文档的搬运工｀
该答案已被忽略，原因：
同步到新浪微博
分享到微博？
关闭理由：
删除理由：
忽略理由：
推广（招聘、广告、SEO 等）方面的内容
与已有问题重复（请编辑该提问指向已有相同问题）
答非所问，不符合答题要求
宜作评论而非答案
带有人身攻击、辱骂、仇恨等违反条款的内容
无法获得确切结果的问题
非开发直接相关的问题
非技术提问的讨论型问题
其他原因（请补充说明）
我要该，理由是：
在 SegmentFault，学习技能、解决问题
每个月，我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。没有更多推荐了，
不良信息举报
举报内容：
Python3.6 模块学习之random模块
举报原因：
原文地址：
原因补充：
最多只允许输入30个字
加入CSDN，享受更精准的内容推荐，与500万程序员共同成长！python3.3.5里没有exceptions模块吗_python吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：182,985贴子：
python3.3.5里没有exceptions模块吗收藏
看基础教程里说有exceptions模块,但是在3.3.5里import exceptions时却找不到,help查看模块列表里面也没有找到这个模块.是不是3.3.5版本把它给删除了?还是换成其他模块了?
py3没有这个模块
请你记住 再温顺的猫也是有爪子的
有时候，你难免多心。心眼一多，许多小事就跟着过敏，于是别人多看你一眼，你便觉得他对你有敌意；少看你一眼，你又认定他故意对你冷落。多心的人注定活得辛苦，因为太容易被别人的情绪所左右。多心的人总是胡思乱想，结果是困在一团乱麻般的思绪中，动弹不得。有时候，与其多心，不如少根筋。
python3内置了，所以不写原来那句就行了
在py3.6 中 直接 dir(exceptions)
： no module named ......
登录百度帐号}