![Python网络爬虫从入门到精通](https://wfqqreader-1252317822.image.myqcloud.com/cover/915/44509915/b_44509915.jpg)
1.4 搭建开发环境
1.4.1 安装Anaconda
Anaconda是一个完全免费的大规模数据处理、预测分析和科学计算工具。该工具中不仅集成了Python解析器,还有很多用于数据处理和科学计算的第三方模块,其中也包含许多网络爬虫所需要使用的模块,如requests模块、Beautiful Soup模块、lxml模块等。
在Windows系统下的浏览器中打开Anaconda的官方地址(https://www.anaconda.com/distribution/)下载对应的安装文件,如图1.2所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P16_52455.jpg?sign=1739701739-Jd1hpT4sis4G1T1iWEIrVnkhzlBGzpmh-0-a2511ef35c6304325f151aa5813fc417)
图1.2 下载Anaconda
这里笔者所选择的是Windows(64-Bit Graphical Installer为当时的最新版本),下载完成后直接双击运行下载的文件,在Welcome to Anaconda3(自己下载的版本)窗口中直接单击Next按钮,如图1.3所示。
在License Agreement窗口中直接单击I Agree按钮,如图1.4所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P17_52456.jpg?sign=1739701739-A6Kl8lzp7X6oIEkfwQFFS4OFwNBt0UNN-0-05b8f9bfe490cb06da3ff9265d0de8b2)
图1.3 Welcome to Anaconda3窗口
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P17_52457.jpg?sign=1739701739-8BakfB47Q9LROzOcwSi8uhVFl8RS2ujk-0-af833e29e5f96dfe36d8274edb2b2b12)
图1.4 License Agreement窗口
在Select Installation Type窗口内选中All Users(requires admin privileges)单选按钮,然后单击Next按钮,如图1.5所示。
在Choose Install Location窗口中选择自己的安装路径(建议不要使用中文路径),这里笔者选择一个自定义的安装路径,然后单击Next按钮,如图1.6所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P17_52458.jpg?sign=1739701739-jJt9PhJ3x0UBbmm5oxN7Pbm0nfwPmqEz-0-8fdbae01a530249ba39d2d06f88ec447)
图1.5 选中All Users(requires admin privileges)单选按钮
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P17_52459.jpg?sign=1739701739-0KR3ZK20LQ1D6JSuFnM83pS6xBHMo5uC-0-9aeb3a5624fd2984b3dd2cca6c7f6de3)
图1.6 选择安装路径
在Advanced Installation Options窗口中,选中第一个复选框,将Anaconda加入环境变量,然后单击Install按钮进行安装,如图1.7所示。
由于Anaconda中包含的模块较多,所以在安装过程中需要等待的时间较长,安装进度如图1.8所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P18_52462.jpg?sign=1739701739-i0kivHizpoHLx7FV6XJVxGfCj9gKU7cR-0-bfa4e710a9bb023bd13777a403d7e640)
图1.7 将Anaconda加入环境变量
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P18_4507.jpg?sign=1739701739-jAHTMijXqhVaneRO1qaZdocELpsM8NdJ-0-65c95a06ab78459ab3c745d9a620e778)
图1.8 安装进度
安装进度完成以后,将进入Installation Complete窗口中,在该窗口中直接单击Next按钮,如图1.9所示。
由于Anaconda与JetBrains为合作关系,所以官方推荐使用PyCharm开发工具,在该窗口中直接单击Next按钮,如图1.10所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P18_52463.jpg?sign=1739701739-0icYd9TKv2N7gEdmagimXv5DRHuY4gr3-0-0431c05fbd1e970f49b681b18d9df563)
图1.9 安装完成
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P18_52464.jpg?sign=1739701739-Nr15ubIXJJYklCoqp7zwy4soaDK1AVLD-0-f052cec1e20c978b744a4257ad43d032)
图1.10 PyCharm开发工具提示
最后在“Thanks for installing Anaconda3!”窗口中根据个人需求,选中或取消选中(笔者选择取消选中)两个复选框,再单击Finish按钮,如图1.11所示。
将Anaconda安装完成以后并保证已经添加系统环境变量的情况下,打开“命令提示符”窗口,然后输入“conda list”后按Enter键,即可查看当前Anaconda已经安装好的所有模块,如图1.12所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P19_52465.jpg?sign=1739701739-12ob8jAWfH9zZlTdL1PNUDK1Ac34Hyg7-0-beb28e66273dad9be0c3fa3229516b80)
图1.11 安装结束
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P19_4598.jpg?sign=1739701739-k9a4l5GD4JDQ1El22BQCXXBbXsoDsjIr-0-eab521a0ae0704c3ed71670a75e7b00f)
图1.12 查看当前Anaconda已经安装好的所有模块
1.4.2 PyCharm的下载与安装
PyCharm是由JetBrains公司开发的Python集成开发环境,由于其具有智能代码编辑器,可实现自动代码格式化、代码完成、智能提示、重构、单元测试、自动导入和一键代码导航等功能,目前已成为Python专业开发人员和初学者使用的有力工具。
打开PyCharm官网的下载地址(https://www.jetbrains.com/pycharm/download/),然后选择下载PyCharm的操作系统平台为Windows,单击开始下载社区版PyCharm(Community),如图1.13所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P19_52466.jpg?sign=1739701739-iVyWavjLWkXuKZn8ecuQ0DTeOeYwukep-0-a0b095baa2397b25e0eb058d2095c91b)
图1.13 PyCharm环境与版本下载选择页面
双击PyCharm安装包进行安装,在欢迎界面单击Next按钮进入软件安装路径设置界面,如图1.14所示。
在Choose Install Location窗口中选择一个需要安装的路径,这里不建议将安装路径设置在默认的C盘中,笔者选择自定义安装路径,确认安装路径后单击Next按钮,如图1.15所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P20_52467.jpg?sign=1739701739-x2KHuuMU30IRSiTdpTklcmQt4GfuTEN9-0-6b8390be2ea3fe798b4069816030afa7)
图1.14 PyCharm欢迎界面
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P20_52468.jpg?sign=1739701739-TTa4xLEufBReNyUQLW5qX5RL8HVDRyiV-0-e1ecf17e32ce39878de4fec5ef6e9a62)
图1.15 设置PyCharm安装路径
在Installation Options窗口中首先在桌面快捷方式(Create Desktop Shortcut)中设置PyCharm程序的快捷方式,笔者系统为64位,所以选中64-bit launcher复选框,然后设置关联文件(Create Associations),选中“.py”复选框,这样以后再打开.py(.py文件是Python脚本文件,接下来编写的很多程序都是后缀名为.py的文件)文件时,会默认调用PyCharm打开,如图1.16所示。
在Choose Start Menu Folder窗口中直接单击Install按钮,如图1.17所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P20_52469.jpg?sign=1739701739-ikXvsIqDLjygsF8f2yzuNymfZk6VDspM-0-97172a337ff718816f68379b656ab581)
图1.16 设置快捷方式和关联
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P20_52470.jpg?sign=1739701739-vn3MSlDCc8pxagAdGMGJCKwIVzlGYoqW-0-613d5b47a09d2a303f176c45d4869d95)
图1.17 选择开始菜单文件夹窗口
安装进度完成以后,在Completing PyCharm Community Edition Setup窗口中,在不直接运行PyCharm开发工具的情况下,单击Finish按钮即可,如图1.18所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P21_52471.jpg?sign=1739701739-Ce9drYtndrJYmTcDxpON7FjqVoINI6ZB-0-37a889392b22daa7a60834235c1ea67e)
图1.18 完成安装
1.4.3 配置PyCharm
双击PyCharm桌面快捷方式,启动PyCharm程序。选择是否导入开发环境配置文件,这里选择不导入,单击OK按钮,进入阅读协议页,如图1.19所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P21_52472.jpg?sign=1739701739-uPqtX1nxUw9eIEqXvn6lopb1Rb2LIvpB-0-ebd04b586121ac70f2f49abcce24720b)
图1.19 环境配置文件窗口
在Set UI theme窗口中可以根据个人需求选择开发工具的主题样式,笔者这里选中Light,使用白色的主题颜色,然后单击Next:Featured plugins按钮,如图1.20所示。
在Download featured plugins窗口中,直接单击Start using PyCharm按钮,如图1.21所示,此时程序将进入欢迎界面。
进入PyCharm欢迎页,单击Create New Project,创建一个新工程文件,如图1.22所示。
在New Project窗口中,首先选择工程文件保存的路径,然后单击Create按钮,如图1.23所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P22_52473.jpg?sign=1739701739-v2uamTF9n1kNWA34CQ3Ssk53sA0koDug-0-5d6217396d90cfa4d03cdc8ea4081885)
图1.20 选择主题颜色
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P22_52474.jpg?sign=1739701739-nA1klsznRwBtuI8TjO7VQKCdf8J5gVty-0-3f9f2cc98f915bb7ab0e33537fd4c53a)
图1.21 下载特色插件
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P23_52475.jpg?sign=1739701739-eD41OtCZPsqLEi8DpN9SXnqOb9ydGp4w-0-baa16a198b613b30e56002e2bb0b5a8c)
图1.22 PyCharm欢迎界面
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P23_52476.jpg?sign=1739701739-LE7I90A7HrzREQnj3HTvp8PTNmjBLgoW-0-2284c6fd104d831fb626d91856049768)
图1.23 设置Python存储路径
工程创建完成以后,关闭Tip of the Day窗口,然后依次选择File→Settings选项,如图1.24所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P23_52477.jpg?sign=1739701739-BDt95kjAh465Id3M8XZ8Sw6za95LhBEi-0-b6347001c8f09cce5a0f8da96b0e5dc9)
图1.24 打开设置窗口
在Settings窗口中依次选择Project:demo(demo为自己编写的工程名称)→Project Interpreter,然后在右侧的下拉列表中选择Show All…,将打开Project Interpreters窗口,如图1.25所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P24_52478.jpg?sign=1739701739-RxWfThAuxhfrNJwELaCdCSVEVwP56fem-0-37f21c33d35708dd6da636d4cd3c89ae)
图1.25 进入设置窗口
在Project Interpreters窗口中,单击右侧的“+”按钮,如图1.26所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P24_52479.jpg?sign=1739701739-l63fZoyiBB3LfJYH3czwXDisSDeRwY9f-0-d345542452330657e73d7c9a53520964)
图1.26 单击按钮
在Add Python Interpreter窗口中,首先单击左侧的System Interpreter选项,然后在右侧的下拉列表中选择Anaconda中的python.exe,最后单击OK按钮,如图1.27所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P24_52480.jpg?sign=1739701739-DqZgUxSnMVFWq00ipx2L7c0ubtowMtoM-0-3a10bed9cbe006f7c687bdcc37a599b1)
图1.27 添加Python编译器
返回Project Interpreters窗口后,选择新添加的Anaconda中的python.exe编译器,然后单击OK按钮,如图1.28所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P25_52481.jpg?sign=1739701739-KopHs7FQxFdcv4Yko2aFefGwHnPhq2Ru-0-4f99f6febacbc017e22542cb8024339a)
图1.28 选择Anaconda中的Python编译器
返回Settings窗口,此时窗口中将自动显示出Anaconda内已经安装的所有Python模块,然后单击OK按钮,如图1.29所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P25_52482.jpg?sign=1739701739-YBORO0d10856uc0N690U8cil7CGWisWf-0-3477fcf35738b49844c86e570973f3d3)
图1.29 显示Anaconda内已经安装的Python模块
1.4.4 测试PyCharm
右击新建好的demo项目,在弹出的快捷菜单中选择New→Python File命令(一定要选择Python File项,这个至关重要,否则无法后续学习),如图1.30所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P26_52483.jpg?sign=1739701739-cBlQA5UdcipySPvC9gSh1YrQY9VLyQqW-0-ab741bff0ca7d54cf472dda7d5e4edef)
图1.30 新建Python文件
在新建文件对话框输入要建立的Python文件名hello world,如图1.31所示。随后按Enter键,即可完成新建Python文件工作。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P26_52484.jpg?sign=1739701739-rLGdk7076Fh6a7kQ8GtUiER384yBZRW8-0-322e88884b44ca137b12fc3c56e68c10)
图1.31 输入新建的Python文件名称
在新建文件的代码编辑区输入代码“print ("hello world!")”,如图1.32所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P26_52485.jpg?sign=1739701739-RJFZ1L3B9jo1l1jLOZYpSWW7Dh4Nie6N-0-6cea8934d9882739f8d9d477b1baefad)
图1.32 输入代码
在编写代码的区域右击,在弹出的快捷菜单中选择Run 'hello world'命令,运行测试代码,如图1.33所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P27_52486.jpg?sign=1739701739-zEH0o8MsPTFUXQNcyE3liXQ115s6vvIf-0-0c5462bb037e67605bfbf859b784fef8)
图1.33 运行Python测试代码
如果程序代码没有错误,那么将显示运行结果,如图1.34所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P27_52487.jpg?sign=1739701739-GSNnHJvzHwqKJnXeYfHko9fF87Cclf1o-0-adb49b321eac43867599d297e4aaee42)
图1.34 显示程序运行结果