www.agg333.com
导读:
保姆级Scrapy+PyCharm安装教程:从0到1搭建爬虫环境想入门Python爬虫?Scrapy框架+PyCharm编辑器是绝配!今天就手把手教你搞定安装,新手也能轻松上手~一、先搞定Python环境(必做!)Scrapy依赖Py...
保姆级Scrapy+PyCharm安装教程:从0到1搭建爬虫环境
想入门Python爬虫?Scrapy框架+PyCharm编辑器是绝配!今天就手把手教你搞定安装,新手也能轻松上手~
一、先搞定Python环境(必做!)

Scrapy依赖Python,所以第一步先装Python:
- 去Python官网下载对应系统(Windows/Mac)的安装包(建议3.7+版本);
- 安装时勾选“Add Python to PATH”(Windows必选,否则后续命令行找不到Python);
- 验证:打开终端(Windows cmd/ Mac终端),输入
python --version,能显示版本号就成功了。
二、安装Scrapy框架
打开终端,执行以下命令:
pip install scrapy
⚠️ Windows用户注意:如果安装失败(比如Twisted库报错),先装wheel工具,再手动下载Twisted的whl包:
- 先运行
pip install wheel; - 去Twisted官网下载对应Python版本和系统的whl包(比如Python3.9+64位,选Twisted-22.10.0-cp39-cp39-win_amd64.whl);
- 终端切换到下载目录,执行
pip install 文件名.whl,再重新安装Scrapy。
验证:终端输入scrapy --version,显示Scrapy版本就OK啦~
三、安装PyCharm编辑器
- 去PyCharm官网下载社区版(Community)(免费够用);
- 安装时默认选项即可,最后打开PyCharm。
四、在PyCharm里创建Scrapy项目
- 打开PyCharm → 新建项目(New Project);
- 选择“Existing interpreter”(如果刚装的Python在系统路径里,PyCharm会自动识别),或者新建虚拟环境(推荐,避免污染系统环境);
- 项目创建好后,打开PyCharm的终端(底部Terminal),执行:
scrapy startproject myfirstspider # 创建项目 cd myfirstspider # 进入项目目录 scrapy genspider example example.com # 生成一个爬虫(example是爬虫名,example.com是爬取目标) - 现在你就能在PyCharm里看到项目结构啦~想运行爬虫?终端输入:
scrapy crawl example
常见踩坑指南
- pip版本太低:执行
pip install --upgrade pip升级; - PyCharm找不到Scrapy:检查项目的Python解释器是否正确(File → Settings → Project:xxx → Python Interpreter,确保Scrapy在列表里);
- Mac权限问题:安装时加
sudo(比如sudo pip install scrapy)。
搞定以上步骤,你就拥有了一套完整的爬虫开发环境!接下来就可以开始写爬虫,爬取你想要的数据啦~快动手试试吧!
(字数:约650字)
如果觉得有用,记得点赞收藏哦~有问题评论区见! ✨
.png)


