33 lines
737 B
Markdown
33 lines
737 B
Markdown
# scrapy
|
||
|
||
> Web 爬取框架。
|
||
> 更多信息：<https://scrapy.org>.
|
||
|
||
- 创建一个项目：
|
||
|
||
`scrapy startproject {{项目名}}`
|
||
|
||
- 创建一个爬虫（在项目目录下）：
|
||
|
||
`scrapy genspider {{爬虫名}} {{站点域名}}`
|
||
|
||
- 编辑爬虫（在项目目录下）：
|
||
|
||
`scrapy edit {{爬虫名}}`
|
||
|
||
- 运行爬虫（在项目目录下）：
|
||
|
||
`scrapy crawl {{爬虫名}}`
|
||
|
||
- 抓取一个网页并将它的网页源码打印至标准输出：
|
||
|
||
`scrapy fetch {{url}}`
|
||
|
||
- 使用默认浏览器打开给定的 URL 来确认是否符合期望（为确保准确会禁用 JavaScript）：
|
||
|
||
`scrapy view {{url}}`
|
||
|
||
- 通过给定的 URL 打开交互窗口，除此之外还支持 UNIX 风格的本地文件路径：
|
||
|
||
`scrapy shell {{url}}`
|