转载请注明出处！！！

实验对象： 实验目的：通过使用scrapy框架采集“人民的名义”评价内容，进一步体会信息检索的过程。 实验过程：分析采集实体->确定采集方法->制定爬取规则->编写代码并调试->得到数据

ps:由于最近豆瓣发布的 Api V2测试版 需要授权 走oauth2，但是现在不开放key申请，所以直接爬了网页。

---------------------------------欢迎纠错和提问！24小时在线不打烊！！---------------------

---

目录

1. 分析采集实体
2. 确定采集方法
3. 制定爬取规则
4. 编写代码并调试
5. 得到数据
6. 使用分词工具包进行数据分析
7. 总结和感悟

1. 分析采集实体

当前页面中，评价相关的内容有很多，我们通过分析选取更具代表性的数据进行采集。

1.1 IMDb （备用）

豆瓣提供了的链接。

IMDb只提供了5条英文评价

记录网址备用：

1.2 全部评价（不采集）

这里指向了全部评价，没有分类，不考虑

1.3 分集短评（不采集）

这里提供了分集短评，不具代表性，不考虑

1.4 全部短评（采集部分）

这里提供了，考虑采集看过/热门的前50条

1.5 全部剧评（采集部分）

考虑采集最受欢迎的前50条

1.6 确定采集实体

豆瓣提供了部分xml格式的影评

采集的内容很全面，参考该官方示例确定采集实体

• title(剧评)
• description
• star
• creator
• pubDate

2. 确定采集方法

2.1短评采集

start_urls：

内容：当前页内采集

分页：【后页】跳转下一页

2.2剧评采集

start_urls:

内容：完整评价在当前页面可以爬取

可以看出，页面通过js控制改变class来控制内容的显示隐藏和ajax动态赋值。

3. 制定爬取规则

3.1 短评规则

3.1.1 description

div#comments div.comment-item div.comment p::text

3.1.2 star

div#comments div.comment-item div.comment h3 span.comment-info span.rating::attr(title)

3.1.3 creator

div#comments div.comment-item div.comment h3 span.comment-info a::attr(href)

3.1.4 pubDate

div#comments div.comment-item div.comment h3 span.comment-info span.comment-time::text

3.1.5 next_page

div#paginator a.next::attr(href)

3.2 剧评规则

3.2.1 title

3.2.2 description

3.2.3 star

3.2.4 creator

3.2.5 pubDate

3.2.6 next_page

4. 编写代码并调试

4.1 爬取短评

新建工程douban

编写items.py

import scrapyclass DoubanItem(scrapy.Item):    # define the fields for your item here like:    # name = scrapy.Field()    title = scrapy.Field()    description = scrapy.Field()    star = scrapy.Field()    creator = scrapy.Field()    pubDate = scrapy.Field()

编写my_short.py

import scrapyfrom douban.items import DoubanItemclass MyShortSpider(scrapy.Spider):    name = "my_short"    allowed_domains = ["douban.com"]    start_urls = [        'https://movie.douban.com/subject/26727273/comments?status=P',    ]    def parse(self, response):        for comment in response.css('div#comments div.comment-item div.comment'):            item = DoubanItem()            item['description'] = comment.css('p::text').extract_first(),            item['star'] = comment.css('h3 span.comment-info span.rating::attr(title)').extract_first(),            item['creator'] = comment.css('h3 span.comment-info a::attr(href)').extract_first(),            item['pubDate'] = comment.css('h3 span.comment-info span.comment-time::text').extract_first(),            yield item            next_page = response.css('div#paginator a.next::attr(href)')            if next_page is not None:                next_urls = response.urljoin(next_page.extract_first())                yield scrapy.Request(next_urls,callback = self.parse)

403爬取失败

可选方案：

• 动态设置user-agent
• 禁用cookies
• 设置延迟下载
• 使用Google cache
• 使用代理ip
• 使用crawlera

scrapy cloud--crawlera的尝试

登录创建自己的工程并获取key

在自己的服务器安装crawlera

修改settings.py:

找到settings.py文件

添加crawler代理

配置并填写自己的key pass字段不用填写

如果你的spider中保留了cookie,在header中添加

407 错误如下：

安装shub

用自己的key登录shub

上传工程

运行之后还是407

说好的免费现在好像是收费了。。弃坑

使用代理ip

在经历了403 503 111 400 等一系列错误码之后，又尝试了许多代理ip，终于爬到了数据。

然而没过多久就又挂了...

总算是可以爬到数据了，只要及时更换代理ip就没有问题。

修改后的settings.py代码 是否遵循robots.txt

设置下载延迟时间 不保存cookie 这是中间件middlewares的一个函数，543是随便写的，只要不重复就可以 user-agent包头可以在chrome开发者工具获取到 在middlewares.py增加如下代码 其中，引号中的url是代理ip 但是这样依然会在爬到一半的时候挂 更好的方法是放一组代理ip，在爬到一半的时候接上继续爬

5. 得到数据

某一次爬到数据180条

部分xml数据展示

6. 使用分词工具包进行数据分析

7. 总结和感悟

未完待续。

参考链接：