爬虫的实现原理和应用

发表于 2020-08-26 更新于 2021-01-29 分类于 Scrapy网络爬虫阅读次数：评论数：
本文字数： 59k 阅读时长 ≈ 54 分钟

摘要：bs4+re正则表达式、url队列处理分页

使用爬虫遍历网站页面的图结构

从一个初始网页的URL开始
确定URL从未抓取过
获得网页上的HTML源代码
从当前页面上抽取新的URL放入队列
重复步骤2-4直到满足一定的停止条件

bs4+正则表达式

使用bs4加正则表达式获取豆瓣电影信息

主要是利用url队列处理分页的思想
可以选择用pandas存放获得的数据
这个例子是对上面原理的应用

"""
# @Time    :  2020/8/26
# @Author  :  Jimou Chen
"""
import re

from bs4 import BeautifulSoup
import requests
import pandas as pd


class Crawler:
    def __init__(self):
        self.user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
        self.headers = {"User-Agent": self.user_agent}
        self.queue = set()  # 用集合做url队列可以自动去掉重复的url
        self.processed = set()
        self.save_list = []

    def crawl(self, url):

        if url not in self.processed:
            self.processed.add(url)  # 已经访问过的url

            resp = requests.get(url, headers=self.headers)
            soup = BeautifulSoup(resp.content.decode('UTF-8'), 'html.parser')
            nodes = soup.find_all('div', {'class': 'hd'})

            # 当前页
            for i in nodes:
                name = i.find_all('span')[0].text
                link = i.find('a')['href']
                msg_dict = {'电影名': name, '链接': link}
                self.save_list.append(msg_dict)

                print('{}: {}'.format(i.find_all('span')[0].text, i.find('a')['href']))
            print('\n')
            # 其他页
            other_pages = soup.find_all('div', {'class': 'paginator'})
            # 正则表达式找到页码链接
            pattern = re.compile(r'<a href="(.+?)">\w')
            links = pattern.findall(str(other_pages))

            for link in links:
                url = 'https://movie.douban.com/top250' + link
                self.queue.add(url)

    def run(self, url):
        self.queue.add(url)
        # 保持获取网页，直到为队列为空
        while self.queue:
            self.crawl(self.queue.pop())

        # 这里可以保存到指定文件
        movie_msg = pd.DataFrame(self.save_list)
        movie_msg.to_excel('douban_movies.xls')
        print(self.save_list)


if __name__ == '__main__':
    Crawler().run('https://movie.douban.com/top250')

打印得到的结果如下：

肖申克的救赎: https://movie.douban.com/subject/1292052/
霸王别姬: https://movie.douban.com/subject/1291546/
阿甘正传: https://movie.douban.com/subject/1292720/
这个杀手不太冷: https://movie.douban.com/subject/1295644/
泰坦尼克号: https://movie.douban.com/subject/1292722/
美丽人生: https://movie.douban.com/subject/1292063/
千与千寻: https://movie.douban.com/subject/1291561/
辛德勒的名单: https://movie.douban.com/subject/1295124/
盗梦空间: https://movie.douban.com/subject/3541415/
忠犬八公的故事: https://movie.douban.com/subject/3011091/
海上钢琴师: https://movie.douban.com/subject/1292001/
楚门的世界: https://movie.douban.com/subject/1292064/
星际穿越: https://movie.douban.com/subject/1889243/
三傻大闹宝莱坞: https://movie.douban.com/subject/3793023/
机器人总动员: https://movie.douban.com/subject/2131459/
放牛班的春天: https://movie.douban.com/subject/1291549/
大话西游之大圣娶亲: https://movie.douban.com/subject/1292213/
熔炉: https://movie.douban.com/subject/5912992/
疯狂动物城: https://movie.douban.com/subject/25662329/
无间道: https://movie.douban.com/subject/1307914/
龙猫: https://movie.douban.com/subject/1291560/
教父: https://movie.douban.com/subject/1291841/
当幸福来敲门: https://movie.douban.com/subject/1849031/
怦然心动: https://movie.douban.com/subject/3319755/
触不可及: https://movie.douban.com/subject/6786002/


死亡诗社: https://movie.douban.com/subject/1291548/
狮子王: https://movie.douban.com/subject/1301753/
大闹天宫: https://movie.douban.com/subject/1418019/
指环王2：双塔奇兵: https://movie.douban.com/subject/1291572/
猫鼠游戏: https://movie.douban.com/subject/1305487/
窃听风暴: https://movie.douban.com/subject/1900841/
指环王1：魔戒再现: https://movie.douban.com/subject/1291571/
钢琴家: https://movie.douban.com/subject/1296736/
黑客帝国: https://movie.douban.com/subject/1291843/
美丽心灵: https://movie.douban.com/subject/1306029/
饮食男女: https://movie.douban.com/subject/1291818/
两杆大烟枪: https://movie.douban.com/subject/1293350/
飞越疯人院: https://movie.douban.com/subject/1292224/
让子弹飞: https://movie.douban.com/subject/3742360/
本杰明·巴顿奇事: https://movie.douban.com/subject/1485260/
看不见的客人: https://movie.douban.com/subject/26580232/
绿皮书: https://movie.douban.com/subject/27060077/
西西里的美丽传说: https://movie.douban.com/subject/1292402/
拯救大兵瑞恩: https://movie.douban.com/subject/1292849/
小鞋子: https://movie.douban.com/subject/1303021/
海蒂和爷爷: https://movie.douban.com/subject/25958717/
穿条纹睡衣的男孩: https://movie.douban.com/subject/3008247/
情书: https://movie.douban.com/subject/1292220/
海豚湾: https://movie.douban.com/subject/3442220/
音乐之声: https://movie.douban.com/subject/1294408/


地球上的星星: https://movie.douban.com/subject/2363506/
疯狂的麦克斯4：狂暴之路: https://movie.douban.com/subject/3592854/
战争之王: https://movie.douban.com/subject/1419936/
步履不停: https://movie.douban.com/subject/2222996/
谍影重重: https://movie.douban.com/subject/1304102/
彗星来的那一夜: https://movie.douban.com/subject/25807345/
猜火车: https://movie.douban.com/subject/1292528/
朗读者: https://movie.douban.com/subject/2213597/
波西米亚狂想曲: https://movie.douban.com/subject/5300054/
浪潮: https://movie.douban.com/subject/2297265/
小萝莉的猴神大叔: https://movie.douban.com/subject/26393561/
再次出发之纽约遇见你: https://movie.douban.com/subject/6874403/
东京物语: https://movie.douban.com/subject/1291568/
驴得水: https://movie.douban.com/subject/25921812/
聚焦: https://movie.douban.com/subject/25954475/
追随: https://movie.douban.com/subject/1397546/
千钧一发: https://movie.douban.com/subject/1300117/
我爱你: https://movie.douban.com/subject/5908478/
一次别离: https://movie.douban.com/subject/5964718/
黑鹰坠落: https://movie.douban.com/subject/1291824/
黑客帝国2：重装上阵: https://movie.douban.com/subject/1304141/
网络谜踪: https://movie.douban.com/subject/27615441/
四个春天: https://movie.douban.com/subject/27191492/
发条橙: https://movie.douban.com/subject/1292233/
E.T. 外星人: https://movie.douban.com/subject/1294638/


肖申克的救赎: https://movie.douban.com/subject/1292052/
霸王别姬: https://movie.douban.com/subject/1291546/
阿甘正传: https://movie.douban.com/subject/1292720/
这个杀手不太冷: https://movie.douban.com/subject/1295644/
泰坦尼克号: https://movie.douban.com/subject/1292722/
美丽人生: https://movie.douban.com/subject/1292063/
千与千寻: https://movie.douban.com/subject/1291561/
辛德勒的名单: https://movie.douban.com/subject/1295124/
盗梦空间: https://movie.douban.com/subject/3541415/
忠犬八公的故事: https://movie.douban.com/subject/3011091/
海上钢琴师: https://movie.douban.com/subject/1292001/
楚门的世界: https://movie.douban.com/subject/1292064/
星际穿越: https://movie.douban.com/subject/1889243/
三傻大闹宝莱坞: https://movie.douban.com/subject/3793023/
机器人总动员: https://movie.douban.com/subject/2131459/
放牛班的春天: https://movie.douban.com/subject/1291549/
大话西游之大圣娶亲: https://movie.douban.com/subject/1292213/
熔炉: https://movie.douban.com/subject/5912992/
疯狂动物城: https://movie.douban.com/subject/25662329/
无间道: https://movie.douban.com/subject/1307914/
龙猫: https://movie.douban.com/subject/1291560/
教父: https://movie.douban.com/subject/1291841/
当幸福来敲门: https://movie.douban.com/subject/1849031/
怦然心动: https://movie.douban.com/subject/3319755/
触不可及: https://movie.douban.com/subject/6786002/


美国往事: https://movie.douban.com/subject/1292262/
致命魔术: https://movie.douban.com/subject/1780330/
低俗小说: https://movie.douban.com/subject/1291832/
七宗罪: https://movie.douban.com/subject/1292223/
沉默的羔羊: https://movie.douban.com/subject/1293544/
蝴蝶效应: https://movie.douban.com/subject/1292343/
禁闭岛: https://movie.douban.com/subject/2334904/
心灵捕手: https://movie.douban.com/subject/1292656/
春光乍泄: https://movie.douban.com/subject/1292679/
布达佩斯大饭店: https://movie.douban.com/subject/11525673/
被嫌弃的松子的一生: https://movie.douban.com/subject/1787291/
摩登时代: https://movie.douban.com/subject/1294371/
阿凡达: https://movie.douban.com/subject/1652587/
剪刀手爱德华: https://movie.douban.com/subject/1292370/
勇敢的心: https://movie.douban.com/subject/1294639/
喜剧之王: https://movie.douban.com/subject/1302425/
致命ID: https://movie.douban.com/subject/1297192/
加勒比海盗: https://movie.douban.com/subject/1298070/
哈利·波特与死亡圣器(下): https://movie.douban.com/subject/3011235/
天使爱美丽: https://movie.douban.com/subject/1292215/
杀人回忆: https://movie.douban.com/subject/1300299/
断背山: https://movie.douban.com/subject/1418834/
狩猎: https://movie.douban.com/subject/6985810/
请以你的名字呼唤我: https://movie.douban.com/subject/26799731/
幽灵公主: https://movie.douban.com/subject/1297359/


7号房的礼物: https://movie.douban.com/subject/10777687/
阳光灿烂的日子: https://movie.douban.com/subject/1291875/
小森林 夏秋篇: https://movie.douban.com/subject/25814705/
重庆森林: https://movie.douban.com/subject/1291999/
第六感: https://movie.douban.com/subject/1297630/
入殓师: https://movie.douban.com/subject/2149806/
红辣椒: https://movie.douban.com/subject/1865703/
小森林 冬春篇: https://movie.douban.com/subject/25814707/
消失的爱人: https://movie.douban.com/subject/21318488/
爱在黎明破晓前: https://movie.douban.com/subject/1296339/
一一: https://movie.douban.com/subject/1292434/
唐伯虎点秋香: https://movie.douban.com/subject/1306249/
侧耳倾听: https://movie.douban.com/subject/1297052/
超脱: https://movie.douban.com/subject/5322596/
蝙蝠侠：黑暗骑士崛起: https://movie.douban.com/subject/3395373/
倩女幽魂: https://movie.douban.com/subject/1297447/
玛丽和马克思: https://movie.douban.com/subject/3072124/
无人知晓: https://movie.douban.com/subject/1292337/
甜蜜蜜: https://movie.douban.com/subject/1305164/
告白: https://movie.douban.com/subject/4268598/
萤火之森: https://movie.douban.com/subject/5989818/
超能陆战队: https://movie.douban.com/subject/11026735/
大鱼: https://movie.douban.com/subject/1291545/
阳光姐妹淘: https://movie.douban.com/subject/4917726/
驯龙高手: https://movie.douban.com/subject/2353023/


控方证人: https://movie.douban.com/subject/1296141/
蝙蝠侠：黑暗骑士: https://movie.douban.com/subject/1851857/
活着: https://movie.douban.com/subject/1292365/
寻梦环游记: https://movie.douban.com/subject/20495023/
末代皇帝: https://movie.douban.com/subject/1293172/
乱世佳人: https://movie.douban.com/subject/1300267/
何以为家: https://movie.douban.com/subject/30170448/
摔跤吧！爸爸: https://movie.douban.com/subject/26387939/
指环王3：王者无敌: https://movie.douban.com/subject/1291552/
飞屋环游记: https://movie.douban.com/subject/2129039/
少年派的奇幻漂流: https://movie.douban.com/subject/1929463/
十二怒汉: https://movie.douban.com/subject/1293182/
素媛: https://movie.douban.com/subject/21937452/
鬼子来了: https://movie.douban.com/subject/1291858/
哈尔的移动城堡: https://movie.douban.com/subject/1308807/
天空之城: https://movie.douban.com/subject/1291583/
大话西游之月光宝盒: https://movie.douban.com/subject/1299398/
哈利·波特与魔法石: https://movie.douban.com/subject/1295038/
天堂电影院: https://movie.douban.com/subject/1291828/
罗马假日: https://movie.douban.com/subject/1293839/
闻香识女人: https://movie.douban.com/subject/1298624/
我不是药神: https://movie.douban.com/subject/26752088/
辩护人: https://movie.douban.com/subject/21937445/
搏击俱乐部: https://movie.douban.com/subject/1292000/
教父2: https://movie.douban.com/subject/1299131/


罗生门: https://movie.douban.com/subject/1291879/
终结者2：审判日: https://movie.douban.com/subject/1291844/
初恋这件小事: https://movie.douban.com/subject/4739952/
2001太空漫游: https://movie.douban.com/subject/1292226/
可可西里: https://movie.douban.com/subject/1308857/
魂断蓝桥: https://movie.douban.com/subject/1293964/
海洋: https://movie.douban.com/subject/3443389/
城市之光: https://movie.douban.com/subject/1293908/
燃情岁月: https://movie.douban.com/subject/1295865/
牯岭街少年杀人事件: https://movie.douban.com/subject/1292329/
色，戒: https://movie.douban.com/subject/1828115/
穿越时空的少女: https://movie.douban.com/subject/1937946/
新龙门客栈: https://movie.douban.com/subject/1292287/
青蛇: https://movie.douban.com/subject/1303394/
无耻混蛋: https://movie.douban.com/subject/1438652/
源代码: https://movie.douban.com/subject/3075287/
完美陌生人: https://movie.douban.com/subject/26614893/
遗愿清单: https://movie.douban.com/subject/1867345/
阿飞正传: https://movie.douban.com/subject/1305690/
哈利·波特与火焰杯: https://movie.douban.com/subject/1309055/
九品芝麻官: https://movie.douban.com/subject/1297518/
大佛普拉斯: https://movie.douban.com/subject/27059130/
血钻: https://movie.douban.com/subject/1428175/
谍影重重2: https://movie.douban.com/subject/1308767/
香水: https://movie.douban.com/subject/1760622/


借东西的小人阿莉埃蒂: https://movie.douban.com/subject/4202302/
射雕英雄传之东成西就: https://movie.douban.com/subject/1316510/
菊次郎的夏天: https://movie.douban.com/subject/1293359/
幸福终点站: https://movie.douban.com/subject/1292274/
爱在日落黄昏时: https://movie.douban.com/subject/1291990/
恐怖直播: https://movie.douban.com/subject/21360417/
完美的世界: https://movie.douban.com/subject/1300992/
功夫: https://movie.douban.com/subject/1291543/
人生果实: https://movie.douban.com/subject/26874505/
神偷奶爸: https://movie.douban.com/subject/3287562/
怪兽电力公司: https://movie.douban.com/subject/1291579/
玩具总动员3: https://movie.douban.com/subject/1858711/
天书奇谭: https://movie.douban.com/subject/1428581/
傲慢与偏见: https://movie.douban.com/subject/1418200/
血战钢锯岭: https://movie.douban.com/subject/26325320/
教父3: https://movie.douban.com/subject/1294240/
时空恋旅人: https://movie.douban.com/subject/10577869/
风之谷: https://movie.douban.com/subject/1291585/
哈利·波特与阿兹卡班的囚徒: https://movie.douban.com/subject/1291544/
釜山行: https://movie.douban.com/subject/25986180/
电锯惊魂: https://movie.douban.com/subject/1417598/
上帝之城: https://movie.douban.com/subject/1292208/
被解救的姜戈: https://movie.douban.com/subject/6307447/
哪吒闹海: https://movie.douban.com/subject/1307315/
喜宴: https://movie.douban.com/subject/1303037/


忠犬八公物语: https://movie.douban.com/subject/1959195/
黑天鹅: https://movie.douban.com/subject/1978709/
头脑特工队: https://movie.douban.com/subject/10533913/
新世界: https://movie.douban.com/subject/10437779/
未麻的部屋: https://movie.douban.com/subject/1395091/
你看起来好像很好吃: https://movie.douban.com/subject/4848115/
海街日记: https://movie.douban.com/subject/25895901/
无敌破坏王: https://movie.douban.com/subject/6534248/
雨人: https://movie.douban.com/subject/1291870/
冰川时代: https://movie.douban.com/subject/1291578/
恋恋笔记本: https://movie.douban.com/subject/1309163/
惊魂记: https://movie.douban.com/subject/1293181/
二十二: https://movie.douban.com/subject/26430107/
恐怖游轮: https://movie.douban.com/subject/3011051/
海边的曼彻斯特: https://movie.douban.com/subject/25980443/
奇迹男孩: https://movie.douban.com/subject/26787574/
小偷家族: https://movie.douban.com/subject/27622447/
房间: https://movie.douban.com/subject/25724855/
绿里奇迹: https://movie.douban.com/subject/1300374/
魔女宅急便: https://movie.douban.com/subject/1307811/
虎口脱险: https://movie.douban.com/subject/1296909/
雨中曲: https://movie.douban.com/subject/1293460/
疯狂的石头: https://movie.douban.com/subject/1862151/
爱在午夜降临前: https://movie.douban.com/subject/10808442/
人工智能: https://movie.douban.com/subject/1302827/


七武士: https://movie.douban.com/subject/1295399/
英雄本色: https://movie.douban.com/subject/1297574/
我是山姆: https://movie.douban.com/subject/1306861/
谍影重重3: https://movie.douban.com/subject/1578507/
岁月神偷: https://movie.douban.com/subject/3792799/
头号玩家: https://movie.douban.com/subject/4920389/
纵横四海: https://movie.douban.com/subject/1295409/
疯狂原始人: https://movie.douban.com/subject/1907966/
一个叫欧维的男人决定去死: https://movie.douban.com/subject/26628357/
三块广告牌: https://movie.douban.com/subject/26611804/
心迷宫: https://movie.douban.com/subject/25917973/
哈利·波特与密室: https://movie.douban.com/subject/1296996/
达拉斯买家俱乐部: https://movie.douban.com/subject/1793929/
卢旺达饭店: https://movie.douban.com/subject/1291822/
你的名字。: https://movie.douban.com/subject/26683290/
花样年华: https://movie.douban.com/subject/1291557/
萤火虫之墓: https://movie.douban.com/subject/1293318/
记忆碎片: https://movie.douban.com/subject/1304447/
荒蛮故事: https://movie.douban.com/subject/24750126/
贫民窟的百万富翁: https://movie.douban.com/subject/2209573/
东邪西毒: https://movie.douban.com/subject/1292328/
真爱至上: https://movie.douban.com/subject/1292401/
爆裂鼓手: https://movie.douban.com/subject/25773932/
黑客帝国3：矩阵革命: https://movie.douban.com/subject/1302467/
模仿游戏: https://movie.douban.com/subject/10463953/


[{'电影名': '肖申克的救赎', '链接': 'https://movie.douban.com/subject/1292052/'}, {'电影名': '霸王别姬', '链接': 'https://movie.douban.com/subject/1291546/'}, {'电影名': '阿甘正传', '链接': 'https://movie.douban.com/subject/1292720/'}, {'电影名': '这个杀手不太冷', '链接': 'https://movie.douban.com/subject/1295644/'}, {'电影名': '泰坦尼克号', '链接': 'https://movie.douban.com/subject/1292722/'}, {'电影名': '美丽人生', '链接': 'https://movie.douban.com/subject/1292063/'}, {'电影名': '千与千寻', '链接': 'https://movie.douban.com/subject/1291561/'}, {'电影名': '辛德勒的名单', '链接': 'https://movie.douban.com/subject/1295124/'}, {'电影名': '盗梦空间', '链接': 'https://movie.douban.com/subject/3541415/'}, {'电影名': '忠犬八公的故事', '链接': 'https://movie.douban.com/subject/3011091/'}, {'电影名': '海上钢琴师', '链接': 'https://movie.douban.com/subject/1292001/'}, {'电影名': '楚门的世界', '链接': 'https://movie.douban.com/subject/1292064/'}, {'电影名': '星际穿越', '链接': 'https://movie.douban.com/subject/1889243/'}, {'电影名': '三傻大闹宝莱坞', '链接': 'https://movie.douban.com/subject/3793023/'}, {'电影名': '机器人总动员', '链接': 'https://movie.douban.com/subject/2131459/'}, {'电影名': '放牛班的春天', '链接': 'https://movie.douban.com/subject/1291549/'}, {'电影名': '大话西游之大圣娶亲', '链接': 'https://movie.douban.com/subject/1292213/'}, {'电影名': '熔炉', '链接': 'https://movie.douban.com/subject/5912992/'}, {'电影名': '疯狂动物城', '链接': 'https://movie.douban.com/subject/25662329/'}, {'电影名': '无间道', '链接': 'https://movie.douban.com/subject/1307914/'}, {'电影名': '龙猫', '链接': 'https://movie.douban.com/subject/1291560/'}, {'电影名': '教父', '链接': 'https://movie.douban.com/subject/1291841/'}, {'电影名': '当幸福来敲门', '链接': 'https://movie.douban.com/subject/1849031/'}, {'电影名': '怦然心动', '链接': 'https://movie.douban.com/subject/3319755/'}, {'电影名': '触不可及', '链接': 'https://movie.douban.com/subject/6786002/'}, {'电影名': '死亡诗社', '链接': 'https://movie.douban.com/subject/1291548/'}, {'电影名': '狮子王', '链接': 'https://movie.douban.com/subject/1301753/'}, {'电影名': '大闹天宫', '链接': 'https://movie.douban.com/subject/1418019/'}, {'电影名': '指环王2：双塔奇兵', '链接': 'https://movie.douban.com/subject/1291572/'}, {'电影名': '猫鼠游戏', '链接': 'https://movie.douban.com/subject/1305487/'}, {'电影名': '窃听风暴', '链接': 'https://movie.douban.com/subject/1900841/'}, {'电影名': '指环王1：魔戒再现', '链接': 'https://movie.douban.com/subject/1291571/'}, {'电影名': '钢琴家', '链接': 'https://movie.douban.com/subject/1296736/'}, {'电影名': '黑客帝国', '链接': 'https://movie.douban.com/subject/1291843/'}, {'电影名': '美丽心灵', '链接': 'https://movie.douban.com/subject/1306029/'}, {'电影名': '饮食男女', '链接': 'https://movie.douban.com/subject/1291818/'}, {'电影名': '两杆大烟枪', '链接': 'https://movie.douban.com/subject/1293350/'}, {'电影名': '飞越疯人院', '链接': 'https://movie.douban.com/subject/1292224/'}, {'电影名': '让子弹飞', '链接': 'https://movie.douban.com/subject/3742360/'}, {'电影名': '本杰明·巴顿奇事', '链接': 'https://movie.douban.com/subject/1485260/'}, {'电影名': '看不见的客人', '链接': 'https://movie.douban.com/subject/26580232/'}, {'电影名': '绿皮书', '链接': 'https://movie.douban.com/subject/27060077/'}, {'电影名': '西西里的美丽传说', '链接': 'https://movie.douban.com/subject/1292402/'}, {'电影名': '拯救大兵瑞恩', '链接': 'https://movie.douban.com/subject/1292849/'}, {'电影名': '小鞋子', '链接': 'https://movie.douban.com/subject/1303021/'}, {'电影名': '海蒂和爷爷', '链接': 'https://movie.douban.com/subject/25958717/'}, {'电影名': '穿条纹睡衣的男孩', '链接': 'https://movie.douban.com/subject/3008247/'}, {'电影名': '情书', '链接': 'https://movie.douban.com/subject/1292220/'}, {'电影名': '海豚湾', '链接': 'https://movie.douban.com/subject/3442220/'}, {'电影名': '音乐之声', '链接': 'https://movie.douban.com/subject/1294408/'}, {'电影名': '地球上的星星', '链接': 'https://movie.douban.com/subject/2363506/'}, {'电影名': '疯狂的麦克斯4：狂暴之路', '链接': 'https://movie.douban.com/subject/3592854/'}, {'电影名': '战争之王', '链接': 'https://movie.douban.com/subject/1419936/'}, {'电影名': '步履不停', '链接': 'https://movie.douban.com/subject/2222996/'}, {'电影名': '谍影重重', '链接': 'https://movie.douban.com/subject/1304102/'}, {'电影名': '彗星来的那一夜', '链接': 'https://movie.douban.com/subject/25807345/'}, {'电影名': '猜火车', '链接': 'https://movie.douban.com/subject/1292528/'}, {'电影名': '朗读者', '链接': 'https://movie.douban.com/subject/2213597/'}, {'电影名': '波西米亚狂想曲', '链接': 'https://movie.douban.com/subject/5300054/'}, {'电影名': '浪潮', '链接': 'https://movie.douban.com/subject/2297265/'}, {'电影名': '小萝莉的猴神大叔', '链接': 'https://movie.douban.com/subject/26393561/'}, {'电影名': '再次出发之纽约遇见你', '链接': 'https://movie.douban.com/subject/6874403/'}, {'电影名': '东京物语', '链接': 'https://movie.douban.com/subject/1291568/'}, {'电影名': '驴得水', '链接': 'https://movie.douban.com/subject/25921812/'}, {'电影名': '聚焦', '链接': 'https://movie.douban.com/subject/25954475/'}, {'电影名': '追随', '链接': 'https://movie.douban.com/subject/1397546/'}, {'电影名': '千钧一发', '链接': 'https://movie.douban.com/subject/1300117/'}, {'电影名': '我爱你', '链接': 'https://movie.douban.com/subject/5908478/'}, {'电影名': '一次别离', '链接': 'https://movie.douban.com/subject/5964718/'}, {'电影名': '黑鹰坠落', '链接': 'https://movie.douban.com/subject/1291824/'}, {'电影名': '黑客帝国2：重装上阵', '链接': 'https://movie.douban.com/subject/1304141/'}, {'电影名': '网络谜踪', '链接': 'https://movie.douban.com/subject/27615441/'}, {'电影名': '四个春天', '链接': 'https://movie.douban.com/subject/27191492/'}, {'电影名': '发条橙', '链接': 'https://movie.douban.com/subject/1292233/'}, {'电影名': 'E.T. 外星人', '链接': 'https://movie.douban.com/subject/1294638/'}, {'电影名': '肖申克的救赎', '链接': 'https://movie.douban.com/subject/1292052/'}, {'电影名': '霸王别姬', '链接': 'https://movie.douban.com/subject/1291546/'}, {'电影名': '阿甘正传', '链接': 'https://movie.douban.com/subject/1292720/'}, {'电影名': '这个杀手不太冷', '链接': 'https://movie.douban.com/subject/1295644/'}, {'电影名': '泰坦尼克号', '链接': 'https://movie.douban.com/subject/1292722/'}, {'电影名': '美丽人生', '链接': 'https://movie.douban.com/subject/1292063/'}, {'电影名': '千与千寻', '链接': 'https://movie.douban.com/subject/1291561/'}, {'电影名': '辛德勒的名单', '链接': 'https://movie.douban.com/subject/1295124/'}, {'电影名': '盗梦空间', '链接': 'https://movie.douban.com/subject/3541415/'}, {'电影名': '忠犬八公的故事', '链接': 'https://movie.douban.com/subject/3011091/'}, {'电影名': '海上钢琴师', '链接': 'https://movie.douban.com/subject/1292001/'}, {'电影名': '楚门的世界', '链接': 'https://movie.douban.com/subject/1292064/'}, {'电影名': '星际穿越', '链接': 'https://movie.douban.com/subject/1889243/'}, {'电影名': '三傻大闹宝莱坞', '链接': 'https://movie.douban.com/subject/3793023/'}, {'电影名': '机器人总动员', '链接': 'https://movie.douban.com/subject/2131459/'}, {'电影名': '放牛班的春天', '链接': 'https://movie.douban.com/subject/1291549/'}, {'电影名': '大话西游之大圣娶亲', '链接': 'https://movie.douban.com/subject/1292213/'}, {'电影名': '熔炉', '链接': 'https://movie.douban.com/subject/5912992/'}, {'电影名': '疯狂动物城', '链接': 'https://movie.douban.com/subject/25662329/'}, {'电影名': '无间道', '链接': 'https://movie.douban.com/subject/1307914/'}, {'电影名': '龙猫', '链接': 'https://movie.douban.com/subject/1291560/'}, {'电影名': '教父', '链接': 'https://movie.douban.com/subject/1291841/'}, {'电影名': '当幸福来敲门', '链接': 'https://movie.douban.com/subject/1849031/'}, {'电影名': '怦然心动', '链接': 'https://movie.douban.com/subject/3319755/'}, {'电影名': '触不可及', '链接': 'https://movie.douban.com/subject/6786002/'}, {'电影名': '美国往事', '链接': 'https://movie.douban.com/subject/1292262/'}, {'电影名': '致命魔术', '链接': 'https://movie.douban.com/subject/1780330/'}, {'电影名': '低俗小说', '链接': 'https://movie.douban.com/subject/1291832/'}, {'电影名': '七宗罪', '链接': 'https://movie.douban.com/subject/1292223/'}, {'电影名': '沉默的羔羊', '链接': 'https://movie.douban.com/subject/1293544/'}, {'电影名': '蝴蝶效应', '链接': 'https://movie.douban.com/subject/1292343/'}, {'电影名': '禁闭岛', '链接': 'https://movie.douban.com/subject/2334904/'}, {'电影名': '心灵捕手', '链接': 'https://movie.douban.com/subject/1292656/'}, {'电影名': '春光乍泄', '链接': 'https://movie.douban.com/subject/1292679/'}, {'电影名': '布达佩斯大饭店', '链接': 'https://movie.douban.com/subject/11525673/'}, {'电影名': '被嫌弃的松子的一生', '链接': 'https://movie.douban.com/subject/1787291/'}, {'电影名': '摩登时代', '链接': 'https://movie.douban.com/subject/1294371/'}, {'电影名': '阿凡达', '链接': 'https://movie.douban.com/subject/1652587/'}, {'电影名': '剪刀手爱德华', '链接': 'https://movie.douban.com/subject/1292370/'}, {'电影名': '勇敢的心', '链接': 'https://movie.douban.com/subject/1294639/'}, {'电影名': '喜剧之王', '链接': 'https://movie.douban.com/subject/1302425/'}, {'电影名': '致命ID', '链接': 'https://movie.douban.com/subject/1297192/'}, {'电影名': '加勒比海盗', '链接': 'https://movie.douban.com/subject/1298070/'}, {'电影名': '哈利·波特与死亡圣器(下)', '链接': 'https://movie.douban.com/subject/3011235/'}, {'电影名': '天使爱美丽', '链接': 'https://movie.douban.com/subject/1292215/'}, {'电影名': '杀人回忆', '链接': 'https://movie.douban.com/subject/1300299/'}, {'电影名': '断背山', '链接': 'https://movie.douban.com/subject/1418834/'}, {'电影名': '狩猎', '链接': 'https://movie.douban.com/subject/6985810/'}, {'电影名': '请以你的名字呼唤我', '链接': 'https://movie.douban.com/subject/26799731/'}, {'电影名': '幽灵公主', '链接': 'https://movie.douban.com/subject/1297359/'}, {'电影名': '7号房的礼物', '链接': 'https://movie.douban.com/subject/10777687/'}, {'电影名': '阳光灿烂的日子', '链接': 'https://movie.douban.com/subject/1291875/'}, {'电影名': '小森林 夏秋篇', '链接': 'https://movie.douban.com/subject/25814705/'}, {'电影名': '重庆森林', '链接': 'https://movie.douban.com/subject/1291999/'}, {'电影名': '第六感', '链接': 'https://movie.douban.com/subject/1297630/'}, {'电影名': '入殓师', '链接': 'https://movie.douban.com/subject/2149806/'}, {'电影名': '红辣椒', '链接': 'https://movie.douban.com/subject/1865703/'}, {'电影名': '小森林 冬春篇', '链接': 'https://movie.douban.com/subject/25814707/'}, {'电影名': '消失的爱人', '链接': 'https://movie.douban.com/subject/21318488/'}, {'电影名': '爱在黎明破晓前', '链接': 'https://movie.douban.com/subject/1296339/'}, {'电影名': '一一', '链接': 'https://movie.douban.com/subject/1292434/'}, {'电影名': '唐伯虎点秋香', '链接': 'https://movie.douban.com/subject/1306249/'}, {'电影名': '侧耳倾听', '链接': 'https://movie.douban.com/subject/1297052/'}, {'电影名': '超脱', '链接': 'https://movie.douban.com/subject/5322596/'}, {'电影名': '蝙蝠侠：黑暗骑士崛起', '链接': 'https://movie.douban.com/subject/3395373/'}, {'电影名': '倩女幽魂', '链接': 'https://movie.douban.com/subject/1297447/'}, {'电影名': '玛丽和马克思', '链接': 'https://movie.douban.com/subject/3072124/'}, {'电影名': '无人知晓', '链接': 'https://movie.douban.com/subject/1292337/'}, {'电影名': '甜蜜蜜', '链接': 'https://movie.douban.com/subject/1305164/'}, {'电影名': '告白', '链接': 'https://movie.douban.com/subject/4268598/'}, {'电影名': '萤火之森', '链接': 'https://movie.douban.com/subject/5989818/'}, {'电影名': '超能陆战队', '链接': 'https://movie.douban.com/subject/11026735/'}, {'电影名': '大鱼', '链接': 'https://movie.douban.com/subject/1291545/'}, {'电影名': '阳光姐妹淘', '链接': 'https://movie.douban.com/subject/4917726/'}, {'电影名': '驯龙高手', '链接': 'https://movie.douban.com/subject/2353023/'}, {'电影名': '控方证人', '链接': 'https://movie.douban.com/subject/1296141/'}, {'电影名': '蝙蝠侠：黑暗骑士', '链接': 'https://movie.douban.com/subject/1851857/'}, {'电影名': '活着', '链接': 'https://movie.douban.com/subject/1292365/'}, {'电影名': '寻梦环游记', '链接': 'https://movie.douban.com/subject/20495023/'}, {'电影名': '末代皇帝', '链接': 'https://movie.douban.com/subject/1293172/'}, {'电影名': '乱世佳人', '链接': 'https://movie.douban.com/subject/1300267/'}, {'电影名': '何以为家', '链接': 'https://movie.douban.com/subject/30170448/'}, {'电影名': '摔跤吧！爸爸', '链接': 'https://movie.douban.com/subject/26387939/'}, {'电影名': '指环王3：王者无敌', '链接': 'https://movie.douban.com/subject/1291552/'}, {'电影名': '飞屋环游记', '链接': 'https://movie.douban.com/subject/2129039/'}, {'电影名': '少年派的奇幻漂流', '链接': 'https://movie.douban.com/subject/1929463/'}, {'电影名': '十二怒汉', '链接': 'https://movie.douban.com/subject/1293182/'}, {'电影名': '素媛', '链接': 'https://movie.douban.com/subject/21937452/'}, {'电影名': '鬼子来了', '链接': 'https://movie.douban.com/subject/1291858/'}, {'电影名': '哈尔的移动城堡', '链接': 'https://movie.douban.com/subject/1308807/'}, {'电影名': '天空之城', '链接': 'https://movie.douban.com/subject/1291583/'}, {'电影名': '大话西游之月光宝盒', '链接': 'https://movie.douban.com/subject/1299398/'}, {'电影名': '哈利·波特与魔法石', '链接': 'https://movie.douban.com/subject/1295038/'}, {'电影名': '天堂电影院', '链接': 'https://movie.douban.com/subject/1291828/'}, {'电影名': '罗马假日', '链接': 'https://movie.douban.com/subject/1293839/'}, {'电影名': '闻香识女人', '链接': 'https://movie.douban.com/subject/1298624/'}, {'电影名': '我不是药神', '链接': 'https://movie.douban.com/subject/26752088/'}, {'电影名': '辩护人', '链接': 'https://movie.douban.com/subject/21937445/'}, {'电影名': '搏击俱乐部', '链接': 'https://movie.douban.com/subject/1292000/'}, {'电影名': '教父2', '链接': 'https://movie.douban.com/subject/1299131/'}, {'电影名': '罗生门', '链接': 'https://movie.douban.com/subject/1291879/'}, {'电影名': '终结者2：审判日', '链接': 'https://movie.douban.com/subject/1291844/'}, {'电影名': '初恋这件小事', '链接': 'https://movie.douban.com/subject/4739952/'}, {'电影名': '2001太空漫游', '链接': 'https://movie.douban.com/subject/1292226/'}, {'电影名': '可可西里', '链接': 'https://movie.douban.com/subject/1308857/'}, {'电影名': '魂断蓝桥', '链接': 'https://movie.douban.com/subject/1293964/'}, {'电影名': '海洋', '链接': 'https://movie.douban.com/subject/3443389/'}, {'电影名': '城市之光', '链接': 'https://movie.douban.com/subject/1293908/'}, {'电影名': '燃情岁月', '链接': 'https://movie.douban.com/subject/1295865/'}, {'电影名': '牯岭街少年杀人事件', '链接': 'https://movie.douban.com/subject/1292329/'}, {'电影名': '色，戒', '链接': 'https://movie.douban.com/subject/1828115/'}, {'电影名': '穿越时空的少女', '链接': 'https://movie.douban.com/subject/1937946/'}, {'电影名': '新龙门客栈', '链接': 'https://movie.douban.com/subject/1292287/'}, {'电影名': '青蛇', '链接': 'https://movie.douban.com/subject/1303394/'}, {'电影名': '无耻混蛋', '链接': 'https://movie.douban.com/subject/1438652/'}, {'电影名': '源代码', '链接': 'https://movie.douban.com/subject/3075287/'}, {'电影名': '完美陌生人', '链接': 'https://movie.douban.com/subject/26614893/'}, {'电影名': '遗愿清单', '链接': 'https://movie.douban.com/subject/1867345/'}, {'电影名': '阿飞正传', '链接': 'https://movie.douban.com/subject/1305690/'}, {'电影名': '哈利·波特与火焰杯', '链接': 'https://movie.douban.com/subject/1309055/'}, {'电影名': '九品芝麻官', '链接': 'https://movie.douban.com/subject/1297518/'}, {'电影名': '大佛普拉斯', '链接': 'https://movie.douban.com/subject/27059130/'}, {'电影名': '血钻', '链接': 'https://movie.douban.com/subject/1428175/'}, {'电影名': '谍影重重2', '链接': 'https://movie.douban.com/subject/1308767/'}, {'电影名': '香水', '链接': 'https://movie.douban.com/subject/1760622/'}, {'电影名': '借东西的小人阿莉埃蒂', '链接': 'https://movie.douban.com/subject/4202302/'}, {'电影名': '射雕英雄传之东成西就', '链接': 'https://movie.douban.com/subject/1316510/'}, {'电影名': '菊次郎的夏天', '链接': 'https://movie.douban.com/subject/1293359/'}, {'电影名': '幸福终点站', '链接': 'https://movie.douban.com/subject/1292274/'}, {'电影名': '爱在日落黄昏时', '链接': 'https://movie.douban.com/subject/1291990/'}, {'电影名': '恐怖直播', '链接': 'https://movie.douban.com/subject/21360417/'}, {'电影名': '完美的世界', '链接': 'https://movie.douban.com/subject/1300992/'}, {'电影名': '功夫', '链接': 'https://movie.douban.com/subject/1291543/'}, {'电影名': '人生果实', '链接': 'https://movie.douban.com/subject/26874505/'}, {'电影名': '神偷奶爸', '链接': 'https://movie.douban.com/subject/3287562/'}, {'电影名': '怪兽电力公司', '链接': 'https://movie.douban.com/subject/1291579/'}, {'电影名': '玩具总动员3', '链接': 'https://movie.douban.com/subject/1858711/'}, {'电影名': '天书奇谭', '链接': 'https://movie.douban.com/subject/1428581/'}, {'电影名': '傲慢与偏见', '链接': 'https://movie.douban.com/subject/1418200/'}, {'电影名': '血战钢锯岭', '链接': 'https://movie.douban.com/subject/26325320/'}, {'电影名': '教父3', '链接': 'https://movie.douban.com/subject/1294240/'}, {'电影名': '时空恋旅人', '链接': 'https://movie.douban.com/subject/10577869/'}, {'电影名': '风之谷', '链接': 'https://movie.douban.com/subject/1291585/'}, {'电影名': '哈利·波特与阿兹卡班的囚徒', '链接': 'https://movie.douban.com/subject/1291544/'}, {'电影名': '釜山行', '链接': 'https://movie.douban.com/subject/25986180/'}, {'电影名': '电锯惊魂', '链接': 'https://movie.douban.com/subject/1417598/'}, {'电影名': '上帝之城', '链接': 'https://movie.douban.com/subject/1292208/'}, {'电影名': '被解救的姜戈', '链接': 'https://movie.douban.com/subject/6307447/'}, {'电影名': '哪吒闹海', '链接': 'https://movie.douban.com/subject/1307315/'}, {'电影名': '喜宴', '链接': 'https://movie.douban.com/subject/1303037/'}, {'电影名': '忠犬八公物语', '链接': 'https://movie.douban.com/subject/1959195/'}, {'电影名': '黑天鹅', '链接': 'https://movie.douban.com/subject/1978709/'}, {'电影名': '头脑特工队', '链接': 'https://movie.douban.com/subject/10533913/'}, {'电影名': '新世界', '链接': 'https://movie.douban.com/subject/10437779/'}, {'电影名': '未麻的部屋', '链接': 'https://movie.douban.com/subject/1395091/'}, {'电影名': '你看起来好像很好吃', '链接': 'https://movie.douban.com/subject/4848115/'}, {'电影名': '海街日记', '链接': 'https://movie.douban.com/subject/25895901/'}, {'电影名': '无敌破坏王', '链接': 'https://movie.douban.com/subject/6534248/'}, {'电影名': '雨人', '链接': 'https://movie.douban.com/subject/1291870/'}, {'电影名': '冰川时代', '链接': 'https://movie.douban.com/subject/1291578/'}, {'电影名': '恋恋笔记本', '链接': 'https://movie.douban.com/subject/1309163/'}, {'电影名': '惊魂记', '链接': 'https://movie.douban.com/subject/1293181/'}, {'电影名': '二十二', '链接': 'https://movie.douban.com/subject/26430107/'}, {'电影名': '恐怖游轮', '链接': 'https://movie.douban.com/subject/3011051/'}, {'电影名': '海边的曼彻斯特', '链接': 'https://movie.douban.com/subject/25980443/'}, {'电影名': '奇迹男孩', '链接': 'https://movie.douban.com/subject/26787574/'}, {'电影名': '小偷家族', '链接': 'https://movie.douban.com/subject/27622447/'}, {'电影名': '房间', '链接': 'https://movie.douban.com/subject/25724855/'}, {'电影名': '绿里奇迹', '链接': 'https://movie.douban.com/subject/1300374/'}, {'电影名': '魔女宅急便', '链接': 'https://movie.douban.com/subject/1307811/'}, {'电影名': '虎口脱险', '链接': 'https://movie.douban.com/subject/1296909/'}, {'电影名': '雨中曲', '链接': 'https://movie.douban.com/subject/1293460/'}, {'电影名': '疯狂的石头', '链接': 'https://movie.douban.com/subject/1862151/'}, {'电影名': '爱在午夜降临前', '链接': 'https://movie.douban.com/subject/10808442/'}, {'电影名': '人工智能', '链接': 'https://movie.douban.com/subject/1302827/'}, {'电影名': '七武士', '链接': 'https://movie.douban.com/subject/1295399/'}, {'电影名': '英雄本色', '链接': 'https://movie.douban.com/subject/1297574/'}, {'电影名': '我是山姆', '链接': 'https://movie.douban.com/subject/1306861/'}, {'电影名': '谍影重重3', '链接': 'https://movie.douban.com/subject/1578507/'}, {'电影名': '岁月神偷', '链接': 'https://movie.douban.com/subject/3792799/'}, {'电影名': '头号玩家', '链接': 'https://movie.douban.com/subject/4920389/'}, {'电影名': '纵横四海', '链接': 'https://movie.douban.com/subject/1295409/'}, {'电影名': '疯狂原始人', '链接': 'https://movie.douban.com/subject/1907966/'}, {'电影名': '一个叫欧维的男人决定去死', '链接': 'https://movie.douban.com/subject/26628357/'}, {'电影名': '三块广告牌', '链接': 'https://movie.douban.com/subject/26611804/'}, {'电影名': '心迷宫', '链接': 'https://movie.douban.com/subject/25917973/'}, {'电影名': '哈利·波特与密室', '链接': 'https://movie.douban.com/subject/1296996/'}, {'电影名': '达拉斯买家俱乐部', '链接': 'https://movie.douban.com/subject/1793929/'}, {'电影名': '卢旺达饭店', '链接': 'https://movie.douban.com/subject/1291822/'}, {'电影名': '你的名字。', '链接': 'https://movie.douban.com/subject/26683290/'}, {'电影名': '花样年华', '链接': 'https://movie.douban.com/subject/1291557/'}, {'电影名': '萤火虫之墓', '链接': 'https://movie.douban.com/subject/1293318/'}, {'电影名': '记忆碎片', '链接': 'https://movie.douban.com/subject/1304447/'}, {'电影名': '荒蛮故事', '链接': 'https://movie.douban.com/subject/24750126/'}, {'电影名': '贫民窟的百万富翁', '链接': 'https://movie.douban.com/subject/2209573/'}, {'电影名': '东邪西毒', '链接': 'https://movie.douban.com/subject/1292328/'}, {'电影名': '真爱至上', '链接': 'https://movie.douban.com/subject/1292401/'}, {'电影名': '爆裂鼓手', '链接': 'https://movie.douban.com/subject/25773932/'}, {'电影名': '黑客帝国3：矩阵革命', '链接': 'https://movie.douban.com/subject/1302467/'}, {'电影名': '模仿游戏', '链接': 'https://movie.douban.com/subject/10463953/'}]

Process finished with exit code 0

下面是pandas保存的结果

pd.DataFrame传入列表，以及使用to_excel方法

1
2
3

# 这里可以保存到指定文件
movie_msg = pd.DataFrame(self.save_list)
movie_msg.to_excel('douban_movies.xls')

总结一下

用url队列时，使用set()集合类型，可以自动去重
- 但是要注意，用了set的话，得到的这些内容顺序是乱的，不是按照原本网页的顺序
- 要顺序的话，用list()就可以了，但是要记得去重remove
效率还算可以
不用这个url队列也可以做，不过在分页时代码会很累赘，没那么简洁
在获取其他页码的链接时，有的可以直接用bs4，不用re正则表达式

Welcome to reward

本文作者： jmchen
本文链接： https://jimouchen.github.io/2020/08/26/CrawlerPrinciple/
版权声明： 本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！