logo
当前位置:首 页 > 编程技术 >后端开发 >python > 查看文章

python爬虫批量获取最新电影资源

python, 后端开发, 编程技术 你是第2494个围观者 0条评论 供稿者: 标签:,

目标网站:http://www.dy2018.com/
这是我们要下载的最新资源在这个页面:http://www.dy2018.com/html/gndy/dyzz/index.html

image.png

前提

  • 安装 python, 版本 3.5 以上
  • 安装 pip (有些 python 安装包里面已经自带了)
  • 然后用 pip 安装 requests,在命令行输入命令:pip install requests
  • 用 pip 安装 requests_cache: pip install requests_cache

初步尝试

好了,我们新建个脚本文件叫 t.py:

import requests
import requests_cache

requests_cache.install_cache('demo_cache') # 为 requests 建立缓存,避免每次执行都去请求一次网页,造成时间浪费

# 把我们的爬虫伪装成浏览器,否则服务器会拒绝你的请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',
}

response = requests.get("http://www.dy2018.com/html/gndy/dyzz/index.html", headers=headers)
html_doc = response.content.decode('gbk') # 由于此网页是 gb2312 编码的,需要转码成 utf8,但 python 貌似不支持 gb2312,所以用 gbk
print(html_doc)

在命令行运行一次 python t.py,我们就可以看到它输出了网页源码,第一步算是完成了。

提取列表页URL

打开刚才的网页,因为一开始会有广告,所以我们先在任意位置点击一下这个页面,让广告弹出来就可以了。

然后鼠标移向电影标题 –> 右键点击 –> 点击【检查元素】或【Inspect】(如果你的游览器没有这个功能,请下载基于 Chrome 的浏览器,如 360浏览器等)

然后我们会看到这样的界面:

image.png

红箭头所指就是本页所有电影标题都有的类名,待会我们就可以根据这个类名一次性提取出所有电影标题了,见代码:

import requests
import os
import requests_cache

from bs4 import BeautifulSoup

requests_cache.install_cache('demo_cache')

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',
}

response = requests.get("http://www.dy2018.com/html/gndy/dyzz/index.html", headers=headers)
html_doc = response.content.decode('gbk')
# print(html_doc)

soup = BeautifulSoup(html_doc, 'lxml')
links = []
for a in soup.select('.ulink'):
    href = 'http://www.dy2018.com' + a['href']
    title = a.string
    links.append(href)
    print(href, title)

要想正确运行这段代码,你还得先安装一些 python 库:

pip install lxml 
pip install beautifulsoup4

然后再次执行 python t.py 就会看到如下输出:

http://www.dy2018.com/i/98372.html 2017年国产喜剧片《父子雄兵》HD国语中字
http://www.dy2018.com/i/98369.html 2017年国产奇幻片《鲛珠传》HD高清国语中英双字
http://www.dy2018.com/i/98364.html 2017年欧美科幻片《变形金刚5最后的骑士》HD韩版中英双字
......更多的就不列出来了

从列表页进入电影页,并提取下载链接

我们先鼠标点进电影页,然后通过检查元素(上一步有介绍),得到下载链接的元素选择器,当然这次的有点复杂,不像上一步那么直观,还需要自己推导,具体过程就不说了,直接给出结果:#Zoom table a

这一次在代码中,我们需要通过上一步获得的 links 数组分别进入每个电影页,然后拿到下载链接,部分代码如下:

for link in links:
    response = requests.get(link, headers=headers)
    html_doc = response.content.decode('gbk')
    soup = BeautifulSoup(html_doc, 'lxml')
    ftp_element = soup.select('#Zoom table a')[0] ### 注释1
    download_link = ftp_element['href']
    print(download_link)
    time.sleep(random.randint(1, 2)) ### 注释2

注意:
注释1,由于 select() 的结果是一个数组,所以我们需要选择第一个元素
注释2,每次请求一次就让程序睡眠1~2秒,是为了不给对方服务器造成太大压力

再次执行 python t.py 就可以看到我们要的下载链接了:

ftp://d:d@dygodj8.com:12311/[电影天堂www.dy2018.com]父子雄兵HD国语中字.mkv
ftp://d:d@dygodj8.com:12311/[电影天堂www.dy2018.com]鲛珠传HD高清国语中英双字.mkv
ftp://d:d@dygodj8.com:12311/[电影天堂www.dy2018.com]变形金刚5最后的骑士HD韩版中英双字.mkv
ftp://y:y@dygod18.com:15132/[电影天堂www.dy2018.com]加勒比海盗5:死无对证HD高清中英双字.rmvb
......更多的就不贴出来了

当然上面那段代码直接拿去是执行不了的,

完整代码如下:

import requests
import os
import random
import time
import requests_cache

from bs4 import BeautifulSoup

requests_cache.install_cache('demo_cache')

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',
}

response = requests.get("http://www.dy2018.com/html/gndy/dyzz/index.html", headers=headers)
html_doc = response.content.decode('gbk')
# print(html_doc)

soup = BeautifulSoup(html_doc, 'lxml')
links = []
for a in soup.select('.ulink'):
    href = 'http://www.dy2018.com' + a['href']
    title = a.string
    links.append(href)
    # print(href, title)

for link in links:
    response = requests.get(link, headers=headers)
    html_doc = response.content.decode('gbk')
    soup = BeautifulSoup(html_doc, 'lxml')
    ftp_element = soup.select('#Zoom table a')[0]
    download_link = ftp_element['href']
    print(download_link)
    time.sleep(random.randint(1, 2))

 

说说梦想,谈谈感悟 ,聊聊技术,有啥要说的来github留言吧 https://github.com/cjx2328

—— 陈 建鑫

陈建鑫
你可能也喜欢Related Posts
footer logo
未经许可请勿自行使用、转载、修改、复制、发行、出售、发表或以其它方式利用本网站之内容。站长联系:cjx2328#126.com(修改#为@)
Copyright ©ziao Studio All Rights Reserved. E-mail:cjx2328#126.com(#号改成@) 沪ICP备14052271号-3