微博 微信 手机APP

Hao4K影音

[其他交流] 8A-影视相关, 爬虫初战心得1 of 3: 借鉴

2021-10-7 02:11:58 5010 10 |只看大图 回帖奖励 |倒序浏览 |阅读模式

Yuran 帖主

2021-9-30 14:37:18

本人原创实验心得,非专业,非权威。谨供参考。全部归纳/整理到:论坛淘帖专栏中,链接在此
   业余时间,还得加班加点、挑灯夜战,潜心编程,特别辛苦。实在没空加好友/答疑。敬请谅解

line8.png

  这是我的自习日记。 给动手能力较强的DIYER,分享创作/实验心得...

  事关UHD BD 片源管理的、自编程序,写到四千多行了,毕竟是Python高级语言,只要想得到,就能做的到!

111.jpg

操作流程,改了又改,最终定为: 九步(自动的批量处理),优化了设计,带进度条(动画指示)!

555.jpg

Yuran的设计,开始支持(中英文)双语,更先进、效率也越来越高!   
这是录屏的、GIF动画演示,

Desktop-2021-9-26-3-40-26.gif

检索10GB数量级的硬盘,批量更名、归档,一分钟左右。
近百个片源目录,两三万个文件,自动检索、更名、归类,都不在话下!

line6.png

  目前来说,更应乘胜追击。快速切入爬虫的实验!

第一阶段,是借鉴、体验。

豆瓣上, 有个电影TOP 250 的列表。链接在此。

https://movie.douban.com/top250?start=0&filter=

789654123.jpg

250 个电影呢,每页25个,就有10页之多。

456123846.jpg

  爬虫的第一步:尝试! 就学学:如何自动抓取、豆瓣网站上的、250个电影的排行榜吧。
借鉴他人的思路和创意,学习函数、爬虫的原理、完善实验环境。
再自己码字、学习、调试,真正实现了:自编程序的爬虫,自动抓取了、豆瓣网站上的页面信息!

123.jpg

起初的实验,调取豆瓣的页面,过于频繁。(被人家反爬虫机制,探测出了: 疑似机器人的操作)IP被封了

捕vvv获.jpg
这也好,道高一尺,魔高一丈!  又学会一招, 如何化解。

让自编程序,增加脚本,运用(登录后的)cookie ,冒名顶替,以注册用户的方式,再次登录、抓取!

eee2.jpg

终于,骗过了网站,能够再次爬虫、抓取数据了。   
剩下要做的,优化设计即可(刚才的、排名的统计数字,有bug,需改善。)

至于 250 部电影的排行榜,爬虫后,存在文本文件中了,就在下面的、这个rar附件中,无密码。可以参考。

没错,这是自编程序自动地、瞬间完成的(无需Yuran手动翻页、拷贝、粘贴...)

既然,爬虫这么厉害,Yuran灵机一动,计上心来:片源管理,也可以运用爬虫啊... (且听下回分解)

top-250.rar

3.21 KB, 阅读权限: 10

免费评分

参与人数 1活跃 +10 H币 +25 收起 理由
hao4k + 10 + 25 赞一个!

查看全部评分

本帖被以下淘专辑推荐:

回复

使用道具 举报

全部回复11

dwman 发表于 2021-9-30 15:05:33

dwman 2

2021-9-30 15:05:33

强大的动手能力。。。佩服
回复 支持 反对

使用道具 举报

Yuran 发表于 2021-9-30 15:27:16

Yuran 3

2021-9-30 15:27:16

dwman 发表于 2021-9-30 15:05
强大的动手能力。。。佩服

谢谢,(本人也就是)笨鸟先飞而已,以前,我也不会Python编程...
回复 支持 反对

使用道具 举报

dwman 发表于 2021-9-30 15:45:15

dwman 4

2021-9-30 15:45:15

生命不止。。。学习不止呀。。。
回复 支持 反对

使用道具 举报

wangyinhong123 发表于 2021-9-30 16:47:03

wangyinhong123 5

2021-9-30 16:47:03


生命不止。。。学习不止呀。。。

免费评分

参与人数 1H币 -10 K币 -1 收起 理由
hao4k -10 -1 违反论坛规则:无阅读意义内容(第五章第5条)

查看全部评分

回复 支持 反对

使用道具 举报

hnmcsky 发表于 2021-9-30 19:23:38

hnmcsky 6

2021-9-30 19:23:38

咱们这个论坛里高手如云啊!这么多卧虎藏龙的大侠!本贴已收藏。
回复 支持 反对

使用道具 举报

mwc12321 发表于 2021-9-30 21:03:31

mwc12321 7

2021-9-30 21:03:31

生命不止。。。学习不止呀。。。
回复 支持 反对

使用道具 举报

阿尔卑斯的雪 发表于 2021-9-30 21:05:10

阿尔卑斯的雪 8

2021-9-30 21:05:10

学无止境 高手辈出 厉害
回复 支持 反对

使用道具 举报

蔡恩祈 发表于 2021-10-1 00:30:40 Hao4K手机版

蔡恩祈 9

2021-10-1 00:30:40

真不错,这自食其力看成典范,!!
回复 支持 反对

使用道具 举报

mwc12321 发表于 2021-10-1 07:34:45

mwc12321 10

2021-10-1 07:34:45

学习了,谢谢
回复 支持 反对

使用道具 举报

sky86walkerH4K 发表于 2021-10-7 02:11:58

sky86walkerH4K 11

2021-10-7 02:11:58

实战出真知,真实的需求才是学习最大的动力。
回复 支持 反对

使用道具 举报

   发表回复

您需要登录后才可以回帖 登录 | 立即注册

返回列表 本版积分规则

:
白银玩家
:
未填写

主题

帖子

积分2242

  • 发布新帖

  • 客服/帮助

  • 手机APP

  • 返回顶部