8A-影视相关, 爬虫初战心得1 of 3: 借鉴

本人原创实验心得，非专业，非权威。谨供参考。全部归纳/整理到：论坛淘帖专栏中，链接在此。
   业余时间，还得加班加点、挑灯夜战，潜心编程，特别辛苦。实在没空加好友/答疑。敬请谅解。



  这是我的自习日记。 给动手能力较强的DIYER，分享创作/实验心得...

  事关UHD BD 片源管理的、自编程序，写到四千多行了，毕竟是Python高级语言，只要想得到，就能做的到！



操作流程，改了又改，最终定为： 九步（自动的批量处理），优化了设计，带进度条（动画指示）！



Yuran的设计，开始支持（中英文）双语，更先进、效率也越来越高！   
这是录屏的、GIF动画演示，



检索10GB数量级的硬盘，批量更名、归档，一分钟左右。
近百个片源目录，两三万个文件，自动检索、更名、归类，都不在话下！



  目前来说，更应乘胜追击。快速切入爬虫的实验！

第一阶段，是借鉴、体验。

豆瓣上， 有个电影TOP 250 的列表。链接在此。

https://movie.douban.com/top250?start=0&filter=



250 个电影呢，每页25个，就有10页之多。



  爬虫的第一步：尝试！ 就学学：如何自动抓取、豆瓣网站上的、250个电影的排行榜吧。
借鉴他人的思路和创意，学习函数、爬虫的原理、完善实验环境。
再自己码字、学习、调试，真正实现了：自编程序的爬虫，自动抓取了、豆瓣网站上的页面信息！



起初的实验，调取豆瓣的页面，过于频繁。（被人家反爬虫机制，探测出了: 疑似机器人的操作）IP被封了


这也好，道高一尺，魔高一丈！  又学会一招， 如何化解。

让自编程序，增加脚本，运用（登录后的）cookie ，冒名顶替，以注册用户的方式，再次登录、抓取！



终于，骗过了网站，能够再次爬虫、抓取数据了。   
剩下要做的，优化设计即可（刚才的、排名的统计数字，有bug，需改善。）

至于 250 部电影的排行榜，爬虫后，存在文本文件中了，就在下面的、这个rar附件中，无密码。可以参考。

没错，这是自编程序，自动地、瞬间完成的（无需Yuran手动翻页、拷贝、粘贴...）

既然，爬虫这么厉害，Yuran灵机一动，计上心来：片源管理，也可以运用爬虫啊... (且听下回分解)

学无止境 加油

来自安卓APP客户端

你是我的学习榜样

来自安卓APP客户端

您可真是个能人啊

实战出真知，真实的需求才是学习最大的动力。

学习了，谢谢

真不错，这自食其力看成典范，！！

学无止境 高手辈出 厉害

生命不止。。。学习不止呀。。。

咱们这个论坛里高手如云啊！这么多卧虎藏龙的大侠！本贴已收藏。

生命不止。。。学习不止呀。。。

生命不止。。。学习不止呀。。。

dwman 发表于 2021-9-30 15:05
强大的动手能力。。。佩服

谢谢，(本人也就是)笨鸟先飞而已，以前，我也不会Python编程...

强大的动手能力。。。佩服