三白草

注册

 

发新话题 回复该主题

爬虫文章python爬取猫眼热映电影 [复制链接]

1#
——————目标——————

(1)爬取榜单电影名称以及评分,数据可视化。

(2)爬取《你好,李焕英》的评论,用词云显示

第一步了解反爬机制

1.请求过多,ip地址会被封掉24h。2.User-Agent要频繁更换

第二步如何避免反爬

1.使用代理ip:注册可免费领取代理ip

网站:

分享 转发
TOP
2#
IP地址修改

临时IP地址

ipaddrflushdevethxipaddraddx.x.x.x/maskdevethxiprouteadddefaultviax.x.x.x

创建配置文件修改IP地址

#配置网络:创建名为net-static的静态连接配置文件nmcliconaddtypeethernetcon-namenet-staticifnameensip.18.5.47/24gw.18.5.#将在/etc/sysconfig/network-scripts中创建配置文件“ifcfg-net-static”#配置DNSnmcliconmodnet-staticipv4.dns.18..#激活网络nmcliconupnet-staticifnameens#检测状态nmclidevicestatus#查看配置的连接详情,使用以下命令(使用-p,--pretty选项在输出结果中添加标题和分段)nmcli-pconshownet-static修改HOSTS文件

.0.0.1

TOP
发新话题 回复该主题