(1)爬取榜单电影名称以及评分,数据可视化。
(2)爬取《你好,李焕英》的评论,用词云显示
第一步了解反爬机制1.请求过多,ip地址会被封掉24h。2.User-Agent要频繁更换
第二步如何避免反爬1.使用代理ip:注册可免费领取代理ip
网站:
临时IP地址
ipaddrflushdevethxipaddraddx.x.x.x/maskdevethxiprouteadddefaultviax.x.x.x
创建配置文件修改IP地址
#配置网络:创建名为net-static的静态连接配置文件nmcliconaddtypeethernetcon-namenet-staticifnameensip.18.5.47/24gw.18.5.#将在/etc/sysconfig/network-scripts中创建配置文件“ifcfg-net-static”#配置DNSnmcliconmodnet-staticipv4.dns.18..#激活网络nmcliconupnet-staticifnameens#检测状态nmclidevicestatus#查看配置的连接详情,使用以下命令(使用-p,--pretty选项在输出结果中添加标题和分段)nmcli-pconshownet-static修改HOSTS文件
.0.0.1