kangle匹配一个User-Agent(UA)不包含任何其它额外文本内容的方法,禁止蜘蛛机器人爬虫访问

例如亚马逊云UA应当为
AmazonS3
但是有时候会收到如下字样,被蜘蛛机器人爬虫访问
AmazonS3/Googlebot
解决办法
请求控制header匹配模块,勾选非,目标设置为拒绝
attr为User-Agent
val正则内容为图片[1]-kangle匹配一个User-Agent(UA)不包含任何其它额外文本内容的方法,禁止蜘蛛机器人爬虫访问-晓白博客网

代表服务器仅允许接受添加过的ua访问,其它任何不在此白名单的任何ua均全部都响应403错误码

晓白博客网版权所有,原文地址https://www.xbnb.cn/2905
© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
评论 如有资源失效请在下面及时反馈,谢谢!! 抢沙发

请登录后发表评论

    请登录后查看评论内容