例如亚马逊云UA应当为
AmazonS3
但是有时候会收到如下字样,被蜘蛛机器人爬虫访问
AmazonS3/Googlebot
解决办法
请求控制header匹配模块,勾选非,目标设置为拒绝
attr为User-Agent
val正则内容为![图片[1]-kangle匹配一个User-Agent(UA)不包含任何其它额外文本内容的方法,禁止蜘蛛机器人爬虫访问-晓白博客网](https://www.xbnb.cn/wp-content/uploads/2023/05/40cc8616d7133323.webp)
代表服务器仅允许接受添加过的ua访问,其它任何不在此白名单的任何ua均全部都响应403错误码
晓白博客网版权所有,原文地址https://www.xbnb.cn/2905
© 版权声明
文章版权归作者所有,未经允许禁止转载。
有事联系邮箱xbnbcn@126.com
有事联系邮箱xbnbcn@126.com
THE END


![[逆向工具] pc网络验证通杀器/逆向辅助工具 V1.7 已更新-晓白博客网](https://www.xbnb.cn/wp-content/uploads/2023/08/d2b5ca33bd20241216235351.png)










请登录后查看评论内容