哥哥,有点不对劲啊! 作者: 皮皮社长 日期: 9小时前 OMG.webp从昨天到现在,侧栏的在线人数一直居高不下。平常不会这样的,这是什么鬼意思!爬虫也不可能一直爬啊。我这小破站应该不会有人惦记吧。纠结中… 文章声明:本文部分内容来源于网络,仅供大家学习交流参考,如有侵权请联系删除。 标签:搞不懂 网站 评论: 20 | 查看: 170
我刚换了新站,你这说的我也开始担心了
把Nginx日志清空,然后等60秒把日志下载到本地,看看发生了什么,懒得自己看就扔给AI,让AI分析一下是否存在异常访问。
哥,帮我看看,这里有鬼吗?
看起来IP和UA对得上,就是openaiAI的爬虫,如果不想让他爬可以在robots.txt里加上
User-agent: GPTBot
Disallow: /
24小时后就会生效。
冒昧看了下,和ChatGPT官方公布的抓取IP(74.7.227.0/25)对得上,看来只是普通抓取
一个openaiAI,一个字节,这俩爬虫爬起来都相当不顾源站死活的
不会影响网站就好,我还以为是没开CDN引起的。不懂技术就是脑瓜疼。
会不会是爬虫咧
好像是正常的虫子,
现在安心了,不怕咯。
做个自动跳转就好了,跳转你首页
我开了404,网址不对都会提示错误❎,然后转到留言本。
可能是喜欢你
喜欢钟小姐才对,你是美女。他们怎么会喜欢我一男的。嘿嘿(*^▽^*)。
准备切CF
不切了,搞了cdn有缓存,瞎捣鼓主题的时候要刷新,麻烦!
注意检查自己是不是被恶意镜像了:查单一高频抓取IP,以及可能有的特征是『不属于Google IP段却顶着Google Bot的UA』,这个较为常见
近期几个博客聚合站都有博主(包括我)碰到类似的情况,有攻击者实时反向代理站点内容,用工具实时转换为繁体字,插入他的广告代码,在他自己的域名上展示出来,用来拉高域名权重,以及通过广告盈利。被镜像多了,可能影响源站的SEO(被搜索引擎判断为重复/站群)
刚问了几个大佬,都说正常爬虫。不影响。
我就说,小站怎么会有人关注。等下robots设个规则不给虫子爬。
做好备份,准备换站,你被盯上了
切,差点被你吓到了。
谁会瞎眼盯我小破站。