新站须知：警惕检查robots文件和cloudflare的robots策略

关注我的朋友注意了，近些年来建站的朋友越来越少了。

但是我们这样的老登是不可能放弃建站的，但是现在由于百度收录慢的问题，大家也都放松了对robots文件和cloudflare的robots策略的设置。

就这样很长一定时间下来网站一点起色都没有。今天刚好在排查网站的时候发现。原来cloudflare的robots有这一项设置。

虽然cloudflare是为了阻止一些大模型的爬取，但是隐隐感觉会错杀一些大厂的蜘蛛。

所以我还是关闭了cloudflare的robots策略，使用BT的关键字屏蔽，查看：BT的关键字屏蔽详细内容

robots文件设置今天就不详细介绍了，大家都会

今天给大家说cloudflare的robots策略

主要步骤：登录cloudflare——安全性——设置——管理robots
我选的下面的，大家也可以尝试只阻止AI

PS:一个在线监测robots的工具网站
https://www.xantool.cn/check-robots/
http://web.chacuo.net/netrobotstxt