CuegoBot

Cuego leest openbare websitepagina’s op verzoek van klanten om hun kennisbank te vullen. Zo kan hun team bezoekers helpen met informatie van de eigen website.

Je herkent de kennisbank-crawler aan CuegoBot/1.0 (+https://www.cuego.io/bot) in de User-Agent. Het uitgaande productie-IP is 46.225.181.76. Een User-Agent is na te maken: baseer een beveiligingsuitzondering op het IP-adres en de benodigde openbare paden.

Toegang toestaan

Bekijk eerst in de beveiligingslogs welke regel het verzoek blokkeert. Bij Cloudflare Pro of Business met Super Bot Fight Mode kun je een WAF Custom Rule maken voor ip.src eq 46.225.181.76, met de actie Skip voor Super Bot Fight Mode. Andere beveiligingsregels kunnen afzonderlijk toegang blijven weigeren.

Cloudflare Free met Bot Fight Mode ondersteunt deze Skip-regel niet. Een IP Access Rule met Allow kan helpen, maar Cloudflare vermeldt dat IP Access Rules Bot Fight Mode voor de hele site kunnen uitschakelen. Laat je beheerder dit effect beoordelen voordat je iets aanpast.

Lees de Cloudflare-documentatie over toegangsuitzonderingen.

Hoe we pagina’s lezen

We lezen pagina’s na elkaar en houden rekening met Crawl-delay uit robots.txt. Bij een geweigerde pagina proberen we eenmaal een gewone browser. We gebruiken geen CAPTCHA-oplossers of proxyrotatie. Blijft toegang geblokkeerd, dan kun je de informatie als tekst, document of export aanleveren.

De openbare websitescan kan een gewone browseridentiteit gebruiken. Voor vragen over verzoeken of hulp bij het toelaten van Cuego kun je mailen naar info@cuego.io.