Robot.txt generátor
Állítsa be az útvonalakat, hogy elutasítsa, és a sitemap URL azonnal generálni egy readyto- use robots.txt fájlt.
Pourquoi utiliser cet outil ?
Egy robots.txt fájl megmondja a keresőmotoroknak, hogy a webhely mely részeit kúszni vagy figyelmen kívül hagyni. Ez az eszköz egy szintaktikailag korrekt robotot hoz létre. txt live, from the paths you want to exclusion and your sitemap URL.