Robots.txt Editor

Descriere

Robots.txt este un editor vizual pentru Robot Exclusion Files și un software de analiză a jurnalelor. Acesta permite unui utilizator să creeze rapid și ușor fișierele robots.txt necesare pentru a instrui păianjenii motoarelor de căutare, care sunt părți ale unui site Web, nu trebuie să fie indexate și făcute căutate de către publicul web larg și apoi să identifice păianjenii, care nu respectați acele instrucțiuni. Programul oferă utilizatorului o modalitate de a se conecta la serverul său FTP sau de rețea locală și apoi selecta documentele și directoarele care nu pot fi căutate. Prin intermediul acestui program veți putea genera vizual fișiere robots.txt standard din industrie; identificați păianjenii rău intenționați și nedoriți și interziceți-i de pe site-ul dvs.; direcționează crawlerele motoarelor de căutare către paginile corespunzătoare pentru site-urile multilingve; ține păianjenii departe de zonele sensibile și private ale site-ului tău web; urmăriți vizitele de păianjen și multe altele. Actualizări și upgrade-uri gratuite ale programului, fără restricții în timp; număr nelimitat de site-uri Web cu care să lucrați.