robots.js 0.9.4

Kan användas för att dra ut data från filen robots.txt och mata den till andra program eller statistikverktyg.Kommer extrahera mål-URL, orsaken till tillträde och statusdata Vad är nytt i den här versionen. Handtag http (s ) begära fel. Vad är...
Kategorier: Moduler, Fler moduler
Gratis nedladdning ROBOTS.JS FöR WEB (External Mirror (ZIP))
Gratis nedladdning ROBOTS.JS FöR WEB (External Mirror (TAR))

Rekommenderad programvaru För Web