Måste ha Fler moduler För Eugene Kalinin

Kan användas för att dra ut data från filen robots.txt och mata den till andra program eller statistikverktyg.Kommer extrahera mål-URL, orsaken till tillträde och statusdata Vad är nytt i den här versionen. Handtag http (s ) begära fel. Vad är...