Spidr

Skriptet kan köras på en enda sida, webbplats, flera domäner eller non-stop.
Spidr är utformad för att vara snabb och lätt att använda

Egenskaper .

• Återställ katalogiseringen kö och historia från en tidigare session .
• Custom User-Agent strängar.
• Custom proxyinställningar.
• HTTPS-stöd.


• följer:
• En taggar.
• iframe-taggar.
• ram taggar.
• Cookie skyddade länkar.
• HTTP 300, 301, 302, 303 och 307 omdirigeringar.
• Meta-Uppdatera omdirigeringar.
• HTTP Basic Auth skyddade länkar.


• svart lista eller vitt-lista över webbadresser baserade på:
• URL-schemat.
• Värddatorns namn
• portnummer
• Full länk
• URL förlängning


• Ger uppringningar för:
• Varje besökte Sida.
• Varje besökta URL.
• Varje besökt webbadress som matchar ett visst mönster.
• Varje ursprung och destination URI en länk.
• Varje webbadress som inte skall besökas.


• Ger åtgärdsmetoder för att:
• Paus katalogiseringen.
• Hoppa över bearbetning av sidor.
• Hoppa över bearbetning av länkar.

Vad är nytt i den här versionen:

• Catch OpenSSL :: SSL :: SSLError undantag när initierade HTTPS Sessions.