PHPCrawl

Kan användas i skrift sökning sökrobotar (spindlar) att gruv webbsidor för olika uppgifter.
PHPCrawl förvärvar information den var konfigurerad att hämta och skickar den till mer kraftfulla applikationer för vidare bearbetning

Funktioner :.

• Filter för URL och Content-Type uppgifter
• Definiera sätt att hantera cookies
• Definiera sätt att hantera robots.txt-filer
• Begränsa sin verksamhet på olika sätt
• Flerbehandlingslägen

Vad är nytt i den här versionen:

• Fast buggar:
• Länkar som är delvis urlencoded och delvis inte få återuppbygga / kodas korrekt nu.
• Tog bort en onödig debug var_dump () från PHPCrawlerRobotsTxtParser.class.php
• Server-namn-indikering i TLS / SSL fungerar korrekt nu.
• & quot; base-href & quot;. -tags På webbplatser får tolkas korrekt nu igen

Vad är nytt i version 0.80 beta:

• Code var helt refactored, portas till PHP5-OO- kod och en hel del kod skrevs om.
• Lagt till möjligheten att använda använda flera processer för att katalogisera en webbplats. Metod & quot; goMultiProcessed () & quot; sattes.
• Ny overridable metod & quot; initChildProcess () & quot; sätts för att initiera barnprocesser när sökroboten i flerprocessläge.
• implementet ett alternativ, internt sqlite caching-mekanism för webbadresser som gör det möjligt att kata mycket stora webbplatser.
• Metod & quot; setUrlCacheType () & quot; sattes.
• Ny metod setWorkingDirectory () till för att definiera platsen för sökrobotar tillfällig arbetskatalog manuellt. Därför metoden & quot; setTmpFile () & quot; markeras som föråldrat (har ingen funktion längre).
• Ny metod & quot; addContentTypeReceiveRule () & quot; ersätter den gamla metoden & quot; addReceiveContentType () & quot;.
• Funktionen & quot; addReceiveContentType () & quot; fortfarande är närvarande, men markerats som föråldrat.

Krav :

• PHP 5 eller högre
• PHP med OpenSSL stöd