Scrapy

Scrappy är skriven 100% i Python och kan användas för enkel data mining, till sidan övervakning, webb sökmotorer och även för kod testning.
Scrapy är inte en sökmotor i den sanna innebörden av ordet, men det fungerar som en (utan indexeringsdelen). Ändå scrapy kan vara ett utmärkt verktyg för att bygga din sökmotor logik.
Den verkliga kraften i denna ram har i sin kärna mångsidighet, scrapy är ett system för att bygga generiska eller särskilda sökord spindlar (sökrobotar) på.
Även om detta kanske låter mycket komplicerat att icke-tekniska användare, med en snabb titt över dokumentationen och tillgängliga handledningar, är det ganska enkelt att se hur scrapy har lyckats ta ut allt hårt arbete av detta och minska hela processen att bara några rader kod (för enklare, mindre sökrobotar)

Vad är nytt i den här versionen:.

• Unquote begäran om tågläge innan de passerar till FTPClient det redan utrymningsvägar.
• Inkludera test / källa distribution i MANIFEST.in.

Vad är nytt i version 1.0.1:

• Unquote vägbegäran innan de passerar till FTPClient, redan det utrymningsvägar.
• Inkludera test / källa distribution i MANIFEST.in.

Vad är nytt i version 0.24.6:

• Lägg UTF8 kodning huvudet mallar
• Telnet konsolen binder nu 127.0.0.1 som standard
• Uppdatera debian / ubuntu installera instruktioner
• Inaktivera smarta strängar i lxml XPath utvärderingar
• Återställ filsystem baserade cache som standard för HTTP-cache middleware
• Exponera nuvarande sökrobot i scrapy skal
• Förbättra testsuite jämföra CSV och XML exportörer
• Ny offsite / filtrerades och offsite / domäner statistik
• Support process_links som generator i CrawlSpider

Vad är nytt i version 0.24.5:

• Lägg UTF8 kodning huvudet mallar
• Telnet konsolen binder nu 127.0.0.1 som standard
• Uppdatera debian / ubuntu installera instruktioner
• Inaktivera smarta strängar i lxml XPath utvärderingar
• Återställ filsystem baserade cache som standard för HTTP-cache middleware
• Exponera nuvarande sökrobot i scrapy skal
• Förbättra testsuite jämföra CSV och XML exportörer
• Ny offsite / filtrerades och offsite / domäner statistik
• Support process_links som generator i CrawlSpider

Vad är nytt i version 0.22.0:

• Byt namn scrapy.spider.BaseSpider att scrapy.spider .Spider
• Främja start information om inställningar och middleware till INFO nivå
• Support deltonerna i get_func_args util
• Tillåt kör människan och tester via tox
• Uppdatera förlängningar ignoreras av länk centrifuger
• Väljare registrera EXSLT namn som standard
• Unify post lastare liknande väljare döpa
• Gör RFPDupeFilter klass lätt subclassable
• Förbättra testtäckning och kommande Python 3 support

Vad är nytt i version 0.20.1:

• include_package_data krävs för att bygga hjul från publicerade källor.

Vad är nytt i version 0.18.4.

• Fixat AlreadyCalledError ersätter en begäran skalkommando
• Fixat start_requests lazyness och tidiga hänger.

Vad är nytt i version 0.18.1.

• Removed extra import adderad av körsbär plockade ändringar
• Fast krypa tester enligt vriden pre 11.0.0.
• py26 kan inte formatera noll fält längd {}.
• Testa PotentiaDataLoss fel på obundna svar.
• Behandla svar utan innehåll längd eller Transfer-Encoding som bra svar.
• Har ingen inkluderar ResponseFailed om http11 handler inte är aktiverad.

Krav :

• Python 2.7 eller högre
• Twisted 2.5.0 eller senare
• libxml2 2.6.28 eller senare
• pyopenssl