Methabot

Methabot programvara är en hastighet optimerad, skript och mycket konfigurerbar webb, ftp och lokala filsystemet sökrobot. Den stöder skript filtyp tolkning, ett brett utbud av anpassningsmöjligheter och enkelt konfigureras för att passa någons behov.
Med hjälp av modulsystemet och skriptspråk, användare har möjlighet att ta fullständig eller partiell kontroll över krypande processen och bestämmer dock Methabot bör lagra webbdata, statistik och mycket mer.
Bara genom att köra Methabot från kommandoraden Du kan konfigurera anpassade filtyper, filtrerings uttryck, beteende, och mycket mer, så att du inte behöver vara en scripter

Egenskaper :

• Det är snabbt, utformats från grunden och upp med fart-optimering i åtanke.
• Skriptbar genom Javascript med E4X
• Användardefinierad filetype filtrering (enligt MIME-typ, filtillägg eller Festival uttryck)
• Flertrådad
• Synnerligen konfigurerbart från kommandoraden
• Extensible modulsystem, stödja anpassade data tolkare och filter.
• Enkel men ändå kraftfull filtrering av webbadresser genom Festival.
• Automatiserad nedladdning
• Stöd för automatisk cookie-hantering när man kör över HTTP
• Pålitlig, feltolerant nätverk
• Portable, testats med framgång på 32-bitars / 64-bitars Linux 2.6, 32-bitars / 64-bitars FreeBSD 6.x / 7.0, Windows XP och Mac OS X. bör fungera på nästan alla Unix-liknande operativsystem.

Vad är nytt i den här versionen:

• Buggfix, när externa titt användes djupet gränsen var trasslat till.
• Minnesanvändning sanering fixar
• dynamisk-url alternativet inte längre inställd att slå som standard, eftersom det fördröjer krypa betydligt
• Bygga system skapar nu och installerar några huvudfiler som moduler kan använda vid länkning
• meta-config lagt
• lmm_mysql flyttas utanför det här paketet

Vad är nytt i version 1.5.0:

• Förändringar och nya funktioner:
• Stöd för att läsa intial buffert från stdin
• - typ och --base-url kommandoradsflaggor sattes tillsammans med alternativet initial_filetype i konfigurationsfiler
• Cookies och DNS info är nu korrekt delas mellan arbetare när man kör flertrådade
• lagt till några exempel användning kommandon till --examples
• Stora förbättringar av inter-tråd kommunikation, nu snabbare och mer organiserad
• Utökat stöd för "Init" funktioner till manus. Läs mer om init funktioner på http://bithack.se/projects/methabot/docs/e4x/init_functions.html
• libmetha inte frysa när man gör flera samtidiga HTTP HEAD förfrågningar längre. Anledningen till de fryser fanns ett fel i libcurl som nu är fast. Vissa lösningar har lagts till libmetha att förhindra de fryser från uppträder vid användning av defekt libcurl versioner också.
• Stöd för äldre libcurl versioner 7.17.x och 7.16.x
• Ny information finns i & quot; detta & quot; Syftet med javascript parsrar, Content-Type och överföringsstatuskoden. Läs mer på http://bithack.se/projects/methabot/docs/e4x/this.html
• - verbose alternativ ersättas med --silent, eftersom utförligt läge är nu standard
• Första stöd för FTP krypa och ftp_dir_url sökroboten alternativ
• djupbegränsningar är nu sökrobot specifik
• La till kommandoradsflaggor --crawler och --filetype
• Stöd för förlängning och tvingande redan definierade sökrobotar och filtyper
• Stöd för kopierings sökord i konfigurationsfiler
• Stöd för att dynamiskt växla aktiva sökrobot, låter detta du krypa olika webbplatser på helt olika sätt i en krypa session. Läs mer om band omkoppling vid http://bithack.se/projects/methabot/docs/crawler_switching.html
• libev version uppgradera till 3,51
• omfattar direktivet konfigurationsfiler gör nu säker på den medföljande konfigurationsfilen inte redan har laddats för att förhindra inkludera-slingor och flera filtyp / band definitioner.
• Olika Spidermonkey sophämtning fixar, libmetha inte kraschar längre när städa upp efter en flertrådade session
• lagt till några extra information till --info alternativ
• "externa" alternativet är nu fast och aktiveras igen
• Ny options --spread arbetare
• Ny libmetha API-funktionen lmetha_global_setopt () tillåter att förändra den globala fel / meddelande / varning reporter
• Inkom inledande genomförandet av en testsvit för utvecklare
• Bättre felrapportering när du laddar konfigurationsfiler
• Buggfix när en HTTP-server kom inte tillbaka en Content-Type-headern efter en begäran HEAD
• Buggfix när sorteringswebbadresser efter flera HTTP HEAD begäran
• Buggfix i html till xml-omvandlare när HTML-sidan inte har ett & lt; html & gt; taggen
• Buggfix gjorde extless-url alternativet inte fungerar
• Buggfix, HTML till XML Converter inte längre drosslar på byte-order märken eller annan text innan själva HTML
• Buggfix hindrade libmetha från att försöka få tillgång till webbadresser av protokoll som inte stöds
• Buggfix vid avstängning efter ett fel.
• Buggfix gjorde olösbara webbadresser inte bryta ut nytt försök slingan efter tre försök
• Mycket experimentellt och instabil stöd för Win32, främst avsedd för utvecklare
• Nya konfigurationsfiler:
• google.conf, att utföra Google-sökningar
• youtube.conf, youtube söka
• meta.conf, skriver metainformation såsom nyckelord och beskrivning om HTML-sidor
• title.conf, skriver titeln HTML-sidor
• ftp.conf, för krypande FTP-servrar

Vad är nytt i version 1.4.1:

• Anpassa kunde inte hitta jsapi.h på vissa system bör denna fästas nu.
• Konfigurationsfiler kan nu ändra band och filetype flaggor, tillade optionernas yttre "och" external_peek "
• Buggfix, Methabot skulle ibland kraschar vid sanering tomma webbadresser efter flera HTTP HEAD
• Fixat en krasch som inträffade när man kör synkront.
• Bygga systemet inkluderar fix när jsconfig.h inte kunde hittas.

Krav :

• Spidermonkey rubriker
• cURL