Grub Next Generation är ett distribuerat web crawling systemet (klienter / servrar) som hjälper till att bygga och underhålla fri (som i frihet) index för webben. Detta är fristående, konfigurerbara uppladdning server skriven i C # (Mono)
Search är en del av den grundläggande infrastrukturen för Internet. Och är det för närvarande trasig.
Varför är det bryts? Det bryts av samma skäl som proprietär programvara alltid är bruten: ofrihet, brist på gemenskap, brist på ansvar, bristande öppenhet. Här kommer vi att börja ändra på det.
Grub inleddes redan 2000 med ett enkelt koncept att fördela en del av sökprocessen pipeline: krypa. På sätt och vis var vi lite före vår tid, men vår avsikt var då vad det är nu. Vi vill hjälpa fix sökning.
Nu, med hjälp av Wikia, samhällsmedlemmar, contributers och Open Source utvecklare vår tid har kommit igen. Kom och bli en del av något större. Kom och hjälp oss att ändra världen
Vad är nytt i den här versionen.
- fast bugg med inte radera temporära kataloger
- några kodoptimering
Vad är nytt i version 0.9:
- bättre hantering .pid fil
- fast bugg med krasch Uploader på anslutning underlåtenhet att Solr
- bättre ladda .arc filer
- fast bugg med stopp / omstart server
Vad är nytt i version 0.8.6:
- uppdaterade server API
- kontrollera om Uploader verk av .pid fil
- fast bugg med krasch server på fillistning
- läggas information om belopp och totala storleken på filer under notering kataloger
- extra möjlighet för inaktivera kataloglistning via HTTP
- lagt till stöd för komprimeringsmetoder: bzip2 och Zip
Vad är nytt i version 0.8.5:.
- Inställningsmöjligheter server via API fastställdes
- Servern nu kodar korrekt URL för HTTP GET begäran.
- En del kod optimeringar gjordes.
Vad är nytt i version 0.8.4:
- extra möjlighet att arbeta direkt på hårddisken istället för att använda minne
- lagt check för innehållstypen för webbadresser i .arc filer
- läggas möjlighet att ställa gräns anslutningshastighet för uppladdning / ladda ner
- fast bugg med krasch server på ogiltig PUT begäran
- några kodoptimering
Vad är nytt i version 0.8.3:
- fast bugg med krasch server fått ogiltig .arc fil
- extra möjlighet att konfigurera gränsen för max tillåten MB för en webbadress i .arc filer läggs möjlighet att konfigurera storleken på good.arc och bad.arc filer
- extra möjlighet att förbjuda anslutning av IP eller användarnamn
- lagt fjärrkontroll (konfigurera / stopp / omstart)
- lagt ClamAV C # wrapper
- några kodoptimering
Vad är nytt i version 0.8.1:
- fast bugg med krasch Uploader på ogiltig HTML metatagg
- fast bugg med krasch Uploader på ogiltiga data i filen
- fast bugg med krasch Uploader vid anslutning till Solr
- fast bugg med krasch server på ogiltig HTTP-statuskoden i .arc fil
- fast bugg med krasch server i förtid stängda anslutning
- läggas skriva till Solr enbart detta sidor som kan konverteras till UTF-8
- lagt bort alla styrtecken från Solr UpdateXML
Vad är nytt i version 0.6:
- kod sanering och refactoring
- flytta uppladdning och kontroll .arc filer till separat program
- fast bugg med räkna anslutna klienter
- fasta server svar på ogiltig POST-begäran
- fast bugg med krasch server på kopian inte befintlig fil
- fast bugg med krasch server på oavslutade filer att ladda ner
- fast bugg # 377: Anslutning får ställs istället för stängd efter disken är full fel
- sattes enkla anslutningar log
- läggas möjlighet att flytta .arc filer på hårddisken (inte bara till Hadoop)
Vad är nytt i version 0.5.
- Detta är den första betaversionen
- LZMA komprimering stöd tillsattes.
- Servern API förlängdes.
- Kontrollera riktigheten skickade .arc filer förbättrades.
- Kodoptimering gjordes.
Kommentarer hittades inte