Apache Nutch

Apache Nutch byggdes ovanpå Apache Lucene , en kraftfull Java sökmotor.
Nutch utvecklare ändrade Lucene kodbas, omvandla data-agnostiker Lucene kodbas till ett projekt dedikerad för att söka uppgifter på webben specifikt.
Denna teknik kan användas för att söka på dina egna webbsidor som en inbyggd Search Server, eller krypa webben söker uppgifter för att tolka och skrapa i din databas.
Nutch kan köras på en enda maskin, men fungerar bättre i Hadoop kluster.
Olika plugins finns tillgängliga för att expandera sin spektrum

Vad är nytt i den här versionen:.

• Kontrollera dubbletter taggar inte existerar i mikroformat-reltag tag set.
• En bättre falla tillbaka värdet för datumfält.
• Bli av den fruktade.
• Uppgradera till Hadoop 1.2.0.
• Uppgradera till Tika 1.3.

Vad är nytt i version 2.0:.

• Omdöpt HTMLParseFilter in ParseFilter
• Ta bort kvarrobotar / IP blockerar kod i lib-http.
• Port loggning att slf4j.
• Extern parser stöder kodningsattributet.
• Ivy konfigurationsinställningar inkluderar inte Gora.
• Injector bör lägga metadata innan du ringer injectedScore.
• Port Nutch riktmärke till Nutchbase.
• Lägg parse-html tillbaka.
• MoreIndexingFilter saknas datumformat.
• Timeout för Parser.
• Försök intervall i crawl datum är satt till 0.
• Generera log utgång för Solr indexeraren och dedup.
• Förbättrad NutchConfiguration.
• SolrDeleteDuplicates behöver klona SolrRecord objekt.
• Native Hadoop libs inte tillgängliga via maven.
• Separera bygga och runtime-miljöer.

Vad är nytt i version 1.5:

• Den här versionen innehåller flera förbättringar inklusive uppgraderingar av flera viktiga komponenter inklusive Tika 1.1 och Hadoop 1.0.0, förbättringar LinkRank och WebGraph element samt ett antal nya plugins som täcker svartlistning, filtrering och parsning för att nämna några.

Vad är nytt i version 1.4:.

• Lade Solr 4x (trunk) exempel schema
• Inkom '/ runtime "till svn ignorera.
• application / xhtml + xml bör vara aktiverat plugin.xml av parse-html; tillåta flera Mime-typer för plugin.xml.
• Fast parse-tika och tolka-html använda relativ URL upplösning per RFC-3986.
• Uppgraderad till Tika 0,10. OBS:. Tika nya RTF parser kan ignorera mer text i missbildade dokument än tidigare - se TIKA-748 för detaljer
• Lade Sonar mål till Ant build.xml.
• Uppgraderad SolrJ till version 3.4.0.
• Ant pmd mål är bruten.
• Uppgraderad Solr schema till version 1.4.

Vad är nytt i version 1.3:

• Den här versionen innehåller flera förbättringar (förbättrat RSS pars stöd, tätare integration med Apache Tika, externt parsstöd, förbättrad identifiering språk och en storleksordning mindre källfrigör tarbollen -. endast ca 2MB)

Vad är nytt i version 1.2:.

• Gör index mer plug-in konfigurerbar
• Konfigurerbar fil protokollordnade katalogen krypande.
• Timeout för Parser.
• Webbplatsen är fortfarande Lucene märkta.
• Försök intervall i crawl datum är satt till 0.

Vad är nytt i version 1.0:.

• Tillåt tolkar att återvända flera Parse objekt
• Bort redundant commons-loggning burk från ontologi plugin.
• Bug i SegmentReader orsakar oändlig loop.
• Scoring filtret ska distribuera poäng till alla outlinks på en gång.
• Minska antalet varningar i nutch kärna.