Apache Kafka

Apache Kafka liknar Facebooks Scribe motor (om du är bekant med det) och kan användas för att hantera aktivitetsströmmar.

Det fungerar genom att tillåta utvecklare att upprätthålla ett eller flera aktivitetsströmmar (eller flöden).

Dessa flöden kan organiseras i ämnen, och sedan sända (publicerad) till alla tecknade konsumenter.

De delar av Kafka som förvaltar och offentliggöra de flöden kallas producenter.

Kafka är i grunden mellanskiktet mellan producenter och konsumenter, ett komplext system som kan hantera alla typer av trafik och förfrågningar på alla typer av glödskal.

Det beror på att Kafka byggdes för att hantera distribuerade serverarkitekturer, vilket gör att utvecklare att skala sina Pub / delsystem för molntjänster.

Vad är nytt i den här versionen.

• En ny Java producent för att underlätta genomförandet och förbättrad prestanda
• Ta bort ämne stöd.
• Per konfigurations ämnet preferens för enhetlighet över tillgänglighet.
• Scala 2.11 stöd och att stödet för Scala 2.8.
• LZ4 komprimering.

Vad är nytt i version 0.8.2.1:

• A nya Java producent för att underlätta genomförandet och förbättrad prestanda.
• Ta bort ämne stöd.
• Per konfigurations ämnet preferens för enhetlighet över tillgänglighet.
• Scala 2.11 stöd och att stödet för Scala 2.8.
• LZ4 komprimering.

Vad är nytt i version 0.8.0-beta1:.

• Fasta befintliga perf verktyg
• Wire befintliga producent och konsument att använda den nya ZK datastrukturen.
• Skapa / ta bort ZK väg för ett ämne i en admin verktyg.
• Genomfört en inbäddad styrenhet.

Vad är nytt i version 0.7.1:

• Undvik dupliceras meddelande under konsument ombalansering
• Support konfigurerbar skicka / ta emot socket buffertstorlek i server
• javaapi ZookeeperConsumerConnectorTest duplicerar många tester i scala version
• Gör # konsument ombalansering återförsök konfigurerbar
• SyncProducer bör logga värd och port om kan inte ansluta.
• Minska dubbla meddelanden som betjänas av kafka konsumenten okomprimerade ämnen
• Undvik loggning stacktrace direkt
• Gör backoff tid under konsument ombalansering konfigurerbar
• Förbättra log4j appender att använda kafka.producer.Producer och stöd zk.connect | broker.list alternativ
• Separera ut Kafka spegling i en fristående applikation
• Hadoop producent bör använda programvara lastbalanserare

Vad är nytt i version 0.7.0:

• Kafka stöder nu blocknivå komprimering. Se komprimering wiki för mer information. För närvarande har endast gzip är sup portade.
• Logga bibehållande kan nu bero på utrymme (log.retention.size).

Vad är nytt i version 0.6:

• Fast buggar:
• SimpleProducer förlora meddelanden när uttag får en io undantag
• Om producenten sänder en ogiltig MessageSet mäklaren kommer att lägga det, korrumperar log
• ByteBufferMessageSet loggar fel om hämta storlek
• avstängning Kafka när det finns disk IO fel
• Sprid server alla undantag från konsumenterna
• close () i SimpleConsumer bör synkroniseras
• konsumentlagen dokumentation
• Förbättra Eventhandler i AsyncProducer
• Djurskötaren baserade Producer tar inte bort en död mäklare från sin lista samtidigt som betjänar en begäran producerar
• Konsument loggar ERROR under nära
• Förbättringar:
• Sanerings JUnit testet
• MessageSet implementerar inte Java iterable
• Standard Encoder för Kafka log4 appender
• explicit namnge alla ämnen
• Refactor offentliga API i Java och Scala API
• Förbättra API-dokumentation för alla offentliga API
• Ta bort java FileMessageSet API
• Unit test misslyckas på vissa Linux-maskiner
• Skapa SBT delprojekt för perf, exempel contrib som för närvarande använder Ant
• Lägg JMX för att ändra log4j nivån dynamiskt vid Kafka server
• Uppgradera till djurskötare 3.3.3
• javaapi MessageSet behöver inte genomföra writeTo uttag
• Nya funktioner:
• Ny producent API