Bioinformatics Benchmark System är ett försök att bygga en rimlig ram tester, tester och data, för att göra det möjligt för slutanvändare och leverantörer för att undersöka prestanda i sina system.
Vad vi försöker göra är att skapa ett ramverk för att testa, och en grundläggande uppsättning av tester som alla kan ladda ner och använda för att undersöka specifika delar av system prestanda.
Dessutom, källan till dessa tester finns under GPL, och är värd på Bioinformatics.org och skalbar informatik LLC Tanken är att göra det möjligt för slutanvändare, konsumenter, systemutvecklare och andra att enkelt bygga och använda meningsfulla tester för mätning och tuning skäl .
Joe Landman från Scalable informatik LLC kom på idén och skrev de ursprungliga koderna. Vi söker ytterligare benchmark kod förslag, tester, dataset, etc.
Nuvarande grundläggande tester finns flera NCBI BLAST körs flera hmmer körningar, och en mängd andra. Vi planerar att inkludera ClustalW, X! Tandem, olika kemi, dynamik, och därmed tester, liksom flera andra.
Tester som LINPACK eller HPL helt enkelt inte ge meningsfulla resultatindikatorer eller prediktiva modeller för högpresterande informatik. Tyvärr, inte heller en rad nyare och fokuserade tester.
Detta är ett problem som LINPACK och HPL specifikt testa prestandan på olika matrisoperationer, där du har faktiskt vanliga minnesåtkomstmönster, och särskilda matematiska operationer.
Dessa koder är mest användbara för jämförelse med koder med tunga flyttalsoperationer, och interfolierat minne trafik. Dessa koder är inte konstruerade för omfattande system benchmarking, där disk I / O, minne latens, och andra faktorer bidrar till prestandaproblem.
De bästa tester är de som är mest liknar de koder du kommer att köras på maskinen. Testerna själva bör vara rimliga approximationer till en verklig exekvering av din kod, med hjälp av verkliga data. Du kan behöva jämföra det tillbaka för att få realistiska körtider.
Du bör ha en rimlig delmängd av datastorlekar. En enda test inte berätta hur ditt system skalor, och en av anledningarna till existensen av detta test är specifikt för att tillåta dig att testa prestanda när du ökar olika aspekter av arbetsbördan.
Du får sällan en stillastående systemet i ett kluster, så vi rekommenderar att du försöker köra i så realistiska en verksamhetsmiljö som möjligt. En baslinje i en stillastående systemet är bra, men det kan ställa dina förväntningar orimligt.
top
Kommentarer hittades inte