Jak probíhaly benchmarky v soutěži TOP HOSTINGY?

Do kategorie TOP HOSTINGY, webhosting přidal Barbora Rácová,

V posledním příspěvku jsme přinesli podrobnosti, jak se v soutěži TOP HOSTINGY 2009 hodnotilo v kategorii PHP + MySQL a slíbili jsme více informací o testování výkonnostních benchmarků, které se testovali v kategorii PHP a VPS. Jak tedy benchmarky – nejobávanější součást testů  probíhaly a jaké byly výsledky?

Jak benchmarky probíhaly?

Na každý hosting byly nahrané testovací skripty, které si při prvním spuštění vytvořily tabulky v databázi a sadu testovacích souborů. Při každém dalším spuštění se s těmito daty dále pracovalo. U VPS sloužila jako základ dodaná konfigurace, ve které se dělaly změny pouze v případě, že se nepodařilo rozběhnout testovací skripty. Testy běžely průběžně přibližně čtrnáct dní. U každého hostingu se jednalo přibližně o sto spuštění v náhodném čase. U všech testů byl nastaven timeout na deset sekund, pokud benchmark trval déle, jako výsledek se použilo sekund deset.

V samotném bodování porotci spočítali průměrnou hodnotu ze všech testů a tu vzali jako základ, tedy 10 bodů. Za každých o 10%  delší průměrný čas strhávali 1 bod, webhostingy s 0 body byly tedy minimálně jedenkrát pomalejší než průměr. Rekordní hodnotu zaznamenatl hosting, který byl šestkrát pomalejší než průměrná hodnota. Tento způsob hodnocení eliminoval „náhodu“ na straně webhostingu, kdy může být zákazník umístěn  jako první na zbrusu nový server (který se však časem stejně zaplní) nebo mezi další desítky klientů na starší hardware. Proto porotci strhávali body pouze za výsledky pod rozumnou hranicí, která byla stanovena jako průměrný čas v každém testu.

Porotci v soutěži udělali vše proto, aby bylo testování benchmarků důveryhodné.  Na všech serverech běžely stejné skripty a čas se měřil přímo na serveru, nezahrnoval tedy pomalé linky. Případné pokusy o podvrh byly kontrolovány pomocí srovnání do časové řady. Toto srovnání mimo jiné ukázalo, že výsledky se příliš neliší podle denní či noční doby.

Závěr

Benchmarky samozřejmě nemohou přesně měřit výkon serveru. Jedná se o syntetické testy zaměřené na určitou oblast a vytěžují server úplně jinak než běžné aplikace. Měří pouze dobu vykonání nějaké činnosti, neměří zátěž ani počet požadavků za sekundu, které je server schopný obsloužit. Přesto však mohou být důležitým vodítkem – špatné výsledky naznačují nevýkonný nebo přetížený hardware, u kterého se dají výkonové problémy předpokládat.

Oproti očekávání benchmarky ukázaly dramatické rozdíly ve výkonu. Pouze několik webhostingů vyvázlo s čistým štítem ve všech třech oblastech, u většiny nejméně jedna z oblastí zaostávala za průměrem, v některých případech se jednalo až o katastrofické výsledky, kdy například souborový benchmark u jednoho z webhostingů ukazoval o dva řády horší časy, než u toho nejlepšího.

Podle očekávání se časy VPS pohybovaly na stejné úrovni nebo i na horší než časy obyčejných hostingů. Je to dáno zvolenou metodikou – výhodou VPS z hlediska výkonu je pochopitelně především garance prostředků a zvládnutelné zátěže, nikoliv špičkový výkon. Přesto jsou benchmarky u VPS důležitým indikátorem výkonu. Ten se totiž na papíře uvádí v imaginárních jednotkách „ekvivalentních megahertzů na procesor XYZ“, což je bohužel něco, co se dá sice uvádět pravdivě, ale stejně tak dobře i vymyslet.