Praktické testovanie vybraných virtualizačných softvérov

Obsah práce

1.	Virtualizácia, jej história a princípy
2.	Porovnanie vybraných virtualizačných produktov
3.	Praktické testovanie vybraných virtualizačných softvérov

V poslednej časti práce sa budeme venovať praktickému porovnaniu vybraných produktov. Samotné testy budeme prevádzať vo virtuálnych strojoch s maximálne možnými zhodnými nastaveniami, parametrami a podmienkami v dvoch rozdielnych stavoch, bez nainštalovaných hosťovských doplnkov a s nainštalovanými doplnkami. Pre účely testovania bolo vytvorených celkovo 6 virtuálnych strojov s operačným systémom Windows XP Professional. Nasledujúca tabuľka (pozri Tab.3.1) uvádza základné parametre fyzického počítača.

Tabuľka 3.1 Parametre fyzického stroja

Procesor	AMD Sempron(tm) 3000+(1.6 GHz)
Pamäť RAM	1.5 GB
HDD	Segate Barracuda 500 GB, SATA II/32 MB
OS	MS Windows 7 Ultimate, 32bit
Grafický adaptér	NVIDIA GeForce FX 5200, 128 MB
Rozlíšenie	2800×1240×32

Pretože virtuálne stroje umožňujú používanie virtuálnych diskov aj s inými vlastnosťami ako fyzické disky, budeme sa zaujímať nie len o ich rýchlosť, ale aj možnosť ovplyvnenia rýchlosti disku výberom jeho vlastností. Z toho dôvodu v každom virtuálnom stroji boli vytvorené okrem systémového disku ďalšie dva virtuálne disky s rozdielnymi vlastnosťami, pevný a flexibilný.

Tabuľka 3.2 Parametre virtuálnych strojov

Jadrá prcerora	1
Pamäť RAM	512 MB
Video pamäť	8 MB
OS	MS Windows XP professional
Virtuálne HDD	flefibilný/pevný
Zobrazovací režim	800×600×32

Parametre virtuálnych strojov (pozri Tab.3.2), dopĺňame o nasledovné špecifiká. Produkt Virtual PC dovolil pri základnom zobrazovacom režime bez nainštalovaných doplnkov iba 16 bitové nastavenie farieb. Toto sme však nepovažovali za kľúčové z dôvodu prevádzania testov mimo grafickú oblasť. Video pamäť v produkte VirtualBox sme nastavili na hodnotu 8 MB (pre zjednotenie s Virtual PC), aj napriek varovaniu že virtuálny stroj potrebuje pre celoobrazovkový režim minimálne 14 MB. Aj preto bol zvolený režim zobrazenia 800x600 pre VM. Dôležitejšie bolo nezaťažovať zbytočne počítač pri iných (výpočtových) testoch a zamedziť skresleniu výsledkov testov. Produkt VMware Player neumožňuje nastavovanie video pamäte a pri nainštalovaní doplnkov využíva časť výkonu fyzického grafického adaptéra.

Testovanie pomocou syntetických testov

Pre zisťovanie výkonu jednotlivých komponentov VM bolo plánované použiť program SiSoftware Sandra vo verzii Lite 2010 pre všetky testy. Aj keď je tento produkt vysoko všestranným nástrojom určený na testovanie považovaný za jeden z najlepších, pri testovaní rýchlosti virtuálnych diskov pri zápise sme narazili na bariéru, ktorú sa nepodarilo odstrániť. Sandra požaduje pre vykonanie testu zápisom dát úplne prázdne zariadenie, čo znamená aj zrušenie viacerých partícií fyzického disku . Je zaujímavé že Sandra nainštalovaná vo virtuálnych strojoch pravdepodobne považuje virtuálne disky za fyzicky neoddelené (čo síce sú, ale nemala by to spoznať), pretože ani po úplnom naformátovaní jednotlivých diskov sa nepodarilo test zápisom spustiť . Z toho dôvodu sme pre testovanie diskov zvolili alternatívu, jednoúčelový a prehľadný nástroj na testovanie rýchlosti diskov CrystalDiskMark 3. Program poskytuje viacero spôsobov merania výkonu, použitý bol sekvenčný test čítania a zápisu 50 MB dát 9 krát opakovaný (maximálny počet, bolo by však vhodné aspoň 10). V tabuľke Tab.3.3 uvádzame výsledky testov kvôli prehľadnosti upravené na 4 číslice a zaokrúhlené. Za účelom vylúčenia chyby merania sa testy vykonávali viacnásobne a následne boli vybrané merania, ktorých hodnoty sa vyskytovali najčastejšie . Ako prvú sme testovali rýchlosť virtuálneho procesora pri aritmetických výpočtoch uvedenú v miliónoch operácií za sekundu (GOPS). Nasledoval test priepustnosti pamäte RAM. Oba sú graficky spolu spracované v Obr.3.1 Procesor a pamäť.

Tabuľka 3.3 Syntetické testy

VM/test	aritmetic procesor [GOPS]	memory bandwidth [GB/s]	virtuálne disky
			flexi		pevný
			čítanie [MB/s]	zápis [MB/s]	čítanie [MB/s]	zápis [MB/s]
Virtual PC	3.750	0.313	46.17	44.81	57.33	56.92
Virtual PC (doplnky)	4.270	3.520	53.47	49.35	67.45	63.09
Virtual Box	3.700	3.000	153.8	152.3	156.2	156.9
Virtual Box (doplnky)	3.730	3.130	152.8	153.2	154.9	156.0
VMware Player	4.000	3.190	98.71	80.78	101.9	77.66
VMware Player (doplnky)	4.110	3.220	72.44	64.45	82.10	77.03

3.1 Procesor a pamäť

Tu sa testom naplno a jednoznačne odhalilo, prečo sa Virtual PC bez doplnkov prejavuje s tak viditeľným oneskorením, je obmedzený rapídne nízkou hodnotou priepustnosti pamäte. Naproti tomu prekvapil Virtual PC s doplnkami, svojím výkonom procesora aj pamäte. Tesne za ním nasleduje VMware Player s doplnkami. Prvé testy zatiaľ naznačujú aj to, že sa oplatí inštalácia hosťovských doplnkov, hlavne u Virtual PC. U ostatných sa prejavil len mierny nárast výkonu. Nasledovný graf (pozri Obr.3.2) zobrazuje výsledky meraním rýchlosti virtuálnych diskov pri čítaní a zápise. Pri tomto teste získal jednoznačnú prevahu VirtualBox, k čomu nepotreboval ani nainštalované doplnky a prejavilo sa ďalšie obmedzenie Virtual PC. Ďalej sa potvrdil predpoklad že flexibilné disky sú síce praktickejšie z hľadiska využitia dátového priestoru, ale zato platia spomalením, až na jednu výnimku VMware Player bez doplnkov. Inštalácia doplnkov v tomto teste už nie je jednoznačným prínosom. Pre Virtual PC, ako v prvých dvoch testoch, znamenajú nárast rýchlosti, no napriek tomu dosiahol najslabšie výsledky. Virtualbox zaznamenal aj spomalenie, ale vzhľadom k celkovému výsledku je zanedbateľné. VMware Player sa prejavil, akoby mu doplnky sťažovali komunikáciu s diskami, ale aj tak bol stále rýchlejší ako Virtual PC.

Porovnanie reálneho výkonu pri syntetických testoch

Pre porovnanie výsledkov testov s výkonom reálneho PC, na ktorom sú nainštalované virtuálne stroje, boli vykonané kontrolné testy rovnakého charakteru. Výsledky priniesli pomerne prekvapivé zistenia (pozri Tab.3.4). Teoreticky by sa dalo očakávať, že virtuálne stroje by nemali dosiahnuť výkonu reálneho PC. Kontrolné testy však ukázali že niektoré VM pracujú dokonca rýchlejšie ako fyzický počítač.

Tabuľka 3.4 Parametre virtuálnych strojov

PC/test	aritmetic procesor [GOPS]	memory bandwidth [GB/s]	pevný disk
			čítanie [MB/s]	zápis [MB/s]
Reálne PC	4.840	3.420	65.26	61.28

Procesor vo virtuálnej podobe len preberá svoje fyzické vlastnosti, preto by mal dosahovať vo VM aspoň približne rovnaký výkon. Spomalenie je pravdepodobne spôsobené nedokonalou formou softvérovej komunikácie s HW. Zaujímavý výsledok sa prejavil pri testovaní pamäte, kde Virtual PC s doplnkami dosahuje lepšie výsledky ako fyzický počítač. Najprekvapivejšie sú výsledky testu rýchlosti pevného disku, ktoré sa dostali približne na úroveň najlepších výsledkov Virtual PC (pevný disk s doplnkami). Ostatné dva produkty pracujú s diskami pozoruhodne rýchlejšie, kde VirtualBox dosiahol až viac ako dvojnásobný výkon oproti reálnemu pevnému disku.

Testovanie pomocou vlastných aplikácií

Syntetické testovanie, aj keď je na vysokej úrovni, nie je vždy považované za úplne korektné a za určitých okolností môže poskytnúť skresľujúce výsledky. Preto sa pokúsime previesť podobné testovanie pomocou vlastných aplikácií vyvinutých v kompilátore Dev C++ Bloodshed Software . Pre potreby testovania rýchlosti procesora a pamäte boli vyvinuté dve aplikácie, vykonávajúce testovanie s pevnou rádovou čiarkou. BBLS je program ktorý triedi v pamäti pevne určený počet čísiel typu integer . Zdrojom čísiel pre (všetky) testy triedením je textový súbor jednorázovo naplnený náhodnými číslami pomocnou aplikáciou Naplň vstupné čísla. Týmto testom sa zapájajú do procesu triedenia oba testované komponenty. Pre zmeranie výlučne procesorovej rýchlosti bola vyvinutá druhá aplikácia Inkrementácia. Jednoduchý program cyklicky zvyšujúci vstupnú premennú o pevnú inkrementačnú čiastku (o 1, príkazom inkrementácie ++). Pre otestovanie rýchlosti virtuálnych diskov sme vyvinuli aplikáciu Čítanie a Zápis a jej pomocnú jednorazovú aplikáciu Naplň Čítanie. Rýchlosť sa meria pri načítaní reťazca po znakoch z textového súboru Čítanie o veľkosti 2 MB do bufferu a následného zápisu do súboru Zápis, opäť v niekoľkých cykloch . Všetky testovacie aplikácie prevedú opakovane desať testov a z uložených výsledkov vyrátajú potrebné štatistické veličiny uvedené v nasledujúcich tabuľkách. Výsledky sú znova upravené na 4 číslice a zaokrúhlené.

Tabuľka 3.5 Virtual PC 2007

			bez doplnkov				s doplnkami
veličina ->			priemer časov [s]	rozptyl		smerodajná odchýlka [s]	priemer časov [s]	rozptyl		smerodajná odchýlka [s]
druh testu				[s]	[%]			[s]	[%]
BBLS			100,5	0,134	0,133	0,366	97,36	0,281	0,289	0,530
inkrementácia			102,7	0,361	0,351	0,601	98,46	0,404	0,410	0,635
disky	flexi	čítanie	69,74	0,237	0,339	0,487	51,36	0,136	0,265	0,369
		zápis	211,5	4,827	2,282	2,197	53,11	0,228	0,429	0,477
	pevny	čítanie	68,28	0,269	0,394	0,519	51,25	0,088	0,172	0,297
		zápis	263,2	23,62	8,974	4,860	57,44	0,177	0,309	0,421

Tabuľka 3.6 VirtualBox 3

			bez doplnkov				s doplnkami
veličina ->			priemer časov [s]	rozptyl		smerodajná odchýlka [s]	priemer časov [s]	rozptyl		smerodajná odchýlka [s]
druh testu				[s]	[%]			[s]	[%]
BBLS			102,4	0,113	0,110	0,336	102,7	0,071	0,691	0,266
inkrementácia			104,1	0,507	0,487	0,712	104,9	0,237	0,226	0,487
disky	flexi	čítanie	57,92	0,054	0,094	0,233	58,39	0,218	0,372	0,467
		zápis	72,96	0,514	0,705	0,717	74,54	0,458	0,614	0,677
	pevny	čítanie	57,74	0,118	0,204	0,343	59,14	0,034	0,057	0,184
		zápis	72,99	1,134	1,554	1,065	74,16	0,334	0,450	0,578

Tabuľka 3.7 VMware Player 3

			bez doplnkov				s doplnkami
veličina ->			priemer časov [s]	rozptyl		smerodajná odchýlka [s]	priemer časov [s]	rozptyl		smerodajná odchýlka [s]
druh testu				[s]	[%]			[s]	[%]
BBLS			94,04	0,442	0,470	0,665	94,56	0,235	0,248	0,485
inkrementácia			95,30	0,229	0,240	0,478	97,39	0,896	0,920	0,947
disky	flexi	čítanie	46,95	0,097	0,206	0,311	46,47	0,247	0,531	0,497
		zápis	43,08	0,206	0,478	0,454	42,52	0,158	0,371	0,397
	pevny	čítanie	46,39	0,048	0,104	0,220	46,78	0,465	0,995	0,682
		zápis	44,46	1,067	2,400	1,033	42,16	0,256	0,606	0,506

Pre lepšiu orientáciu boli výsledky spracované aj graficky do troch grafov (po veličinách). Pri testovaní vlastnými aplikáciami budeme sledovať nižšie hodnoty, čo prezentuje vyšší výkon (opačne ako v časti 3.1). V prvom grafe (pozri Obr.3.3) porovnávame priemery meracích časov testov .

Z testov zameraných na procesor a pamäť sa potvrdilo že pre Virtual PC doplnky predstavujú akcelerátor, aj keď nepotvrdili markantné obmedzenie pamäťou bez doplnkov (zaznamenané v časti 3.1). VirtualBoxu doplnky spôsobili jemný pokles výkonu a prejavil sa najhoršími výsledkami, čo zodpovedá výsledkom z časti 3.1. Nepatrný pokles výkonu spôsobili doplnky aj VMware Playeru, ale aj napriek tomu dosiahol najlepšie výsledky. V porovnaní s BBLS sa pri inkrementácii všetky stroje prejavili malým zvýšením priemerných časov meraní. Čítanie a zápis dát vniesli do výsledkov zaujímavé nejednoznačnosti. Doplnky tento krát spôsobili problémy hlavne VirtualBoxu, aj keď časy sa líšia len málo a sú celkom vyrovnané. Tvrdenie že flexibilné disky sú pomalšie sa vlastne nepotvrdilo, pretože to vykázala iba presná polovica výsledkov. Jednoznačne najlepšie výsledky dosiahol VMware Player a doplnky mu ešte pomohli, čím ale spôsobili opačný efekt ako v syntetických testoch. Na ďalšie poradie majú zásadný vplyv doplnky. Pre Virtual PC sa opäť potvrdilo že bez doplnkov je to výkonovo najslabší stroj, hlavne pri zápise dát. Naopak s doplnkami sa výsledkami zaradil prekvapivo pred VirtualBox. Ďalšia veličina ktorá môže vyjadrovať spoľahlivosť alebo stabilitu strojov pri testovaní je rozptyl vyrátaný podľa vzorca a vyjadrený v percentách.

[math]s_{x}^{2}=\frac{1}{n}\sum\limits_{i=1}^{n}{{{\left( {{x}_{i}}-\bar{x} \right)}^{2}}\Rightarrow s_{x}^{2}=\overline{{{x}^{2}}}-{{{\bar{x}}}^{2}}}[/math]

Samotrný rozptyl sa síce uvádza ako štatistická veličina, ale v praxi je dosť ťažko predstavitelný, nakoľko je vyjadrený druhou mocninou. Slovne vyjadrený je stredná kvadratická odchýlka (priemer odchýlok na druhú). Preto sa prepočítava na percentá ktoré už umožňujú lepšiu orientáciu vo výsledkoch.

Z grafického spracovania (pozri Obr.3.4) rozptylu jasne vidíme že Virtual PC bez doplnkov pri zápise nebol len pomalý ale mal aj veľké rozdiely jednotlivých časov merania. Mierne vyššie rozdiely mali aj produkty konkurencie, oba bez doplnkov pri zápise na pevný disk. Všetky ostatné výsledky testov sa „rozptýlili“ do jedného percenta. Pre presné vyjadrenie odchýlok merania môžeme použiť inú štatistickú veličinu, smerodajná odchýlka .

[math]{{s}_{x}}=\sqrt{\frac{1}{n}\sum\limits_{i=1}^{n}{{{\left( {{x}_{i}}-\bar{x} \right)}^{2}}}}[/math]

Táto je druhou odmocninou rozptylu, čo reálnejšie vyjadruje že sa viac ako polovica nameraných hodnôt neodchyľuje od priemeru v oboch smeroch o viac ako je uvedená hodnota. Je vyjadrená v základných jednotkách meraní, čím tiež prispieva k lepšej prehľadnosti výsledkov.

V poslednom grafe (pozri Obr.3.5) by sa nejako dramaticky nemali výsledky zmeniť pretože vychádza z predchádzajúceho, je použitý pre prehľadné a presné vyjadrenie odchýlok (od priemerov meraní). Jedine Virtual PC (bez doplnkov pri zápise) markantne prekročil hranicu jednej sekundy, dve merania sú tesne pri hranici sekundy a dve tretiny meraní sa nedostali nad pol sekundy.

Porovnanie reálneho výkonu pri testoch vlastnými aplikáciami

Pre úplnosť boli vykonané na reálnom PC aj kontrolné testy pomocou vlastných aplikácií. Výsledky sa prejavili podobne ako u syntetických testov, kde vôbec nie je jednoznačné, že reálny počítač dokáže pracovať rýchlejšie (pozri Tab.3.8).

Tabuľka 3.8 Reálne PC

		Reálne PC
veličina ->		priemer časov [s]	rozptyl		smerodajná odchýlka [s]
druh testu			[s]	[%]
BBLS		87,75	0,081	0,097	0,285
inkrementácia		86,65	0,016	0,018	0,126
pevný disk	čítanie	57,00	0,342	0,600	0,585
	zápis	43,46	0,145	0,333	0,380

Testy zamerané na procesor a pamäť sa prejavili v porovnaní s VM podľa očakávaní vyšším výkonom. Výsledné časy testov klesli zaokrúhlene o 8 až 18 sekúnd. Rozptyl a smerodajná odchýlka poukazujú znížením hodnôt na stabilnejší priebeh testov. V testoch rýchlosti diskov už výsledky strácajú jednoznačnosť. Prejavila sa podobná vlastnosť ako u virtuálnych diskoch vo VMware Player, kde zápis dosiahol lepšie výsledky ako čítanie (opačne ako by sa očakávalo), čo sa týka časov aj stability testov. Pri čítaní sme dosiahli lepší výkon len od Virtual PC bez doplnkov, ktorý mal najslabšie výsledky. Vyrovnaný bol s výkonom diskov VirtualBoxu a VMware Player dosiahol o 10 sekúnd nižšie časy oproti reálnemu pevnému disku. Pri zápise sú ale výsledky úplne rozdielne. Vyrovnaný výkon dosiahol VMware Player a ostatné dva produkty boli v porovnaní s reálnym diskom výrazne pomalšie.

Celkové vyhodnotenie výsledkov testov

Aj preto že testy nepriniesli jednoznačné výsledky, prevedieme celkové vyhodnotenie pre každý produkt jednotlivo.

Virtual PC 2007

Výsledky tohto produktu jednoznačne potvrdili že je síce postavený na nevýkonnom strohom jadre, ale s využitím o to výkonnejšie prepracovaných užívateľských doplnkov. V reálnom využití je predpoklad že produkt bude vždy použitý s nainštalovanými doplnkami a tak je aj vyvinutý, pretože bez doplnkov má veľmi slabé výsledky. Naproti tomu po nainštalovaní doplnkov jeho výkon enormne vzrastie a obzvlášť v oblasti výkonu procesora a pamäte, kde sa pri syntetických testoch dosiahli dokonca lepšie výsledky ako v reálnom počítači. V oblasti syntetických diskových testov mal porovnateľné výsledky s reálnym počítačom, čo ale boli najslabšie výsledky spomedzi VM. Vo vlastných aplikáciách testujúcich disky s doplnkami bol lepší ako VirtualBox, ale výrazne slabší ako reálne PC. Jeho vyhodnotenie v teoretickej časti práce ako najslabší produkt (hlavne kvôli dlhej histórii) nebolo úplne na mieste, pretože už tri roky drží krok s konkurenciou. Potvrdzuje síce klasický problém virtualizácie (pomalé I/O operácie) ale jeho pamäť a procesor umožňujú využitie vo výpočtovo zameranej oblasti. Preto ho môžeme vyhodnotiť za stále spoľahlivý, priemerne výkonný nástroj použiteľný na nenáročnú prácu vo väčšine oblastí, aj keď pri dnešných softvéroch pôsobí archaicky .

VirtualBox 3

Univerzálne pôsobiaci produkt s ktorým sa narába subjektívne veľmi dobre a prakticky, no jeho časté aktualizácie nasvedčujú o tom že je neustále vo vývoji . V syntetických testoch diskov prekvapil bezkonkurenčným výkonom, až dvojnásobne lepšími výsledkami ako u reálneho počítača. Inštalácia doplnkov spôsobila skôr zhoršenie aj keď pre bežné potreby zanedbateľné, a vo všetkých ostatných testoch dosiahol najslabšie výsledky spomedzi VM . Z vyššie uvedeného vyplýva že v tomto produkte je pred výkonom uprednostnená univerzálna prenositeľnosť softvéru a vyššia variabilita nastavení.

VMware Player 3

Produkt s mierne odlišným prístupom k riešeniu vizualizácie od predchádzajúcich. V syntetických testoch ho síce predstihol Virtual PC s doplnkami, no v testoch vlastnými aplikáciami jednoznačne vedie výkonom všetkých svojich komponentov. Doplnky boli prínosom len v syntetických testoch pre procesor, disky spomalili a vo vlastných aplikáciách tiež spôsobili nepatrný pokles výkonu. Nie je tak výkonný a stabilný ako reálnym PC, ale dosiahol lepšie výsledky v syntetických testoch diskov. Taktiež pri čítaní dát vlastnými aplikáciami a pri zápise boli výsledky porovnateľné s fyzickým počítačom. Výsledky testov v zásade potvrdili predpoklad, že posledný produkt je najvýkonnejším nástrojom virtualizácie s pomedzi porovnávaných a ak sa k tomu pridá fakt, že má najvyspelejšie schopnosti aj v grafickej oblasti, jeho využitie je bezkonkurenčné. VMware Player je aplikáciou najnovších vedomostí v danej oblasti v najmladšej verzia produktu, pravdepodobne najsofistikovanejšej spoločnosti na poli virtualizácie.

Z porovnávaných produktov je možné si vybrať podľa toho, na čo je potrebné využitie virtualizácie. VMware Player predstavuje výkon s aktuálnymi novinkami v tejto oblasti. VirtualBox je poznačený nižším výkonom, ale poskytuje variabilitu riešenia aj pre užívateľov iných platforiem ako Windows. Virtual PC by pre praktickú jednoduchosť a spoľahlivosť v OS materskej firmy, mohol byť pojatý ako výučbový softvér pre širokú verejnosť, aj keď stále poskytuje prijateľný výkon. Toto testovanie môže síce poskytnúť určité informácie ohľadom výkonu VM, no v praxi je zásadným faktorom pre rozhodovanie skutočnosť, čo všetko sme schopní na tom ktorom virtuálnom stroji sprevádzkovať. Tu sa znova dostáva do popredia VMware Player hlavne kvôli grafickým možnostiam , čo umožňuje maximálne využitie naozaj pre všetky skupiny užívateľov.