Memória és perifériák virtualizációja

1. Virtualizációs technológiák és alkalmazásaik Memória és perifériák virtualizációja Micskei Zoltán, Tóth Dániel

2. Mi történt az elmúlt egy hétben? Forrás: http://blog.xen.org

3. Tartalom • Előző rész tartalmából: • CPU virtualizáció • A három alap virtualizációs megközelítés • Memória virtualizáció • Virtuális memória az operációs rendszerekben • Virtuális memória a platform virtualizációban • Virtuális memóriakezelés speciális képességei: megosztás, késleltetett allokáció, memória-ballon • Perifériák virtualizációja • Perifériák programozói felülete általában • Periféria virtualizációs architektúrák

4. Emlékeztető: A három virtualizációs lehetőség • Virtualizáció – az utasításokat (egy részüket) változatlanul hagyja végrehajtani, csak a problémás privilegizáltakkal kell valamit kezdeni • Szoftveres virtualizáció (Trap & emulate + bináris fordítás) • Paravirtualizáció(módosítjuk a vendég OS forrását) • Hardveres virtualizáció (Trap & emulate, teljesen hardveres támogatással)

5. Tartalom • Előző rész tartalmából: • CPU virtualizáció • A három alap virtualizációs megközelítés • Memória virtualizáció • Virtuális memória az operációs rendszerekben • Virtuális memória a platform virtualizációban • Virtuális memóriakezelés speciális képességei: megosztás, késleltetett allokáció, memória-ballon • Perifériák virtualizációja • Perifériák programozói felülete általában • Periféria virtualizációs architektúrák

6. Virtuális memóriakezelés • Modern CPU-k tartalmaznak memóriakezelő egységet (MMU – memory management unit) • Feladata „virtuális” memóriacímeket leképezni „fizikaira” • Mi is az a virtuális memóriacím? Hol használható? • CPU felhasználói (pl. ring 1-3) módjaiban virtuális címekkel dolgozik (nem feltétlenül, de a modern OS-eknél ez igaz) • A folyamatok nem a fizikai memóriacímeket látják • Cél: áthelyezhető legyen az oprendszer felett futó alkalmazások kódja, ne csak fix bedrótozott helyen tudjon futni (akár szoftveresen is megoldható lenne…) • Cél2: eközben a teljesítmény ne romoljon számottevően (ehhez már hardver támogatás is kell)

7. Virtuális memóriakezelés Fizikai memória Cím: 0 Cím: N-1 Cím: 0 Cím: M-1 A folyamat egy 0-tól induló összefüggő virtuális címtartományt lát. Tehát minden pointer avirtuális címtartományban értelmezett. Folyamat memóriája

8. Virtuális memóriakezelés Fizikai memória Cím: 0 Cím: N-1 Cím: 0 Cím: M-1 Cím: 0 Cím: K-1 Folyamat 1 memóriája Folyamat 2 memóriája Ez minden folyamatra igaz

9. Virtuális memória megvalósítása lapokkal Lap könyvtár (pagedirectory) – első 10 bit Lap tábla (pagetable) – második 10 bit Pozíció a lapon belül – 12 bit Fizikai memória címtartomány • Memória lapok (pages) • Virtuális → fizikai memória cím hozzárendelés • Tipikusan (x86) 4 kB méretű allokációs egységekben • A cím utolsó 12 bitje a lapon belüli cím • A cím első 20 bitje kétszintű (10-10 bit) laptábla cím • Létezik óriás lap üzemmód is, ilyenkor csak egyszintű laptábla van, ezen belül 22 bit (4MB) pozíciócím

10. Virtuális memória megvalósítása lapokkal További jellegzetességek: A laptáblák is a fizikai memóriában foglalnak helyet Csak az operációs rendszer kernel módosíthatja őket Minden folyamathoz másik táblakészlet tartozik, a kernel kontextus váltáskor cseréli ki mindig a megfelelőre Az MMU a CPU laptábla regisztere alapján tudja, hogy hol kell keresni legfelső szintű lap könyvtárat Automatikusan feloldja a virtuális címeket fizikaira, a virtuális címeket használó kód módosítás nélkül fut A virtuális címtartományból kicímzés vagy read-only bittel jelölt lapra írás hibát (fault) vált ki a CPU-ban

11. Tartalom • Előző rész tartalmából: • CPU virtualizáció • A három alap virtualizációs megközelítés • Memória virtualizáció • Virtuális memória az operációs rendszerekben • Virtuális memória a platform virtualizációban • Virtuális memóriakezelés speciális képességei: megosztás, késleltetett allokáció, memória-ballon • Perifériák virtualizációja • Perifériák programozói felülete általában • Periféria virtualizációs architektúrák

12. Memória virtualizálása VM1 VM2 Vendég: virtuális memória Vendég: „fizikai” memória Gazda: fizikai memória • A Ring 0-tól eltérő szinteken futó folyamatok virtuális memóriát látnak • A virtuális -> fizikai cím feloldása hardverben történik laptáblák alapján. Gyors, TLB cache-eli fizikai-virtuális cím hozzárendelést. • Használhatjuk-e ezt a vendég gépek memóriájához? • Több szint kell: a VM-ben is kell saját laptábla a saját alkalmazásokhoz • De a CPU ilyet nem támogat

13. Memória virtualizálása A virtuális gépbenfutó folyamat virtuális memóriája Folyamat Árnyék laptábla Vendéglaptábla A virtuális gép „fizikai” memóriája VM allokációs laptábla Fizikai memória a hardverben

14. Memória virtualizálása • Mi van, ha vendég kernel módosítani akarja a laptábláját? • Megfelelően frissíteni kell az árnyék táblát is • 1. Természetesen Trap and emulate, de hogyan? • Read-only-ra állítjuk a vendég kernel számára látható laptáblákat, ha azt módosítani akarja, akkor jön a kivétel, átkerül a vezérlés a VMM-hez ami biztonságosan elvégzi a módosítást az árnyék táblán is • 2.„természetesen?! trap and emulate?” • A vendég kernel egyszerűen ne maga akarja módosítani a laptáblát, kérje meg a VMM-et erre  • 3. Hardveres kiegészítés több szintű laptáblák kezelésére • Core i7 és Phenom processzoroktól kezdve van (EPT / RVI) • Az egész árnyék tábla frissítési problémát hardveresen lekezeli

15. Memória virtualizálása • Tanulságok: • A memóriakezelésben is a háromféle fő megvalósítás megtalálható. • A memóriakezeléshez extra laptáblák kellenek, tehát a VM több fizikai memóriát igényel, mint amennyi számára látható lesz • A memória foglalása és felszabadítása extra feladatot jelenthet a VMM számára is (kivéve hardveresen virtualizáltMMU-nál)

16. Tartalom • Előző rész tartalmából: • CPU virtualizáció • A három alap virtualizációs megközelítés • Memória virtualizáció • Virtuális memória az operációs rendszerekben • Virtuális memória a platform virtualizációban • Virtuális memóriakezelés speciális képességei: megosztás, késleltetett allokáció, memória-ballon • Perifériák virtualizációja • Perifériák programozói felülete általában • Periféria virtualizációs architektúrák

17. Extra memória virtualizálási lehetőségek • Memórialap deduplikáció • azonos tartalmú memórialapok megosztása több vendég VM között • hasonlóképpen azonos lapok megosztása egy vendégen belül is • gyakorlati haszna főleg speciális alkalmazásokban (VirtualDesktopInfrastructure), tipikusan több példány fut azonos OS-ből • Megvalósítása • gyors hash számítás, ez alapján egyezés keresés • közösített lapok megbontása beleíráskor, copy-on-write elv • Hasonló: memória tömörítés • Egészen új lehetőség VMM-ekben (az ötlet persze régi) • CPU költsége nagyon nagy lenne, ezért: • az inaktív, amúgy háttértárra kilapozásra ítélt lapokat szokás tömöríteni -> a ki/be tömörítés még így is gyorsabb a merevlemeznél • Nem csodaszer… kompromisszumot kell kötni a tömörítetlen és tömörített lapoknak fenntartott memória mérete között, csak korlátozott méretben előnyös

18. Extra memória virtualizálási lehetőségek • Dinamikus allokáció: • Ami memóriát nem használ a vendég, azt ne is kapja meg • Gyakorlati haszna önmagában elenyésző, a legtöbb OS az összes szabad memóriát disk cache-nek használja • Háttértárra swappelhetők a lapok a vendég OS tudta nélkül • Memória felfújás (memoryballooning) • Ha kifogy a host memóriája, akkor „elvesz” a vendégtől • Egy ágens vagy driver a vendég kernelben (paravirtualizációs szemléletmód) elkezd memóriát foglalni a VMM utasítására. A VMM az ágens által „foglalt” memórialapok mögé nem is allokál fizikai memóriát, így nyer vissza helyet • Egyrészt a vendég fel fog adni a disk cache-ből, • Másrészt el fog kezdeni kilapozni a saját swap területre, elkerüli, hogy a host is swappeljen

19. Extra memória virtualizálási lehetőségek • Tanulságok: • Sokféle extra lehetőség, nem triviális megállapítani az aktuális használatot • Figyelni kell a memóriafoglalást, nagyot esik a teljesítmény, ha lemezre kell lapozni • Ha van rá lehetőség, ki kell használni a vendégbe telepíthető ballooning drivert, elkerülhető vele a vergődés

20. Kitekintés: VMwareESXi memóriakezelés

21. Kitekintés: VMwareESXi memóriakezelés Jelmagyarázat: granted (lila) active (kék) overhead (sárga) zero (piros) consumed (zöld) shared (szürkés-kék)

22. Tartalom • Előző rész tartalmából: • CPU virtualizáció • A három alap virtualizációs megközelítés • Memória virtualizáció • Virtuális memória az operációs rendszerekben • Virtuális memória a platform virtualizációban • Virtuális memóriakezelés speciális képességei: megosztás, késleltetett allokáció, memória-ballon • Perifériák virtualizációja • Perifériák programozói felülete általában • Periféria virtualizációs architektúrák

23. Perifériákról általában • A perifériák kezelése jellegzetesen • CPU felprogramozza a perifériát, regiszterek átírása • Periféria eseményt jelez a CPU felé, megszakítás • Ilyenkor valamilyen módon le kell kezelni az eseményt, valamit reagálni kell rá (driver felelőssége) • Periféria maga elvégzi a feladatát, közvetlenmemória hozzáférés • Kiolvas elküldendő adatot, vagy berak beérkező adatot a memóriába • Külön lefoglalt fizikai memóriaterület kell erre a célra

24. Perifériákról általában Az üzenet egy saját (gyakran szabványos) protokollon keresztül jut el a perifériához HDD ==== Ezt szeretném programozni Cél periféria Az adaptert kell megkérni, hogy adja át a perifériának az üzenetet Adapter Az adapter modell

25. Perifériákról általában Perifériának szánt konkrét utasítás, adat Periféria protokollja Rétegzett programozási modell (pl. USB, SCSI, SATA): HDD ==== Adapter programozás Cél periféria Adapter Az adapter modell

26. Tartalom • Előző rész tartalmából: • CPU virtualizáció • A három alap virtualizációs megközelítés • Memória virtualizáció • Virtuális memória az operációs rendszerekben • Virtuális memória a platform virtualizációban • Virtuális memóriakezelés speciális képességei: megosztás, késleltetett allokáció, memória-ballon • Perifériák virtualizációja • Perifériák programozói felülete általában • Periféria virtualizációs architektúrák

27. Teljes periféria emuláció Virtuális gép Meghajtó Meghajtó Meghajtó Virtualizációs réteg Backend Backend Backend Ütemező StatikusHozzárendelés Távoli hozzáférés szerver Meghajtó Meghajtó Meghajtó HDD ==== Hardver

28. Lehetőségek perifériák virtualizációjára I. Emuláció • Trap and emulate -> az I/O műveleteket kell elfogni • Adódik: ring 1-3-ban az I/O műveleteket elfogja a CPU • Memóriatartományba illesztett periféria:read-only memórialappal fogható el • Valamilyen létező hardver működését emuláljuk • Szoftveres komponens segítségével: backend • Hardver pontos emulálása (regiszterek, megszakítás, DMA) • Vendégben használható a klasszikus meghajtó program • Minden I/O művelet egy kör a VMM-ben -> lassú

29. Lehetőségek perifériák virtualizációjáraII. Paravirtualizáció • Egyszerűsítsük az emulált hardvert, tervezzünk „nem létező fajta” hardvert, amit a legkevesebb művelettel lehet vezérelni • Egy összetett művelet akár csak egy VMM hívás • Saját „hardverek”, amik magas szintű műveleteket végeznek • Pl. hoszt fájlrendszerhez hozzáférés • Itt kezd keveredni a virtualizáció és az OS… • Speciális meghajtót kell telepíteni a VM-ben!

30. Paravirtualizált I/O eszközök (VMwareTools, Hyper-VIntegrationComponents kell)

31. Lehetőségek perifériák virtualizációjáraIII. Hardveres virtualizáció • I/O eszköz közvetlenül elérhető a vendégből • Általános esetben veszélyes… DMA-val a fizikai memória egésze elérhető • Léteznek IOMMU megoldások is (pl.: Intel VT-d) • Hasznos pl.: 3D grafikus kártya • DE: elvesztjük a virtualizáció rugalmasságát! • Hardver támogatás az I/O eszközben, hogy többen használják (pl. SR-IOV) • Belső állapot konzisztens megtartással kéréseket fogadnak • Hasznos pl.: 10 Gb/s Ethernet hálózati kártya

32. Példa: Intel SR-IOV megvalósítás Forrás: Intel PhysicalFuntion,VirtualFunction(PF és VF) Belső regiszterek, sorok, leírók többszörözése(tipikusan 16-64) VMM támogatás is kell!

33. Perifériák virtualizációja • Tanulságok: • I/O intenzív alkalmazásoknál számolni lehet jelentős teljesítményvesztéssel • Ha van rá lehetőség, telepítsük fel a paravirtualizált eszközmeghajtókat a vendég operációs rendszerbe • Lehet olyan feladat, amit közvetlenül a virtuális géphez rendelt hardverrel célszerű megoldani (backup szerver, 3D gyorsítás…)

34. További információ Carl Waldspurger and Mendel Rosenblum.I/O virtualization. Commun. ACM 55, 1 (January 2012), 66-73. DOI=10.1145/2063176.2063194 Abramson, D. et al. "Intel® VirtualizationTechnologyforDirected I/O." Intel Technology Journal. (August 2006). Darvas Dániel, Horányi Gergő. „Intel és AMD technológiák a hardveres virtualizáció megvalósítására”, virttech házi feladat, 2010. Garaczi Tamás. Intel VT-d (IOMMU) technológia részleteinek megismerése, virttech HF, 2010.

35. Összefoglaló • A virtualizáció alapjai I-II • CPU virtualizáció • CPU utasításkészlet architektúra és szerepe • A három alap virtualizációs megközelítés • Memória virtualizáció • Virtuális memória az operációs rendszerekben • Virtuális memória a platform virtualizációban • Virtuális memóriakezelés speciális képességei: megosztás, késleltetett allokáció, memória-ballon • Perifériák virtualizációja • Perifériák programozói felülete általában • Periféria virtualizációs architektúrák