Riadenie IT prostredia

1. Riadenie IT prostredia Meranie a zlepšovanie IT procesov Martin Sarnovský Katedra kybernetiky a umelej inteligencie Fakulta elektrotechniky a informatiky Technická univerzita v Košiciach

2. Obsah prednášky • Meranie IT služieb - kontext • Meranie ako proces v CSI, opakovanie z prednášky č. 7 • Meranie ako súčasť fáz životného cyklu IT služby • Meranie pri návrhu služby • Ukazovatele: CSF, KPI • Metódy Balanced Scorecard a Six Sigma • Meranie pri prechode služby • Startégie a modely testovania a validácie • Prístupy a techniky testovania, typy testov • Meranie pri prevádzke služby • Cyklus monitorovania a riadenia • Typy monitorovania • Meranie v kontexte CSI • SMF - Rámec merania IT služieb • Model merania IT služby, technológia vs. manažment • Meranie v modeli manažmentu služieb • Príklady - KPI • Interpretácia výsledkov merania

3. Meranie IT služieb a procesov - kontext (1) Meranie je zahrnuté ako proces v rámci priebežného zlepšovania služieb (Continual Service Improvement,CSI): • Výkonnosť poskytovateľa IT služieb je kontinuálne meranáa zlepšenia sú zapracovávané do procesov, IT služieb a IT infraštruktúry za účelom zvýšenia účinnosti, efektívnosti a optimalizácie nákladov. Procesy CSI: • 7-krokový proces zlepšovania • Reporting: podávanie správ • Meranie • Návratnosť investícií • Otázky biznisu • SLM - manažment úrovní služieb.

4. CSI - Meranie v rámci Demingovho cyklu Plánuj - Vykonaj - Kontroluj - Zlepšuj: 4-fázový cyklus pre manažment procesov Autor: W. Edwards Deming • PLÁNUJ: Návrh alebo revízia procesov, ktoré podporujú IT služby. • VYKONAJ: Implementácia plánu a manažment procesov. • KONTROLUJ:Meranie procesov a IT služieb, porovnávanie s cieľmi a vytváranie výkazov (reportov). • ZLEPŠUJ: Plánovanie a implementácia zmien pre zlepšenie procesov.

5. Meranie služieb pri CSI - všeobecne Základne, referenčné body (baselines) : • Stanovenie bodu, od ktorého bude meranie prebiehať • Referenčné body treba dokumentovať; stanovujú sa na všetkých úrovniach(strategic, operational,...). Dôvody na meranie služieb: • Ohodnotenie, potvrdenie (to validate) predchádzajúcich rozhodnutí, • Nastavenie smerov (to direct) budúcich aktivít, • Overenie (to justify) správnosti smeru, • Zasahovanie (to intervene), korekcia Otázky pri meraní služieb: • Prečo meriame a monitorujeme? Kedy meranie skončiť? Používa niekto údaje, ktoré sú výsledkom merania? • Otázka pri každom meraní a tvorbe správy: Stále je toto meranie potrebné?

6. Meranie služieb v CSI - 7-krokový proces 1. Definovať, čo by sa malo merať 2. Definovať, čo môžeme merať 3. Zhromaždenie údajov (gathering) 4. Spracovanie údajov (processing) 5. Analyzovanie údajov 6. Prezentácia a použitie informácií 7. Implementácia opravných akcií Znalostná špirála:

7. Meranie IT služieb a procesov - kontext (2) Meranie je súčasťou fáz životného cyklu IT služieb: • Návrh služby (Service Design): metódy Balanced Scorecardsa Six Sigma, vyhodnocovanie podstatných faktorov úspechu (CSF) a kľúčových ukazovateľov výkonnosti (KPI) • Prechod služby (Service Transition): validácia a testovanie IT služby, zabezpečenie súladu so špecifikáciami návrhu a s potrebami / biznis cieľmi organizácie. • Prevádzka služby (Service Operation): monitorovanie a riadenie IT služby v prevádzke Meranie slúži predovšetkým na zabezpečenie kvality(Quality Assurance, QA)

8. Meranie pri návrhu služby Úlohy počas návrhu služby: • meranie, analýza údajov a reporting počas procesov návrhu, • overenie / zabezpečenie súladu s požiadavkami biznisu, • vykonávané priebežne, počas návrhu aj manažmentu IT služieb. Ukazovatele: • Podstatný faktor úspechu (Critical Success Factor, CSF), • Kľúčový ukazovateľ výkonnosti (Key Performance Indicator, KPI) Metódy merania: • Balanced Scorecard (Systém vyvážených ukazovateľov výkonnosti) • Six Sigma - DMADV • Ďalšie metódy: SWOT analýza, porovnávanie (benchmarking), ...

9. Ukazovatele merania Def:Podstatný faktor úspechu (Critical Success Factor, CSF) : Niečo, čo sa musí stať, aby proces, projekt, plán alebo IT služba boli úspešné. Def:Kľúčový ukazovateľ výkonnosti (Key Performance Indicator, KPI): Metrika, ktorá pomáha riadiť a spravovať proces, IT službu, aktivitu. • Je možné určiť a merať veľa metrík, ale iba najdôležitejšie z nich sa definujú ako KPI a používajú sa pre aktívne manažovanie a reportovanie procesu, IT služby, alebo aktivity. • Cieľ - riadenie účinnosti, nákladovej a celkovej efektívnosti. Na meranie dosiahnutia úspechu každého CSF sú používané KPIs, napr.: Merané pomocou: KPI: ”Percentuálne zníženie, že zmena vyvolá incidenty” CSF: ”Ochrana IT služby pri vykonaní zmeny” KPI: ”Percentuálne zníženie neúspešných zmien” atď.

10. Metóda Balanced Scorecard (1) Balanced Scorecard - Systém vyvážených ukazovateľov výkonnosti Autori: R.S.Kaplan, D.P.Norton; metóda vytvorená v r. 1990 Komplementárna metóda k ITIL, z pohľadu IT zahŕňa: • Perspektíva zákazníka - IT ako poskytovateľ služby, úroveň je dokumentovaná v SLA. • Vnútorné procesy - kvalita prevádzky podporovaná procesmi manažmentu incidentov, problémov, zmien, konfigurácií a nasadení. • Učenie sa a rast - produktivita biznisu, flexibilita IT, investície do softvéru, profesionálne vzdelávanie a vývoj. • Finančná perspektíva - súlad IT s požiadavkami biznisu, riadenie nákladov a rizík, dodávka očakávanej pridanej hodnoty. Finančný manažment IT je proces, v ktorom sa alokujú náklady a vypočítava sa návratnosť investícií (Return of Investments, ROI).

11. Metóda Balanced Scorecard (2)

12. Metóda Balanced Scorecard (3) MTRS - Stredný čas obnovy služby (Mean Time to Restore Service)

13. Metóda Six Sigma Autor: B.Smith (Motorola Inc.), v r. 1986; info napr. na www.sixsigma.sk Metóda pôvodne navrhnutá pre riadenie odchýliek vo výrobe - 6 stupňov variability, ku každej sa vyčísľujú náklady na kvalitu, cieľom je znížiť odchýlky. Pri meraní IT procesov a služieb sa používa ako systém na zlepšenie existujúcich resp. vývoj nových procesov spľňajúcich žiadané kritériá kvality. Six Sigma (DMADV) definuje procesy: 1. D: formálne definovať ciele návrhu IT služby v súlade s očakávaniami zákazníka a so stratégiou organizácie. 2. M: určiť CSFs, schopnosti (capabilities), riziká. 3. A: určiť alternatívy, vyhodnotiť ich vzhľadom na definované ciele, vybrať najlepší návrh. 4. D: Vytvoriť detailný návrh IT služby, optimalizovať plán jej verifikácie. 5. V: Vytvoriť a nasadiť pilotné aplikácie, zapojiť do prevádzky služby vlastníkov procesu.

14. Meranie pri prechode služby Úlohy počas prechodu služby: • validácia a testovanie IT služby, • zabezpečenie súladu so špecifikáciami návrhu a s potrebami / biznis cieľmi organizácie. Ciele: • Plánovanie a implementácia štruktúrovaného procesu validácie a testovania, ktorý objektívne overí mieru súladu novej alebo zmenenej IT služby s požiadavkami biznisu / zákazníka (vzhľadom na SLA), • Zabezpečenie kvality celého vydania - služby a jej komponentov, schopností (capability) dodaných v rámci vydania (release), • Identifikácia, ohodnotenie a spracovanie chýb a rizík v priebehu prechodu služby.

15. Stratégie a modely testovania Stratégia testovania - definuje celkový prístup k organizácii a alokovaniu zdrojov na testovanie. Zahŕňa: • Transformáciu návrhu služby do modelov a požiadaviek na testovanie, • Výber najvhodnejšieho prístupu testovania vzhľadom na pokrytie funkčnosti, rizík, zmien a zdrojov IT služby, • Určenie vstupných a výstupných kritérií testov (prípustnej miery chybovosti) na základe kritérií akceptovateľnosti (acceptance criteria), a to pre každú úroveň testovania, • Premietnutie rizík, obmedzení a zdrojov definovaných v požiadavkách na zmenu (request for change, RFC) do požiadaviek na testovanie. Model testovania - plán, čo sa bude testovať + testovacie skripty definujúce spôsob testovania (ako sa bude testovať); má byť opakovateľný a efektívny. Model testovania zahŕňa: • Možnosť spätnej verifikácie požiadaviek / kritérií návrhu • Možnosť kontroly počas vykonávania testu, vyhodnocovania a reportingu. • Zaistenie / umožnenie správy a zmeny prvkov testovania.

16. Modely testovania - príklad

17. V-model testovania a validácie fázy vývoja IT služby úrovne / typy testov

18. Prístupy / techniky testovania Zoznam prístupov k testovaniu, ktoré je možné použiť (aj kombinovane) vzhľadom na typ IT služby, model služby, profil rizík, úroveň znalostí / skúseností, ciele a úrovne testovania: • Hodnotenie (review) dokumentu, • Modelovanie a meranie - testovanie modelu služby a plánu prevádzky, • Testovanie na základe rizík - výber kritických služieb z hľadiska biznisu, • Súlad so štandardami, • Testovanie na základe skúseností / expertov, • Testovanie na základe metód životného cyklu organizácie: waterfall, agile, • Simulácia, • Scenáre použitia, • Hranie rolí, • Prototypovanie, • Laboratórne testovanie, • Regresné testovanie, • Pilotné aplikácie.

19. Typy testov Všeobecné predpoklady: • zahrnúť kompletnú škálu (pravdepodobných) používateľov, • testovať všetky aspekty služby (vrátane podporných služieb), • dokumentovať výsledky testov (reporting) Funkčné testy - líšia sa v závislosti od typu služby a spôsobu dodania. Nie-funkčné testy (non-functional): • Test použiteľnosti (usability), • Test dostupnosti (accessibility), • Test procesov a procedúr, • Test výkonnosti, kapacity a prispôsobivosti (resilience), • Test škálovateľnosti, • Test kompatibility, • Test bezpečnosti, • Test nápravy, kontinuity a obnovy, • Test konfigurácie, implementácie a inštalácie, • Test prevádzky a možností spravovania. • Funkčné testy - príklady: • “Môže používateľ urobiť operáciu X?” • “Pracuje funkcia Y správne?” • Nie-funkčné testy - príklady: • “Koľko používateľov sa môže naraz prihlásiť do systému?” • “Ako ľahko sa dá zvonka preniknúť do systému?”

20. Meranie pri prevádzke služby Úlohy počas prevádzky služby: • monitorovanie a riadenie IT služby v prevádzke, • založené na priebežnom / cyklickom monitorovaní, reportovaní, a vykonávaní akcií na zlepšenie. Definície: • Monitorovanie (Monitoring) - opakované pozorovanie konfiguračnej položky, IT služby alebo procesu na zistenie udalostí, situácie a zmien; uistenie sa, že je známy súčasný stav. • Reportovanie (Reporting) - analýza, vytvorenie a distribuoanie výstupov monitorovania. • Riadenie, akcie na zlepšenie - zaistenie súladu s definovanými štandardami / normami, určenie vst./výst. podmienok pre akcie, regulácia výkonnosti systémov, zariadení a služieb v prevádzke.

21. Cyklus monitorovania a riadenia • Aktivita a jej výstup sú monitorované - merané a porovnávané s určenou normou. • Ak je odchýlka od normy nad prípustným prahom výkonnosti / kvality, riadenie vykoná korekčnú akciu. • Systémy otvoreného cyklu - aktivity sú vykonávané bez ohľadu na podmienky prostredia (napr. zálohy, backups). • Systémy uzavretého cyklu - monitoruje sa prostredie a aktivity sa vykonávajú ako odozvy na zmeny prostredia (napr. zaťaženosť siete, network load ballancing). The Monitor-Control Loop

22. Cyklus monitorovania a riadenia v ITSM

23. Typy monitorovania (1) • Aktívne vs. pasívne: • A: Dotazovanie (interrogation) zariadení na zistenie ich stavu. • P: Generovanie udalostí (events) z monitorovaných zariadení. • Reaktívne vs. proaktívne: • R: Spustenie akcie pri objavení sa určitého typu udalosti / chyby. • P: Detekcia situácií (patterns) alebo udalostí, ktoré naznačujú chybu.

24. Typy monitorovania (2) • Priebežné meranie vs. meranie založené na odchýlkach (výnimkách, exception-based measurement): • PM: monitorovanie v reálnom čase, zisťuje sa súlad s normou výkonnosti. (Rozdiel oproti aktívnemu monitorovaniu - to nemusí byť priebežné.) • MZnO: neprebieha v reálnom čase, zber a reporting údajov sa spúšťa po vzniku odchýlky / chyby. Je lacnejšie a ľahšie ako PM, ale môže spôsobiť dlhšiu odstávku IT služby - t.j. používa sa na menej kritické služby. • Výkon (performance) vs. výstup (output): • Výkon: Meranie a reporting kvantitatívnych údajov o výkonnosti zariadení, komponentov, tímov - napr. početvolaní na Service Desk. Meranie výkonu by sa malo používať iba interne v IT oddelení. • Výstup: Meranie a reporting kvalitatívnych parametrov IT služieb. • Monitorovanie v testovacích prostrediach: • priblíženie testovacieho prostredia (vrátane monitorovania, reportingu a riadiacich akcií) reálnej prevádzke.

25. Meranie v kontexte nepretržitého zlepšovania služieb Úloha v procese CSI: • meranie, monitorovanie a reporting IT služby ako celku (nie iba výkonnosť jednotlivých komponentov). Pr. “Server bežal a bol dostupný na 100% počas daného obdobia.” - Bolo zároveň dostupné aj sieťové pripojenie? Tri základné miery: • Dostupnosť (Availability), • Spoľahlivosť (Reliability), • Výkonnosť (Performance).

26. Rámec merania IT služieb (1) Service Measurement Framework, SMF Predpoklady pre vytvorenie SMF: • Znalosť biznis procesov, určenie najdôležitejších procesov z hľadiska prínosu hodnoty pre biznis (lebo IT musí podporovať biznis ciele), • Súlad medzi operačnými, taktickými a strategickými cieľmi organizácie (lebo inak meranie a reporting neprinášajú hodnoty / efekt), • Tvroba SMF smerom k budúcnosti tak, aby sa dali na základe meraní robiť rozhodnutia. Určenie, čo sa bude merať a vyhodnocovať v rámci SMF: • Služby • Komponenty • Procesy manažmentu služieb, ktoré podporujú jednotlivé IT služby, • Aktivity v procesoch manažmentu služieb, • Výstupy.

27. Rámec merania IT služieb (2) Ďalšie parametre pre vytvorenie SMF: • Ciele - čo sa snažíme dosiahnuť, ako budeme vedieť, že sme to už dosiahli, • Výber metrík - čo potrebujeme merať (aby sa dali robiť rozhodnutia), ktoré metriky nám to umožnia, určenie cieľov pre metriky (na základe SLA), • Definovanie procedúr a politík - určenie procesov / aktivít, nástrojov na zber dát, rol a zodpovedností, kritérií pre priebežné zlepšovanie. Najdôležitejšie komponenty SMF: • Rámec výkonnosti - integrovaný do procesov plánovania biznisu, zameraný na biznis a IT ciele, cenovo efektívny, vyvážený (z hľadiska toho, čo všetko sa bude merať), prispôsobiteľný zmenám. • Metriky výkonnosti - presné a spoľahlivé, dobre definované a jasné, vhodne zvolené vzhľadom na ciele, identifikujúce príležitosti na zlepšenie. • Ciele výkonnosti (ktoré majú byť „SMART“: specific, measurable, achievable, relevant, timely), • Úlohy a zodpovednosti - kto definuje metriky a ciele, kto monitoruje a meria, kto zbiera údaje, kto spracúva a analyzuje, kto vytvára správy a kto ich prezentuje.

28. Príklad - KPI pre manažmentslužieb

29. Interpretácia výsledkov merania (1) Príklad: počet incidentov za mesiac: Počet incidentov klesá - je to dobré, alebo zlé? • Treba vziať do úvahy ďalšie namerané / zistené udaje...

30. Interpretácia výsledkov merania (2) Príklad: počet incidentov za mesiac v pomere k incidentom vyriešeným počas prvého kontaktu: Schopnosť riešiť incidenty počas prvého kontaktu klesá. • Ďalej treba zistiť, čo je príčinou poklesu riešení v prvom kontakte - boli prijatí noví pracovníci do Service Desku? Boli odstránené niektoré služby? Poskytuje organizácia iný spôsob riešenia incidentov? ... -> Implementácia manažmentu problémov (Problem management)

31. Percentá incidentov merané podľa priorít Cieľ definovaný v SLA Priorita incidentov

32. Príklady na KPI - incident & problem management

33. Otázky?