testing med visual studio team system for software testers l.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Testing med Visual Studio Team System for Software Testers PowerPoint Presentation
Download Presentation
Testing med Visual Studio Team System for Software Testers

Loading in 2 Seconds...

play fullscreen
1 / 63

Testing med Visual Studio Team System for Software Testers - PowerPoint PPT Presentation


  • 135 Views
  • Uploaded on

Testing med Visual Studio Team System for Software Testers. Martin Pamdeth martinpa@microsoft.com Developer & Platform Strategy Microsoft Danmark blog: http://blogs.msdn.com/martinpa. TechTalk. Agenda. Mål for VSTS og TFS Tests: Hvorfor, Hvornår og Hvad? Testning med VSTS Test Typer

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Testing med Visual Studio Team System for Software Testers' - jolie


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
testing med visual studio team system for software testers

Testing medVisual Studio Team System for Software Testers

Martin Pamdeth

martinpa@microsoft.com

Developer & Platform Strategy

Microsoft Danmark

blog: http://blogs.msdn.com/martinpa

TechTalk

agenda
Agenda
  • Mål for VSTS og TFS
  • Tests: Hvorfor, Hvornår og Hvad?
  • Testning med VSTS
    • Test Typer
    • Administration og Kørsel af Tests i VSTS
    • Load Testing
  • Build management med Team Build
  • Et par gode råd
  • Afrunding inkl. spørgsmål og svar
visual studio team system udvidelse af visual studio p tv rs af applikations livsforl bet alm
Visual Studio Team SystemUdvidelseaf Visual Studio påtværsafApplikationsLivsforløbet (ALM)

Developer

Database Professional

Designer

Architect

Tester

Business

Analyst

IT / ProjectManager

Projekt

Gennemsigtighed

Team

Samarbejde

Software

Kvalitet

visual studio team system application life cycle management alm l sning
Visual Studio Team SystemApplication Life Cycle Management (ALM) Løsning

Business Analyst

Web Clients and XML Web Services

Operations, QA and Help Desk

Third-Party

IDEs

visual studio team system
Visual Studio Team System

Team Build Server

Visual Studio Team Suite

SoftwareArchitects

SoftwareDevelopers

DatabaseProfessionals

SoftwareTesters

VisualStudioTeamExplorer

VisualStudioIndustryPartners

Application Modeling

Code Analysis

Performance Testing

Database Deployment

Infrastructure and Deployment Modeling

Performance Tuning

Manual Testing

DatabaseChange Mgmt.

Test Case Management

Database Testing

Security Analysis

Unit Testing

Code Coverage

MSF Process and Guidance

Class Modeling

Visio and UML Modeling

Visual Studio Professional Edition

Load Test Agent

Visual Studio Team Foundation Server

Change Management

Reporting

Integration Services

Work Item Tracking

Project Site

Project Management

agenda6
Agenda

Mål for VSTS og TFS

Tests: Hvorfor, Hvornår og Hvad?

Testning med VSTS

Test Typer

Administration og Kørsel af Tests i VSTS

Load Testing

Build management med Team Build

Et par gode råd

Afrunding inkl. spørgsmål og svar

hvorfor teste
Hvorfor teste?
  • Øget kvalitet
  • Find og ret design fejl
  • Lavere TCO og vedligeholdelses omkostninger
hvorn r skal man teste
Hvornår skal man teste?
  • Så ofte som muligt
  • Så tidligt som muligt
  • Automatiserede tests vil være til hjælp
hvad skal man teste
Hvad skal man teste?
  • Kritisk forretningslogik
  • Alt andet
  • Jo tydligere kravene til performance og skalerbarhed er beskrevet, desto lettere er det at vide, hvad der skal testes
    • Projektledelsen bør skaffe disse data så tidligt som muligt i forløbet
    • Bør helst være defineret fra start af
test af applikationer
Test af applikationer
  • Funktionel test
  • Performance test
  • Sikkerheds test
  • Robustheds test
  • Usability test
funktionelle test
Funktionelle test
  • Validerer brugerkrav
  • Test data skal defineres
  • Store applikationer/web sites kan være svære at teste
  • Fejl skal gøres reproducerbare
  • Test repetitioner er nødevendige
    • regressions/integrations tests
performance tests
Performance tests
  • En af de mest kritiske og ofte oversete tests for web løsninger
  • Bør køres for hver iteration i projektet
  • Vigtigt at definere mål og holde testene op imod disse mål
  • Optimer applikationen om nødvendigt
projekter og tests
Projekter og Tests
  • Ofte dyrt at vente til sidst
  • Strategier for at minimere indvirkningen

30

25

20

Relative omkostninger

for at rette bugs...

15

10

5

Kodning

Integration

Post-Release

Beta Test

Krav

udfordringer
Udfordringer...
  • Det er dyrt at finde og rette fejl, der undslipper ifm. den daglige udviklings praksis
  • Det er svært at diagnostisere fejl ved runtime
  • Hvorfor kører en given applikation langsomt?
  • De enklete udviklere og testere har brug for at vide om de følger tidsplanen
  • Test og udvikling er ofte ude af synk
  • Den endelige test fase ifm idriftsættelse er ofte for ad-hoc
  • Hvornår har man testet tilstrækkeligt?
defence in depth
“Defence In Depth”
  • Microsoft bruger en 'defence in depth' strategi
    • Unit testing
    • Kode reviews
    • Jævnlige builds
  • Fang fejlene tidligt
    • Statiske checks
    • Runtime checks
agenda16
Agenda

Mål for VSTS og TFS

Tests: Hvorfor, Hvornår og Hvad?

Testning med VSTS

Test Typer

Administration og Kørsel af Tests i VSTS

Load Testing

Build management med Team Build

Et par gode råd

Afrunding inkl. spørgsmål og svar

fokus p kvalitet tidligt i processen
Fokus på kvalitet tidligt i processen

Visual Studio

Team System klient

Team Foundation Server

Unit Testing og Code Coverage

Versions-styring

Statisk og Dynamisk Analyse

Bug Tracking

Checkin regler

Build Server

Web og Load Testing

Reporter m. Kvalitets metrikker

vsts developer tester eksempel p forl b
VSTS Developer &TesterEksempel på forløb

Udv. skriver kode

Udv. skriver & kører Unit Tests

Udv. laver kode review

Udv. kører Kode Analyse

Udv. definerer Load Tests

Udv. checker arbejde ind

Tester undersøger Build Status

Tester kører Load Test

Tester rapporterer fejl

Udv. diagnosticerer og retter fejl

Udv. checker arbejde ind

integration af udv og test
Integration af Udv. og Test
  • Tests er bare endnu en form for kildekode:
    • Er under versionskontrol
    • Versioneres sammen med produktet
  • “Test Komplet”
    • Test kodningen planlægges sammen med udviklings arbejdet
    • Spores vha. work items
  • Testere notificeres når fejl bliver rettet
visual studio team system team edition for software testers
Visual Studio Team SystemTeam Edition for Software Testers

Manuelle test

Ikke eller svært automatiserbare tests

Unit testing

Gerne kombineret med Code Coverage, måler effektivitet af ens tests

Web test

Automatisk afspilning af optagede web scenarier (HTTP/S),samt kode generering

Web services tests via protocol-baseret script

Load test

Parallelt distribuerede unit og funktionelle test

Præ-konfigurerede samt skrædersyede load mønstre

Foruddefineret metrik opsamling samt overvågning af tærskler

Generiske test

Integration af anden test kode (Pass/Fail)

Skrædersyede test typer

3. parts test integration

Test administration samt kobling til Build services

web tests
Web Tests
  • Ikke kun til ASP.NET
    • HTTP-baseret
    • En vilkårlig web side
  • Kan benyttes til test af Web Services
test typer
Test Typer
  • Optagede tests (deklarative)
    • XML format
    • Liste af URL’er og parametre
    • Validerings- samt ekstraktions-regler
  • Kodede tests
    • Udvides via programlogik
    • Konverteres fra optagne tests
smarte features
Smarte Features
  • Forberedt for Forms Authentication
  • Viewstate Tracking
  • Cookie Tracking
validerings og ekstraktions regler
Validerings- og ekstraktions regler
  • Valider webside tilgang
    • Check indhold eller respons
    • Definer skræddersyede regler
  • Validering kan være data-styret
  • Extraher attributter / parametre
    • Til brug i efterfølgende requests
kodede web tests
Kodede Web Tests
  • Komplet skræddersyet test løsning

// Create a test

WebTestRequest request1 = new WebTestRequest("http://localhost/StoreCSVS");

request1.ThinkTime = 8;

// Add a rule

ValidationRuleFindText rule1 = new ValidationRuleFindText();

rule1.FailIfTextFound = false;

rule1.TextToFind = "IBuySpy";

request1.ValidateResponse += new ValidateResponseEventHandler(rule1.Validate);

test typer kan udvides
Test Typer – kan udvides
  • Vi understøtter 5 test typer “out of the box”:
    • Manuelle
    • Unit (C#, C++ and VB .NET)
    • Web
    • Load/Stress/Smoke
    • 3. parts leverandører kan tilføje deres egne -- fuldt integrerede -- test typer
andre test typer
Andre Test Typer
  • Ordnet
    • Afvikler en gruppe af tests i foruddefineret rækkefølge
  • Generisk
    • En indkapsling af eksisterende tests (Pass/Fail)
tests kerne element i vstt
Tests: kerne element i VSTT
  • Understøtter forskellige roller
    • Test implementatør (udviklere & testere)
    • Test afvikler & organisator
    • Build miljø understøttelse
  • Nye brugergrænseflade elementer
    • Test View – implementering, kørsel
    • Test Manager – gruppering, kørsel
    • Test Results – kørsels resultater
    • Test Runs – status og historik
    • Code Coverage Results – test effektivitet
administation k rsel af tests
Administation & kørsel af tests
  • Tests kan gruppperes i kategorier
  • Kørsel af tests:
    • Lokalt & remote
    • Via IDE’et
    • Fra kommandolinen: MSTest.exe
    • Via MS Build Task
  • Integration i en større sammenhæng:
    • Kildekode kontrol
    • Issue / Work item tracking
    • Microsoft Solutions Framework
asp net performance problemer
ASP.NET Performance Problemer
  • Hvordan opfører jeres applikationer sig under load?
  • Hvilken funktionalitet har størst performanceimpact?
  • Processor / disk forbrug?
  • Er i nødt til at deploye til en produktions server for at kunne teste?
asp net load testing

Login script - 10%

Browse script - 60%

Search script - 30%

ASP.NET Load Testing
  • Integreret i VSTS for SW Testers
    • Anvender test scripts til scenarierne
    • Browser / bruger load / server kontrol (?)
  • Visualisering af resultater

Grafer

Web

Site

Tabeller

XML

work load modellering
Work Load Modellering
  • Modeller brugadfærd, load, browsertyper og netværksforbrug vha. scenarier

Web tests

Load Pattern

Unit tests

definer counter sets
Definer Counter Sets

Foruddefinerede counters til de forskellige teknologier

load test profiler
Load Test Profiler
  • Constant
  • Step
  • Goal Seeking
    • Øg load indtil et mål er nået
    • F.eks. øg loadet indtil load agentens CPU er på 90%, og hold derefter loadet stabilt
load test monitor40
Load Test Monitor

Sort by

response time

Goal-based

Performance

Reporting

load test monitor41
Load Test Monitor
  • Lav skræddersyede grafer til at sammenholde responstider med server aktivitet
  • Tærskel alarmer
  • Bor ind for at gennemgå fejl detajlerne
  • Sorter data kolonnerne for nemt at finde langsomme web sider
  • Automatisk rapportering af “Page Times”
  • Se hvilker web sider, der ikke står mål med performance kravene
slide42

Threshold

Violations

Drag counters

From machines

under test onto

graph

load test analyzer
Load Test Analyzer
  • Al data opsamles i SQL Server til analyse
  • Lav skræddersyede grafer til at sammenligne maskinaktivitet med performance
  • Zoom ind for at grave dybere i analysen
slide44

Click and

drag to zoom

fordele load testing
Fordele – Load Testing

Scale out load generering

Effektiv load generering (1000 virtuelle brugere på en typisk maskine med en typisk web test)

IP Switching til test af web farme

Per CPU licensiering (ingen virtuel bruger lic.)

Performance counters opsamles på Load Agents og maskiner under test

Data (stats og logs) gemmes i central TFS SQL Server til analyse

Load Test Monitor giver mulighed for monitorering af igangværende load test

agenda48
Agenda

Mål for VSTS og TFS

Tests: Hvorfor, Hvornår og Hvad?

Testning med VSTS

Test Typer

Administration og Kørsel af Tests i VSTS

Load Testing

Build management med Team Build

Et par gode råd

Afrunding inkl. spørgsmål og svar

team foundation build out of the box daglige builds
Team FoundationBuildOut-of-the-box daglige builds
  • En god build proceskanværesvær at opnå
    • Mange udviklingsprojekterudnytterikkemuligheden
  • Mål: Gørdettrivielt
    • Builds gøresreproducerbare
    • VS Projekterbyggesdirekte
    • Builds udføresautomatiskt via scheduler eller on-demand
    • Build rapporterpubliserescentralt
  • Mål: Tæt integration med VS Team System værktøjerne, heriblandt:
    • Kodeanalyse, unit tests, web test mv.
build automatisering

Build initiated from server

Create a build ID

Document build environment

Sync sources and tools

Calculate code churn

Produce build report

Publish build

Updatework items

Calculate code coverage

Executetests

Compile and analyze

Build Automatisering
team foundation build

Who checkedin what?

Build verification test results as part of the build process

Team Foundation Build
agenda52
Agenda

Mål for VSTS og TFS

Tests: Hvorfor, Hvornår og Hvad?

Testning med VSTS

Test Typer

Administration og Kørsel af Tests i VSTS

Load Testing

Build management med Team Build

Et par gode råd

Afrunding inkl. spørgsmål og svar

udvikler tester samarbejde
Udvikler/Tester samarbejde
  • En test er en test er en test
    • Testere bruger udv. unit tests til Build Verification Tests (BVT) eller i funktionelle test kørsler
    • Udv. bruger testeres tests som Checkin tests
    • Udv. bruger testeres tests til gennemgang af test resultater og reproduktion af bugs
  • Integreret bug tracking
udnyt de integrerede muligheder i tfs
Udnyt de integrerede muligheder i TFS
  • Udnyt Team Build og integrer:
    • Change sets
    • Work items
    • Tests

ved at builde jævnligt

  • Rapportering
  • Test Case Management
agenda55
Agenda

Mål for VSTS og TFS

Tests: Hvorfor, Hvornår og Hvad?

Testning med VSTS

Test Typer

Administration og Kørsel af Tests i VSTS

Load Testing

Build management med Team Build

Et par gode råd

Afrunding inkl. spørgsmål og svar

afrunding
Afrunding

VSTS for SW Testers er:

Nem at komme i gang med:

Deklarative tests

Kodede tests med brug af kendte sprog:

C#, VB.NET

Test Administration og Afvikling

Meget fleksibel og udvidbar

Stærk integration med TFS

Work-item tracking, sporbarhed mellem tests og andre artifakter

Versionsstyring

Rapport faciliteterne

Kan generere stort load medLoad Agent’s

vsts futures
VSTS Futures

CIO

PMO

Architect

Tester

Developer

ProjectManager

DB Pro

Designer

  • VS Team System
  • Expand to development team
  • Project transparency
  • Team collaboration
  • Software quality

Application

Support

  • Visual Studio
  • Productivity
  • Powerful
  • Ease of use
  • World class IDE
  • Broad reach

Business

Analyst

Operations

links mv
Links mv.
  • VSTS for SW Tester relaterede blogs:
    • http://blogs.msdn.com/VSTSQualityTools/
    • http://blogs.msdn.com/vstsloadtestblog/
    • http://blogs.msdn.com/edglas/
    • http://blogs.msdn.com/joshch/
    • http://blogs.msdn.com/slumley/
  • Nogle relevante links:
    • VSTS Software Tester Team Center:http://msdn2.microsoft.com/en-us/teamsystem/aa718941.aspx
    • Web Test Authoring and Debugging Techniques (artikel):http://msdn.microsoft.com/library/default.asp?url=/library/en-us/dnvs05/html/WTAuthDebug.asp
    • Testing Web Services (artikel):http://msdn2.microsoft.com/en-us/library/ms243399(VS.80).aspx
    • VSTS “Power in Simplicity” Webcasts:http://www.microsoft.com/events/series/msdnvsts2005.mspx
    • VSTS On-demand Webcasts:http://msdn2.microsoft.com/en-us/teamsystem/aa718763.aspx
  • VSTS tutorials, demos and videos
    • http://msdn.microsoft.com/teamsystem
    • http://teamsystemrocks.com
for vsts tfs brugere
For VSTS/TFS brugere

TechTalks

Dansk VSTS/TFS ERFA gruppe

Kontaktperson:Anja Bessermane-mail: anja@commentor.dktlf: (+45) 44 53 07 60

VSTS/TFS Implementerings Partnere

mange support muligheder
Mange support muligheder

MSDN Forums

MSDN Managed Newsgroups

Microsoft Support

Sites/communities

sp rgsm l og svar

Spørgsmål og svar?

evt. skriv til:

martinpa@microsoft.com

og check blog’en:http://blogs.msdn.com/martinpa

(link til præsentation og level 200 VSTS træningsmateriale)

slide63

©2006 Microsoft Corporation. All rights reserved.

This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.