Application Testing Suite 9.0 발표

1. Application Testing Suite 9.0 발표

2. 순서 • Enterprise Manager & AQM 시장 • Application Testing Suite 개요 • ATS 9.0 주요기능 • 주요 고객사 • 결론

3. Oracle Enterprise Manager 탑-다운, 통합 어플리케이션 관리 • 오라클 제품의 완전하고, 개방된 , 통합 관리 • 깊이 있고, 최적화된, 최상의 소프트웨어 • 전 제품 관리– DB, 미들웨어, 패키지 어플리케이션, 물리적 그리고 가상 인프라 • 비즈니스 중심, 탑 다운 어플리케이션 관리 • IT 라이프 싸이클 전체 관리 • 그리드 (grid) 및 클라우드 관리 • 다수를 하나로 통합 관리

4. 어플리케이션 품질의 비즈니스 영향 우리는 고객에게 좀더 좋고 , 효율적인 서비스를 제공하기 위해서 어플리케이션에 투자를 한다, 그러나 품질이 낮은 소프트웨어는 투자를 위험하게 한다. • 개발 비용의 80%가 소프트웨어 개발자들이 결점을 찾고 수정하는데 소요 된다. • [IBM: The business value of software quality.] • 모든 소프트웨어 어플리케이션의 40%는 1~10개 정도의 결점을 가지고 배포 된다. • [Software Is Deployed, Bugs and All, SD Times.] • 테스팅은 통상적으로 소프트웨어 개발 비용의 30~50%을 소요, 재생 되지 못함. 또한, ad-hoc테스팅은 거의 효과가 없슴 • [Source: [Source: W.R. Blischke, D.N.P. Murthy. "Reliability", Section 9.5.1, pp. 311.] • 배포 후에 에러를 수정하는 것은 개발단계에서 하는 것 보다 100 정도 차이가 나다. • [National Institute of Standards & Technology] 어플리케이션 품질 관리(AQM) 는비즈니스 민첩성, 낮은 비용과 위험, 높은 수준의 서비스를 제공하기 위한 필수 사항 이다.

5. 어플리케이션 전 영역에 OracleEnd-to-End 테스트 Application Testing Suite Real Application Testing • end-to-end 어플리케이션 테스트로품질과 성능 보장 • 기능 & 사용자 부하 테스트자동화 • 포괄적인 테스트 스크립트 관리 • Oracle apps와 통합됨 • 인프라 변경시 실제운영 워크로드로 데이타베이스 테스트 • 회귀 테스트 및 SQL 문장마다 튜닝 • 시장에서 유일한 제품 Application Layer Database Tier 현재 환경에서 어플리케이션 변경 App 와 환경이 변경 변경된 환경에서 어플리케이션

6. Gartner는 AQM에서 Oracle 를 Visionary로 평가 • Gartner는통합 소프트웨어 품질 suites 를 위한 2009 Magic Quadrant 를 최근에 배포 • Oracle을 “Visionary”로 평가 - 매우 빠르게 통합되고 있는 시장에서 HP & IBM 에 대한 도전자. • “Oracle은 어플리케이션 과 데이타베이스 배경에 플랫폼 공급자로서 확고한 자리를 잡아가고 있다. • “만약 HP,IBM, MS( 2010년에 이 시장에 진출), Oracle이 현재 처럼 인수 합병을 하게 되면, 이들과 경쟁하기에는 매우 어려워 질 것이다. - FOCUS. 이 회사들은 분산 어플리케이션 테스트 시장 전체 매출의 90%을 차지 하고 있다.

7. Oracle 이점Oracle 을 테스트하기 위해서 Oracle을 사용 • 매우 큰 기술 발자취 • 300,000이넘는 고객사 • 매우 큰 어플리케이션 발자취 • 고객들은 어플리케이션을 테스트하기 위해서 테스트 제품을 구매 • 특화된 테스트 솔루션을 제공 • 매우 큰 내부 품질 테스트 조직 • 풍부한 기능과 정확한 테스트 • 매우 활동적이고 큰 사용자 공동체 • OAUG, IOUG, OTN • 기술혁신 문화

8. 순서 • Enterprise Manager & AQM 시장 • Application Testing Suite 개요 • ATS 9.0 주요기능 • 주요 고객사 • 결론

9. Oracle Application Testing Suite어플리케이션 품질, 성능 및 안정성을 보장 위해 우수한 통합 솔루션 Oracle Functional Testing Automated functional & regression testing Oracle Test Manager Test process management, requirements and defect tracking Oracle Load Testing Automated load & performance testing

10. Design Test Plans Based on Application Requirements Develop Manual Test Cases and Automated Test Scripts Execute Load Tests and Tune Application Performance Execute Functional Tests to Validate Application Requirements ATS: A Lifecycle Approach to Quality Oracle Test Manager Develop Design Oracle Load Testing Oracle Functional Testing Test Tune

11. Oracle Functional Testing:자동화된 기능 및 회귀 테스트 • Web, SOA, 패키지 어플리케이션의 기능 및 회귀 테스트 자동화 • OpenScript- 기능 및 부하 테스트를 위한 통합된 스크립트 플랫폼 • 직관적인 비쥬얼 스크립트 인터페이스는 테스트 프로세스를 단순화 • 강력한 Java IDE는 우수한 스크립트 확장성을 제공 • 효율적이고 최적화된 테스트를 위해서 EBS, Siebel, Web services의 엑셀러레이트 제공

12. Oracle Functional Testing 이점 • 통합성 – 기능 및 부하 테스트를 위한 공통 스크립트 플랫폼 • 경쟁 제품은 기능 및 부하 테스트를 위해서 다수의 툴 & 스크립트 언어 습득이 필요. • 편리성 – 스크립트 생성 및 확장을 위해서 강력한 Java IDE 와 함께 직관적인 그래픽 스크립트 인터페이스를 통합 • 확장성 희생 없이 테스트 프로세스를 단순화 • 확장성 & 표준 기반 – 우수하고, 널리 알려진 산업 표준을 사용 (Java & Eclipse) • 고정된 스크립트 제약없이 고급 사용자에게는 향상된 유연성을 제공 • Oracle Apps 테스트를 위한 최적화 – Oracle Apps 테스트를 위해서커스터마이즈된 테스트 엑셀러레이트 제공 • Oracle 어플리케이션 테스트 시간 단축 위해서 기본 지원 기능 향상

13. Oracle Load Testing:부하 및 성능 테스트 및 튜닝 • 어플리케이션의 실질적인 부하 및 성능 테스트 • 최대 실제 부하를 생성하기 위한 수 천명의 동시 사용자 수 가능 • 부하 발생하에서 기능 테스트를 수행함 으로서 정확성 증가 • 직관적인 Web 콘솔은 공동 테스트 기능 향상 • 통합 서버 모니터는 성능은 병목지점 발견 및 해결 도움 • 효율적이고 최적화된 테스트를 위해서 EBS, Siebel, Web Services의 엑셀러레이트 제공

14. Oracle Load Testing:Setup 예 Tested Application Firewall Load Agent(s) DataCollector Oracle Load testing (for Web applications) Controller Serverstats 14

15. Users 풍부한 성능 모니터링 향상 및 부하테스트 동안 EM에 의한 진단 기능 Oracle Database Application Mid-Tier • 모든 사용자의 상호작용 감시 • 수동적, 간섭 없슴 • 성능, 에러, 비즈니스 트랜잭션 효과성 • End-to-End 가시성 • SOA, Portal 모니터링 • 어플리케이션 통합 아키텍쳐 (AIA) 지원 • 어플리케이션 확장 하지 않음 • 메모리 leak 분석 • 오라클 DB에 대한 cross-tier • 추적 • 병목지점 자동 발견 및 • 영향 분석 • 병목지점 해결 위한 권고사항 • 성능이 나쁜 어플리케이션 SQL 자동 발견 및 튜닝

16. Oracle Load Testing 이점 우수한 스크립트 생성능력 부하 테스트 스크립트 생성을 단순화기 위한 Oracle Functional Testing과 통합 스크립트 플렛폼 기능 향상 어플리케이션을 위한 부한 테스트 엑셀러레이트 제공 내장된 컨텐츠 검증 및 자동화된 스크립트 상관관계 기능은 정확성을 향상시키고, 스크립트 생성 시간을 축소 시킴. 공동 웹 기반인터페이스 Web-based Load controller인터페이스는 원거리 접근을 가능하게 하고 부하 테스트 수행 동안 다수 유저가 공동작업을 할 수 있게 함. 확장성 있는 기업 아키텍처 Load testing 플렛폼은 Weblogic 서버와 Oracle DB의 성능과 확장성 기능을 향상 시킴. 통합 성능 진단 기능 내장된 서버 모니터링 기능 향상, 성능 병목지점 발견/해결 위해서 Oracle EM 과 통합

17. Oracle Test Manager: Test Process Management • 중앙 집중 Web 콘솔로 부터 테스트 프로세스 관리 • 테스트 요구사항에서, 테스트 케이스, 테스트 이슈로 진행을 명확하게 추적관리 • 수작업 & 자동 테스트 케이스 그리고 테스트 계획기반 수행 절차를 문서화 • 테스트 프로세스 가시성 제공을 위한 리포트 생성 • 사용자 테스트 기술에 맞게 충분히 커스터마이징 가능 • 확장성 있는 기업용 아키텍쳐, 전개 및 운영이 용이

18. Oracle Test Manager 이점 직관성 테스트 프로세스를 운영하기 위한 간편한 Web-based 인터페이스 테스트 연관된 모든 팀이 쉽게 접근할 수 있슴 일관성 중앙 사이트에서 테스트 케이스, 테스트 요구사항, 이슈, 수행을 관리 전개 및 운영이 용이 빠른 인스톨과 구성 사용자 프로세스에 따른 필드와 리포트의 충분한 커스터마이징 가능 확장성 있는 기업용 아키텍쳐 플랫폼은 Weblogic Server와 Oracle DB 의 성능 및 확장성을 향상 시킴

19. 순서 • Enterprise Manager & AQM 시장 • Application Testing Suite 개요 • ATS 9.0 주요기능 • 주요 고객사 • 결론

20. Application Testing Suite 9.0 • OpenScript • 기능 및 부하 테스트를 위한 새로운 스크립트 플랫폼 • 테스트 스크립트 생성 위한 우수한 Java IDE 와 직관적인 그래픽 스크립트 인터페이스 통합 • 사용자 편리성을 유지하면서 스크립트 유연성 향상 • Web기술과 Oracle 어플리케이션 지원능력 향상 및 확장 • 좀더 다양한 어플리케이션 프로토콜, Oracle Forms 등 지원 • AJAX , Web 기술 지원 능력 향상 • Oracle EBS 기능 및 부하 테스트 엑셀러레이터 • Load Testing 과 Test Manager 을 Oracle Weblogic에 통합

21. OpenScript: 차세대 ATS 스크립트 플랫폼 Tree View Code View

22. Oracle E-Business Suite Accelerator • EBS 기능 테스트 엑셀러레이터는 Forms GUI-level 자동화 및 EBS 검증 기능 추가 • EBS 의 명확한 기능 테스트 가능 • EBS Load Testing 엑셀러레이트는 Forms protocol-level 자동화 및 검증 기능 추가 • EBS 의 명확한 부하 테스트 가능 • 다수의 EBS/Forms 버전 지원 • Oracle EBS R12 (Forms 10g) and EBS 11i (Forms 6i) • Sun JRE 또는 JInitiator 1.3 (with EBS 11i) 모두 지원 • Forms Servlet , Socket 통신 모두 지원 • EBS QA&성능 팀의 입력 참조 개발

23. Oracle EBS Testing in OpenScript Web Actions Forms Actions

24. Weblogic과 Oracle Database 지원 • Oracle Test Manager (OTM), Oracle Load Testing (OLT) 이 Weblogic server 에서 운영 • JBoss application server 를 대체 함 • Weblogic 은 ATS 와 함께 제공 (개별적으로 다운로드 및 인스톨이 필요 없슴) • Restricted use license 포함 됨 • OTM & OLT 향상된 기능 제공 • Oracle Test Manager, Oracle Load Testing의 데이터저장을 위해서 Oracle DB 을 default 로 인스톨 • Microsoft Access 를 대체 함 • Restricted use license 포함 됨 • Oracle Database 11g & 10g에 운영 보증됨.

25. ATS 9.0: ATS 릴리스 중에서 최상의 품질 • 대규모 내/외부 Beta 테스트 • 5개월이 넘는 Beta 기간 • US, APAC, EMEA 각 지역에 있는 Beta 테스트 인력 • 개발팀 QA 팀이 주요 참여자, 다수의 팀이 이미 사용 또는 내부 적으로 마이그레이션 시작. • 전 Beta 에 비해서 100 배 테스트 수행 • 개별 베타 테스트 인력이 100개 이상의 결과를 보고 • 내부 Beta forum 사이트에 1,000개이상 메시지 • E-Business Suite • PeopleSoft • Oracle Fusion Apps • Oracle Weblogic • Hyperion • Oracle IT • Service Engineering/Support • JD Edwards • GBUs (Tax, Utilities, Comm, Retail) • Application Integration Architecture (SOA) • Enterprise Manager

26. ATS Roadmap • Oracle Apps 지원 위한 새롭고&향상된 테스트 엑셀러레이터 • ADF/Fusion Apps, PeopleSoft, JDE/E1, … • “Test Kits”가 내장된 확장된 엑셀러레이터 • 어플리케이션 테스트 및 모니터링 기능 지원을 위해서 EM과 통합 • RUEI 사용자의 모니터링 데이터로 부터 테스트 스크립트 생성 • 모니터링 기능 지원을 위해서 ATS 테스트 스크립트 기능 향상 • 부하 테스트 기능 지원을 위해서 ATS 와 AD4J 진단기능 통합 • 확장된 Web , SOA 테스트 능력

27. 순서 • Enterprise Manager & AQM 시장 • Application Testing Suite r개요 • ATS 9.0 주요기능 • 주요 고객사 • 결론

28. ATS 추진현황 • ATS에 있어서 Q4&Q1이 APAC 최상의 쿼터 • Q4에 $300K 이상, NAS/EMEA와 비슷 함. • ATS-led 와 ATS attach-on 계약 포함 • 9월에 발표된 ATS 9.0으로 Q2에 많은 활동이 증가 됨. • 새로운 EBS 테스트 기능에 많은 관심 기대 • Gartner, IDC & Forrester 로 부터 ATS 9.0에 대한 긍정적인 분석 결과 리포트

29. St. Jude Medical: Deal 요약 ULA , Q1 FY10에 완료, $5.7M: Database (RAC, Partitioning, OLAP) Management Packs Diag and Tuning Data Masking SAM Products ($1.3M – 23%); Unlimited ATS RUEI BI ODI

30. St. Jude Medical – NAS Best Practice

31. ATS Win Stories from APAC ASIC W. Aust. DET RACWA • ~$300K in App. Testing Suite & RUEI • E2.0 이용하여 원거리 학습 포탈 개발 • ATS 가 내/외 부 Web 페이지 및 어플리케이션 개발 지원 • RUEI 는 최대 uptime, 성능 보장, 사용자 경험 모니터링 • ~$300K in Application Quality Mgmt. in Q4 • CRM을 빠르고, 안정적 개발 원함 • ATS,RAT & Data Masking 제품이 ASIC 의 DB 와 APPs을 빠르고 안정적으로 테스트 하게 함. • OCS 와 협력 • ~$220K in WebLogic Server and ATS in Q1 • DGC 에서 web-app 연관 needs 를 파악 • SAM 팀에 통보, Tech&OFM 영업팀과 공동으로 계약 체결 • RACWA 에서 ATS 를 통해서 middle tier와 SOA 환경을 테스트

32. Testing enabled IT to handle 3Xs the amount of transactions Saves weeks on application testing time Cuts application testing from weeks to hours OTN에서 ATS 고객사 사례

33. CUMISATS 를 통해서 테스팅 기간을 주에서 시간 단위로 축소 함.

34. Meridian ATS를 이용하여 어플리케이션 테스트 시간을 주단위로 줄임

35. Comic ReliefATS 의 Load Testing 이 트랜잭션 3배를 처리하게 함.

36. 순서 • Enterprise Manager & AQM 시장 • Application Testing Suite 개요 • ATS 9.0 주요기능 • 주요 고객사 • 결론

37. Oracle Application Testing 주요 장점 • Application Testing Suite • 우수한 사용 편리성 및 cost-of-ownership 절감 • 기능 및 부하 테스트를 위한 통합 스크립트 플랫폼 • 확장성 있는 표준 기반의 스크립트 • 확장성 있는 기업용 아키텍쳐 • 높은 정확도 • Oracle Apps를 위한 테스트 엑셀러레이터 • Real Application Testing • 세련된 인프라 테스팅 가능 • 높은 품질의 테스트 기능 제공 및 테스트 기간 단축 • 실제 환경 워크로드로 부하 테스트 가능 • 최상의 테스트 솔루션 • 실제 , 가상의 부하 테스트가 가능한 유일 한 솔루션 • 최상 품질, 안전한 테스트, 가장 낮은 변경 위험 • 어플리케이션에서 데이타베이스 까지 전 영역 테스트

38. 감사합니다.

39. Oracle Application Testing Suite 라이센스 참고

40. 2010.01.141년 유지보수비 포함 SAM 관련 라이센스 가격 Minimums and other restrictions may apply – Please reference the technology price list for details

41. 일반적인 프로젝트 체제와 ATS 사용자와의 관계-누가 사용하는가?- 프로젝트 매니저 프로젝트 매니지먼트 오피스 품질 보증·관리 • 진척 리포트 • 장애 관련 리포트 테스트 관리 DB App. 개발 팀 인프라/운용 DB관리/이행 • 테스트 요구 • 테스트 시방서 • 테스트 결과 • 장애 정보 App. 테스트 인프라 테스트 이행 테스트 Test Manager • 테스트 관리 DB에는 품질 보증·관리 팀 및 테스트·엔지니어, 테스터가 사용 • 기능 테스트 툴은 주로 어플리케이션 테스트·엔지니어, 테스터가 사용 • 부하 테스트 툴은 주로 인프라·테스트의 테스트·엔지니어, 테스터가 사용 부하 테스트·툴 기능 테스트·툴 Load Testing Functional Testing

42. 일반적인 프로젝트 단계와 ATS를 사용하는 단계-언제, 무슨 목적으로 사용하는가？- 요구분석 검수 테스트 부하 테스트 Load Testing 기본 설계 시스템테스팅 • 시스템이 요구사항 대로 성능을 제공할 수 있는지, 동시 접속자수를 점증하여 부하 테스트를 실행해, 성능 요건을 만족하는지, 한계 성능은 어느 정도인가 등을 확인 • 테스트 결과(서버 부하 정보)등을 관리툴에 저장해 병목지점 진단이나 정보 공유, 보고서에 활용 • 시스템의 요구사항 정의·설계가 진행됨과 동시에, 거기에 대응하는 테스트 계획이나 테스트 사양을 작성. • 작성한 테스트 사양을 프로젝트팀 내에서 공유 기능 설계 결합 테스트 단위 테스트 상세 설계 테스트 관리 기능 테스트 코딩 Functional Testing Test Manager • Web 화면 및 Web 서비스의 기능 테스트를 실시 (단위테스트에서는 화면 단위로 데이터 패턴의 기능 테스트를 실시하고, 결합 테스트에서는 페이지 전환과 데이터 패턴등의 테스트를 실시) • 각 테스트의 결과를 테스트 관리툴에 등록하는 것으로 정보 공유 및 보고서에 활용 • 상기 단계는 일반적인 개발 단계이지만, 운용 단계에 들어간 프로젝트에 대해서도 규모에 따라, 같은 단계를 걸처프로그램의 변경등의 유지보수를 실시

43. 일반적인 테스트 프로세스와 라이센스 견적 예

44. 실환경 테스트 환경 콘트롤러 • Load Testing for Web Applications Controller（프로세서 License） 에이전트 에이전트 가상 유저 가상 유저 • Load Testing for Web Applications .1 • Load Testing Accelerator for Siebel • Load Testing Accelerator for .Net • ※ 1. 최소 200 NUP Web 서버 테스트 대상 시스템 AP서버 DB서버 Oracle ATS 라이센스 견적 예-부하 테스트-

45. Oracle ATS 라이센스 견적 예-부하 테스트- 구성예：부하 시험 실시의 최소 구성예 • Load Testing for Web Applications Controller ×1 Processor ＋ • Load Testing for Web Applications ×200 Named User (= 200 가상 유저) 구성예：Siebel를 포함한 시스템의 구성 • Accelerator 구입을 위해서는 Load Testing for Web Applications가 필요하며 Accelerator는 Load Testing for Web Applications와 같은 라이센스일 필요 없음 • Accelerator의 최소 라이센스수는 50 NUP임 • Load Testing for Web Applications Controller ×1 Processor ＋ • Load Testing for Web Applications ×200 Named User(= 200 가상 유저) ＋ • Load Testing Accelerator for Siebel ×50 Named User(= 50 가상 유저)

46. Oracle ATS 라이센스 견적 예-Developer Edition의 사용법과 제한- Developer Edition의 사양 용도와 구성 • Load Testing for Web Applications Developer Edition란 개발자 개인의 개발 환경에 있어 단위 성능등을 확인하기 위한 패키징입니다. • Load Testing for Web Applications Developer Edition에는 이하에 대한 라이센스 인증이 포함되어 있습니다. • Load Testing for Web Applications Controller：2 Processor • Load Testing for Web Applications：10 VU • Functional Testing for Web Applications：1 Named User 제한 사항 • Load Testing for Web Applications Developer Edition를 사용하는 것에 다음과 같은 제한이 있습니다. • 상기에 포함되는 라이센스는 라이센스를 추가 구입하여 위 사양 이상의 규모에 대한 테스트에 사용할 수 없습니다. • Load Testing for Web Applications Developer Edition를 2 Copy를 구입하여도, 4 Controller로 사용하거나, 20 VU의 테스트에 사용할 수 없습니다.

47. Oracle ATS 라이센스 견적 예-Developer Edition의 사용법과 제한- • Load Testing for Web Applications Developer Edition는 개발자가 자신의 개발 환경등에서의 단위 테스트에 있어서의 부하 테스트의 실시나, 테스트 스크립트의 개발을 목적으로 한 것입니다. 콘트롤러 스크립트 스크립트 에이전트 에이전트 • Load Testing for Web Applications Controller 가상 유저 가상 유저 Functional Testing • Load Testing for Web Applications • Load Testing Accelerator for Siebel • Load Testing Accelerator for .Net DeveloperEdition Load Testing Controller Load Testing 어플리케이션 서버 데이타베이스 개발 환경 테스트 환경