2009. 10. 15 박대성 SWG, IBM Korea

1. IBM Managed File Transfer SolutionWebSphere MQ FTE (File Transfer Edition) 2009. 10. 15 박대성 SWG, IBM Korea

2. Produces files as output Processes files in batches Consumes files as input 대부분의 기업 정보가 파일 형태로 이동되고 있음을 아십니까? 대부분의 기업 정보는 파일 형태로 이동됨 • - Human-readable 또는 Program-readable 형태로 이동 - 기업 정보의 크기 및 양은 지속적으로 증가하고 있음 오늘날 비즈니스적으로 중요한 많은 업무들이 파일 기반으로 처리되고 있음

3. FTP 또는 home-grown S/W만을 사용하며, 기업 통합 환경이 비구성된 경우 100% 50% FTP 및 home-grownS/W를 이용하여 기업 통합 환경을 구성한 경우 FTP 및 home-grown S/W를 사용하지 않고 기업 통합 환경을 구성한 경우 0% Largest 500 Next 10,000 Next 250,000 출처: “Enterprise Integration Challenge”, Software Strategies, 2006 FTP에 의존적인 기업 환경 FTP = File Transfer Protocol “Our staggering and somewhat shocking research finding is thatcustom-built, in-house, hard-coded integration solutions(the majority using free FTP software)are much themost widely-used approach.” Software Strategies FTP 공짜라서 사랑해요 >_<

4. Integration S/W를 통해 IT 통합 비용 및 유지보수 비용을 2~4배 줄일 수 있습니다!! FTP 기반의 기술은 결코 저렴하지 않습니다! Handwritten Code Cost Handwritten extensions to FTP Building & Maintaining “ Custom-built, in-house, hard-coded integration solutions… …often take 2 to 4 times the time and effort to build …require a similar multiple of ongoing maintenance and support effort... … IBM application integration costs 2-4 times less Software Strategies “Custom-built, in-house, hard-coded integration solutions… …often take 2 to 4 times the time and effort to build …require a similar multiple of ongoing maintenance and support effort... … IBM application integration costs 2-4 times less” Software Strategies All Custom Development Basic/Free FTP Technology + Custom Development “Value Added FTP” Solutions + Custom Development Integration Software Enterprise Application Middleware ” Size of Project Number of Applications Integrated www.ibm.com/webspheremq에서 조사 결과를 직접 보실 수 있습니다. 출처: “Enterprise Integration Challenge”, Software Strategies, 2007

5. FTP 기반 파일 전송의 단점 제한적 보안성 취약한 신뢰성 • ID/Password가 plain text 형태로 전송됨 • 인증 기능 결여 • 암호화 기능 결여 • 취약한 전송 보장 기능 • 파일 전송 (배치) 작업들이 예외 상황으로 인해 취소됐음을 모를 수 있음 • 파일 전송 후 파일이 깨질 수 있음(ASCII/Binary 전송) 추적기능 결여 취약한 모니터링 부족한 유연성 • 파일 전송 구조를 변경할 때 하드코딩된 부분을 수정해야할 경우가 많아 변경이 어려움 • 모든 자원이 유효해야만 전송 가능 • 다중 파일 전송이 지원되지 않는 경우도 있음 • 우선순위 설정, 압축 기능 등이 지원되지 않음 • 원격에서 모니터링할 수 없음 • 원격에서 제어할 수 없음 • 로깅 기능이 없거나, 한곳에서 관리되지 않음 • 파일이 여러 시스템을 거쳐 이동될 때, 이동 루트를 추적하기 어려움

6. 귀사의 고민을 듣고 싶습니다 • 네트워크에 문제가 발생하더라도, 문제가 해결되었을 때 사람의 개입 없이 안전하게 파일을 전송하고 싶으십니까? • 파일 전송을 원격에서 중앙통제식으로 감시/관리하고 싶으십니까? • 전송 중인 데이터가 소실되거나 깨져버릴까 봐 걱정하십니까? • 중요한 데이터가 외부로 유출될까 두렵지는 않으십니까? • 파일 전송 결과로그를 통합 관리하고 싶지는 않으십니까? • 파일 전송 전/후에 자동화된 형태로 Shell 또는 실행파일을 연동하고 그 결과 역시도 로그로 남기고 싶지는 않으십니까? • 대용량 파일 전송, 압축, 우선순위 부여 기능과 같은 다양한 기능이 필요하진 않으십니까? • 파일 전송 인프라가 SOA 환경에도 포함되었으면 하시나요?

7. Auditable Ease-of-Use Simplicity WebSphere MQ File Transfer Edition Security Breadth Automated Transfer WebSphere MQ FTE

8. WebSphere MQ FTE 특장점 Auditable • 송/수신 시스템에 대한 파일 전송 상태 및 결과를 확인할 수 있는 감사(Audit) 로그 제공 • 전송의 진행 또는 시간의 경과에 따른 상태 정보 및 감사 로그 발생 (MQ 큐나 RDB에 자동 저장) Ease-of-Use • GUI 환경의 MQ Explorer를 통해 파일 전송을 간편히관리. • 원격지에서 파일 전송 및 취소, 스케줄링, 상태 확인 등을 손쉽게 할 수 있음 • 파일 전송을 시작하기 위한 로컬/리모트 콘솔 제공, 자동화된 작동, 배치 프로세스를 위한 스크립트 기능 제공 • 스케줄 기반의 파일 전송 기능, 재전송 정책 설정, 전송 상태 표시 및 저장 기능 Simplicity • 인스톨이 간편하며, 제품이 가벼움 • 간편한 구성: 파일 전송을 위한 코드 작성이나 API 학습 불필요: GUI와 명령줄, 또는 스크립트를 통해 전송 관리 • WebSphere MQ만 사용할 수 있으면 손쉽게 사용 가능함 Security • SSL을 통한 링크 레벨 보안 지원 • 파일 접근 방지 : 시스템 보안 설정에 따르는 개별 파일 접근 Breadth • WebSphere MQ V6 및 V7 지원 • 주요 플랫폼 지원 (Windows, z/OS, Linux (32 Bit), Solaris, AIX, HP) • 다양한 파일 타입 지원 (ASCII/EBCDIC, CR/LF, Flat files, z/OS QSAM, BPAM, VSAM) Automated Transfers • 다양한 스케줄링 기능 지원 : 파일 전송이 스케줄 기반으로 수행되거나 일정 주기를 간격으로 반복되도록 구성 • 폭넓은 트리거링 기능 지원 : 파일 시스템 내의 이벤트에 의해 파일 전송을 시동할 수 있는 트리거 기능 제공

9. Managed File Transfer(MFT)? Managed File Transfer(MTF)란? • 기업 환경에 요구되는 고급 파일 전송 기능을 제공하는 관리형 파일 전송 솔루션 • 일반적으로 FTP 기반 기술에 Value Added된 형태로 제공됨 • 대표적 기능 • 보안 기능, 중앙집중식 제어 기능, 전송 보장 기능, 통합 모니터링 기능 • 감사 기능, 자동화 기능, 대용량 파일 전송 기능 기존 MFT 제품의 한계 • 전통적인 MTF 솔루션들은 대부분 FTP를 기반으로 함 • FTP 프로토콜이 내재하고 있는 한계를 극복하기 위해 기본 프로토콜을 확장해야 하는 부담 존재 • IT 인프라에 대한 전략적 비전 미흡 • SOA 지원 방안 미흡 • 메시징과 파일 전송의 통합 방안 결여 • 개방형 표준 지원의 한계 향후 시스템 통합에 걸림돌

10. 파일 전송의 백본 • 시간에 구애 받지 않는 전송 • 믿을 수 있는 파일 전송 • 이벤트 지향의 파일 전송 • 중앙 통제 방식의 구성 • 원격 상태 보고 • 스케줄링 기능 • 자동화 기능 • 스크립팅 • 감사 로그 제공 • 코딩 필요 없음 • 사용자 Exit 개발 및 적용 • ESB 연결성 제공 WebSphere MQ File Transfer Edition ! ! WebSphere MQ에 파일 전송 기능이 추가된 제품 Managed File Transfer 기능 제공 설정 기능 추적 기능 감사 기능 WebSphere MQ File Transfer Edition a b c x y z

11. AGENT AGENT 주요 컴포넌트 SYSTEM A SYSTEM B MQ 기반통신 • Agents: • MQ 애플리케이션 • 파일 전송을 위한 end-points • MQ를 이용한 파일 전송 • 다수의 파일을 동시에 송수신 가능 AGENT AGENT • Monitoring / Logging • 파일 전송 관련 데이터 수집 WebSphere MQ Network AUDITLOG OPERATIONS • Commands: • 수행할 명령을 메시지 형태로 전송 AUTOMATION MONITORING

12. Control-M, Cron 등 스크립트 실행환경 ANT 스크립트 커맨드 라인 명령으로 관리 e.g. fteCreateTransfer 웹 또는 별도의 애플리케이션으로 관리 (메시지 템플릿 제공, WMQ API 이용) WMQ Explorer의 FTE 플러그인으로 관리 다양한 인터페이스를 통한 중앙통제식 관리 0시 정각에 에이전트 B로 /tmp/*.txt 전송 시작 에이전트 B로 /home/mqm/*.txt 즉시 전송 FTE 에이전트 B FTE 에이전트 A FTE 에이전트 C 파일 전송 명령 파일 전송 명령 FTE 코디네이터/커맨드 큐매니저 원격에 존재하는 FTE 에이전트들에게 파일 전송을 명령

13. 파일 전송 결과 상세 정보 발행 파일 전송 진행 정보 발행 Shell 또는 프로그램 실행 결과 발행 사후 감사를 위한 인터페이스 파일 전송 진행 상황을 수집, 확인을 위한 인터페이스 전송 또는 실행 결과 수집 파일 전송 진행 상황 수집 FTE 데이터베이스 로거 중앙집중식 모니터링 - 전송 결과 및 진행 상태 (단일/다수의) 수신 FTE 에이전트 하나 또는 다수의 파일 전송 송신 FTE 에이전트 하나 또는 다수의 파일 전송 FTE 코디네이터/커맨드 큐매니저

14. Time-Independent 파일 전송 ! …Even when this might be happening! Seems like this… 파일 전송이 시스템 및 네트워크의 상태에 독립적으로 진행 파일 전송 애플리케이션들은 파일 전송에 연루된 모든 자원이 항상 정상적인 것처럼 동작함 송신 측은 수신 측이 바쁘더라도 영향을 받지 않음 수신 측은 송신 측 상황에 영향을 받지 않음 파인 전송 중에도 다른 일을 수행할 수 있음 파일 백본이 모든 예외상황을 관리해줌 1 2 3 4 A A A A A unavailable unavailable WebSphere MQ File Transfer Edition Z Z Z Z Z unavailable unavailable busy

15. 전송 보장 ! FTP프로토콜은 데이터 전달 보증 기능이 미약함 • 수신 측에서 파일 integrity 확인 기능이 없음 • 수신 측에서 파일 전송이 완료됐음을 확인하기 어려움 WebSphere MQ FTE는 검증된 WebSphere MQ 기반의 Solution • Reliability – 시장에서 입증된 높은 메시징 프로토콜을 바탕으로 함 • Trusted – 10,000개가 넘는 고객 사례에서 일일 수조 달러 단위의 비즈니스 데이터가 유통되고 있음 • Proven – 15년 간 MOM 시장에서 리더의 위치 고수해 왔음 • Integrated – IBM의 SOA 근간인 EAI, ESB, BPM 솔루션과의 손쉬운 연계의 토대가 됨 ! Reliable Backbone Provides general purpose transport for transfer reliability Specialized for Files Managing, auditing and monitoring file transfers WebSphere MQ File Transfer Edition

16. 다양한 구성/제어 환경 제공 “취향에 따라, 요구사항에 따라 원하시는 방법으로 사용하세요” Eclipse 기반의 MQ Explorer FTE Command Line Interface Apache Ant를 이용한 XML 스크립트 웹 기반 인터페이스 (구현을 위한 Interface 제공)

17. Eclipse 기반의 WebSphere MQ FTE GUI 도구 전송 결과 전송 현황 전송 관리

18. FTE Command Line Interface • 지원되는 모든 플랫폼에 대해 동일한 Command Line Interface지원 • Shell을 통해 FTE 명령 실행 가능 • FTE 명령어를 통해 원격에 있는 파일 관리 가능 • 즉, 윈도우에서 수행한 FTE 명령을 통해 z/OS에 있는 파일을 Unix 시스템으로 전송할 수 있음 • User 애플리케이션은 XML 형태로 파일 전송 요청을 할 수 있음 • Command 예: • fteCreateTransfer • fteStartAgent • fteShowAgentDetails • fteStopAgent

19. Apache Ant를 이용한 XML 스크립트 Step 1 파일 전송 Invoke 1 Step 2 Step 1이 성공하면, 파일 관련 업무를 수행 2 Step 3 Step 1이 실패하면, 관리자에게 email 전송 3

20. 웹 기반 Interface 구현 예

21. 승인계 업무계 안심클릭 Queue manager FTE Agent Queue manager FTE Agent Queue manager FTE Agent queue queue queue 복지카드 카드 콜센터 사고방지 Queue manager FTE Agent Queue manager FTE Agent Queue manager FTE Agent queue queue queue 국내 금융권 A사 구현 사례 고객 요건 • 기존 FTP의 개발 및 유지보수에 대한 비효율성 개선 • 기존 FTP 프로토콜의 한계성으로 인한 파일 전송의 불안정성 및 데이터 유실 개선 • 운영 개발 편의성 적용 범위 • A사 카드 승인계-업무계 구간만 제외한 10여 개 시스템들에 적용하여 사용 개선 사항 • 기존 FTP 대비 개발 복잡성 및 소요시간 단축 • 운영 및 유지보수에 대한 효율성 증대 및 복잡성 개선 • 파일 전송 시 장애에 따른 데이터 유실 방지 및 안정성 극대화 • Control-M Package에 파일 전송 Sync 처리결과를 Announce하기 위하여 사용

22. 국내 금융권 B사 PoC 사례 – PoC 환경 시스템 B MQ Network Shell Script Log MQ File Adapter 시스템 A 파일 Shell Script Log MQ Crontab 시스템 C MQ File Adapter 파일 시스템 B와 동일한 구조 MQ 시스템 D FTP Network Shell Script Log Crontab File File 파일 파일 FTP Module 모니터링? 유연성? 중앙 통제 식 구성? 전송 보장? LOG 통합 관리? 시스템 E NAS Shell Script Log Crontab 파일

23. 국내 금융권 B사 PoC 사례 – AS-IS 분석 결과 B사 파일 전송 주요 요건 AS-IS FTP NAS MQ Weak Points 취약한 신뢰성 제한적 보안성 미약한 모니터링 기능 통합관리 불가능 • 자동화된 전송 보장 기능 없음 • 대용량 파일 전송에 취약 • Crontab을 이용한 배치작업들이 예외 상황으로 인해 취소됐음을 모를 수 있음 • Data Integrity 보장 안됨; 파일 전송 후 파일이 깨질 수 있음 • FTP 경우 계정/암호 노출 가능 • 인증 기능 결여 • 암호화 기능 결여 • 중앙집중식 모니터링 불가능 • 파일 전송 상태 모니터링 불가능 • 쉘 연동 성공 여부 모니터링 불가능 • 실패한 파일 전송에 대한 자동/반자동 전송 기능 미약 • 다수의 파일 전송을 하나의 Job으로 관리할 수 없음 • 통합된 인프라로 파일 전송 관리 불가능 • Web 또는 GUI를 통한 통합 관리 불가능 • 파일 전송 경로 변경 시, 많은 작업 수반

24. 국내 금융권 B사 PoC 사례 – WMQ FTE 적용 후 시스템 B MQ Network 시스템 A Shell Script MQ FTE Shell Script MQ FTE 파일 MQ MQ 시스템 C • 자체 스케쥴러에 의한 정기적 전송 • 사용자나 Shell에 의한 임의 전송 파일 시스템 B와 동일한 구조 File File 파일 시스템 E 파일 시스템 B와 동일한 구조 모니터링 시스템 RDB GUI/웹 기반의 관리/모니터링 도구 시스템 E 파일 시스템 B와 동일한 구조 표준화된 형태로 LOG 통합 관리 MQ

25. 국내 금융권 B사 PoC 사례 – FTE 도입 시 기대 효과 설정 기능 추적 기능 감사 기능 모니터링 기능 • 파일 전송 백본 구축 • 시간에 구애 받지 않는 전송 • 믿을 수 있는 파일 전송 • 이벤트 지향의 파일 전송 • 중앙 통제 방식의 구성 • 원격 상태 보고 • 스케줄링 기능 • 자동화 기능 • 스크립팅 • 감사 로그 제공 • 코딩 필요 없음 • 사용자 Exit 개발 및 적용 • ESB 연결성 제공 WebSphere MQ FTE …… C B A X Y Z ANT 스크립트 웹 기반 관리 GUI 커맨드 라인

26. MQ FTE Command Line Interface가 있잖아요! YES YES ANT를 통해 가능합니다! cURL을 통해 가능합니다! Message Broker와의 환상의 궁합을 자랑합니다 영원한 숙제 Integration! Beyond MQ FTE !! ? 배치 스케줄러가 MQ FTE를 쉽게 사용할 수 있나요? 타사 파일 전송 제품과 연계는 가능한가요? 지원되지 않는 플랫폼과의 연동은 어떻게 하죠? MQ FTE가 깔리지 않은 시스템과는 파일을 주고 받을 수 없겠죠? SOA 환경과의 통합은 구체적으로 어떻게 이루어진다는 거죠? ? ? ?

27. ANT와 cURL를 이용한 Integration Beyond MQ FTE !! • ANT란? • 막강한 기능을 지닌 자바&XML 기반의 오픈 소스 스크립트/빌드 도구. • 지원 기능: copy, zip, exec, sql, delete, mkdir, ftp, telnet, smtp, sql … • cURL이란? • URL 기반의 파일 전송 커맨드 라인 도구. 오픈 소스/무료 소프트웨어. • 지원 프로토콜: FTP, FTPS, SFTP, TFTP, HTTP, HTTPS, SCP, TELNET, DICT, LDAP, …

28. WebSphere Message Broker와의 연계(1/2) Beyond MQ FTE !! 유형1: File Mediation WebSphere Message Broker MQ FTE Transfer FileInput Mediation FileOutput MQ FTE Transfer WMB_IN Folder WMB_OUT Folder FILE_OUT Folder FILE_IN Folder 유형2: File to Message WebSphere Message Broker MQ FTE Transfer FileInput MQOutput FILE_IN Folder WMB_IN Folder BROKER.OUT Queue

29. WebSphere Message Broker와의 연계(2/2) Beyond MQ FTE !! 유형3: Message to File WebSphere Message Broker MQ FTE Transfer MQInput FileOutput WMB_OUT Folder FILE_IN Folder BROKER.IN Queue WMB Coming Soon! Need More?

30. M B SOA ESSAGING ACKBONE Skills End-Points Qualities-of-Service Delivery Styles Client-Server Transactional Vendor Platforms Languages JEE, .NET, etc Backbone COBOL, C/C++, RPC Java, JEE, JMS .NET, C#, VB, WCF AJAX, Perl, Python… Guaranteed Operating Systems Point-to-Point Persistent Exploitation & Support Peer-to-Peer At-Most-Once Applications Orientations Publish/Subscribe Replay Service Batch Files Message Resource… SAP, Siebel, etc… Grid At-least-once Devices Bus Mobile, Wireless, PoS, Sensor, Actuator, RFID… Best-Effort Multicast Fire-and-Forget Web services Mindsets Unicast Request-Reply SOAP, WSDL, WS-RM, WS-N… WSDL, XML, WS-* REST, MEST, KISS Web 2.0 Fastest speed HTTP, AJAX, REST,… Lowest Latency Appliances IBM’s Vision – SOA Messaging Backbone • 모든 Transport 요건에 대한 범용의 Messaging Backbone을 제공

32. Back Up Page 다양한 인터페이스를 통한 중앙통제식 관리 • FTE 체제 하에서는 파일 전송을 위한 명령 또는 관리를 어디서든 수행할 수 있음 • 코디네이터/커맨드 큐매니저 • 파일을 보내고자 하는 에이전트 • 파일을 받고자 하는 에이전트 • 파일 전송과 관련 없는 에이전트 • 어디서든 명령을 수행할 수 있도록 리모트 도구 제공 • 다음과 같은 다양한 관리 인터페이스가 제공 또는 개발 가능 • WMQ 탐색기에서 수행되는 FTE 플러그인 • 각 시스템 별 커맨드 라인 • WMQ API와 제공되는 명령 템플릿을 이용한 관리 애플리케이션(주로 접근성이 높은 웹) • FTE 자체 배치 프로세스 수행을 위한 ANT 스크립트 및 액션 • Control M과 같은 외부 배치 프로세스로부터의 수행 • 기타 • 이와 같은 관리 인터페이스를 통해 파일의 전송 요청, 전송 스케쥴링, 전송 취소, 스케쥴 나열, 에이전트의 상태, 에이전트의 세부 정보 등의 일반 관리 타스크를 수행함

33. Back Up Page 중앙집중식 모니터링 - 전송 결과 및 진행 상태 • FTE에서 파일을 전송, 관련된 Shell이나 실행 파일을 수행 • 우선 그 결과는 각 송수신 에이전트들을 통해 자세한 정보와 함께 발행(Publish)됨:시스템 간 파일 송수신에 대한 결과를 통해 리포트를 만들거나 시각적으로 표시하기 위한 자료가 되므로 데이터를 데이터베이스에 저장하여 이를 응용하는 방식이 적합 • 그리고 각 전송 별로 파일 전송의 진행율도 일정한 간격을 기준으로 발행됨:진행 상황이므로 전송 당시에 이상 유무를 확인하는 용도로 쓰이고 대체로 폐기되는 경향이 있으므로 지속적이지 않은 매체, 예를 들어 MQ의 Non-durable Subscribe와 같은 방식이 적합 • FTE 데이터베이스 로거 • 데이터베이스 로거를 설정하면 자동으로 전송과 실행의 자세한 결과를 정해진 데이터베이스에 저장 • 웹을 통한 파일 전송 현황 확인 • FTE의 데이터베이스 로거는 비교적 단순한 데이터 레이아웃으로 구성되어 있음 • 정형화된 JDBC 기반의 웹 애플리케이션으로 필요한 요건과 함께 모니터링 인터페이스를 쉽게 구축 • FTE GUI(WMQ 탐색기 플러그인) • 위에서 언급한 전송/실행의 결과 확인 • 추가적으로 각 전송에 대한 파일 진행율 확인 • 파일 전송에 필요한 명령 입력

34. Back Up Page End-to-End 파일 전송 경로 감시 “A에 존재하는 내 파일이 Z까지 잘 전송됐나?” FTP IBM Managed File Transfer WebSphere MQ File Transfer Edition ftp ftp ftp Z C A B A Z ftp another.pdf sys ftp myfile.mft c ftp –i myfile.mft b ftp that.jpg here ftp –I myfile.mft b ftp go.where server ftp stuff somewhere ftp another.pdf sys ftp this.doc there ftp –i myfile.mft b ftp that.jpg here ftp –I myfile.mft b ftp f2.pdf z ftp it now please ftp another.pdf sys ftp this.doc there ftp –i myfile.mft b ftp that.jpg here ftp –I myfile.mft b ftp go.where server ftp here to there • 각 시스템에 유지되는 FTP 전송 레코드를 일일이 찾아가면서 확인해야함 - 만약 접근 권한이 없다면 이마저도 확인할 수 없음 • 접근 권한이 있다고해도 파일 전송이 완료되었음을 어떻게 확신할 수 있나요? • 단일 검사 로그를 통해 파일이 A에서 Z까지 전송 완료되었음을 확인할 수 있음 • 파일의 Integrity를 보장함 • End-to-end 파일 전송 상태를 보여줌

35. Back Up Page 간편한 파일 전송 루트 수정 “파일 전송 루트 쉽게 바꿀 수 있나요?” FTP IBM Managed File Transfer WebSphere MQ File Transfer Edition ftp ftp A B C A C ftp –i myfile.mft b ftp myfile.mft c get f1.txt c f2.pdf • 명령 한번 또는 클릭 몇번으로 모든 수정 완료 • GUI, Command Line 또는 XML Scripting으로 수정 가능 • Centralized –파일이 지나갈 시스템에 접근할 필요없음 • 플랫폼 종속적인 기술 필요 없음 • 시스템이 어디에 어떻게 구성되어 있는지 몰라도 됨 • 시스템에 로그인한 필요가 없음 • 각 시스템에 FTP script들을 찾아서 수정해야함 • 각 script들을 수정해야함 • 대부분 플랫폼 종속적인 기술을 요함 • 종종 시스템 접근 권한이 없을 수 있음