uT 환경에서의 Telemedicine / Telematics 서비스의 HCI 연구 개발

1. uT 환경에서의 Telemedicine / Telematics 서비스의 HCI 연구 개발 2007.04 박 범 (Peom Park), Prof. / Ph.D. Ajou University / HuminTec, Co., Ltd. HCI & Human Factors Laboratory

2. IT 환경의 변화(1) • 컴퓨팅 기기의 대중화 및 범용화 • 컴퓨팅 기기의 소형화 최초의 컴퓨터 (’46) Mainframe (’65 ~) PC (’80 ~) Post PC Microprocessor, etc. 자료 : http://www.ubiq.com/hypertext/weiser/

3. 80년대 90년대 00년대 70년대 Personal computing Shared Dedicated Distributed computing Centralized Distributed Mobile computing Static Mobile Ubiquitous computing Poor Rich Simple Complex IT 환경의 변화(2) • 컴퓨터 패러다임의 변화 • 네트워크의 확산

4. User Mobility • IT 환경의 변화 Ubiquitous Computing Mobile Computing Wearable Computing 컴퓨팅 기기의 대중화 및 범용화 some Smart Environments 컴퓨팅 기기의 소형화 Augmented Reality Adaptive Interfaces 컴퓨터 패러다임의 변화 none Desktop Computing Awareness Systems 네트워크의 확산 Interface transparency none some 컨버전스 현상의 심화 자료 : Communications of ACM, 2002 유비쿼터스 등장 유비쿼터스 환경을 구성하는 핵심 5대 기술(센서, 프로세서, 인터페이스, 네트워크, 보안기술) 중 인터페이스 부분과 시스템 수준에서의 사용성을 평가하는 것이 필요함

5. HCI 특성 HCI 연구의 목적은 컴퓨터 혹은 시스템을 포함한 체계에 대한 사용성 즉, 효율, 성능, 만족도, 안전성 등을 개발하거나 개선하는 것 User Centered Design/Development 설계자 사용자 Ⓐ I/O Devices Ⓑ Operating System Ⓒ User Interface Ⓓ HCI (Human Computer Interaction) 시스템

6. 인터페이스 연구 추세 정의(Definition) : 사용자를 위한 입력 언어, 기계를 위한 출력 언어, 그리고 상호작용을 위한 프로토콜(1985, ACM SIGCHI) 현재 단계 Text 기반 UI Graphic 기반 UI Network 기반 UI Ubiquitous 기반 UI • Command based • XEROX Star 프로젝트 이전 • Apple, MS, IBM • PC 대중화 • WYSIWYG 스타일 • GUI와 WUI(Web based UI)의 혼합 • WWW 대중화 • Hyperlink, Navigation • Intelligent Interface • 센서를 통한 상황 인지 • 능동형 반응 • 중앙 집중식 환경 • 텍스트 기반 환경 • 단일 사용자 환경 • 단일 업무 처리 환경 • 분산 컴퓨팅 환경 • 인터넷/인트라넷 기반 환경 • 다양한 사용자, 다양한 업무 처리 환경 • 멀티미디어 데이터 프로세싱 • Mobile, Ubiquitous 환경 • Agent • decision-support • Intelligent • Virtual Reality & 3D

7. 인터페이스 타입(1) Natural language and audio based intelligent interface Introduction • 사회적 사용자 인터페이스 • 앵무새(피디) 형상의 메타포 사용 • 프로토타입 제작 중 • MS Usability Lab 주관 • 200여명의 박사 연구원 • 10억불/1년 예산 MS Persona agent project Requirements • 역동적인 상호작용을 지원 • 상호작용과 지연의 조율을 인식 • 간섭을 효과적으로 관리 • 상호작용의 사회적, 감성적 측면을 인식

8. 인터페이스 타입(2) 3D Graphical Interface

9. 인터페이스 타입(3) 홍채 인식 / 뇌파 인식 interface 뇌파 키보드 ERTI, 2004년12월 • 간단한 게임이나 제어에 활용 • 장애를 가진 사용자를 위한 기술 • 약간의 훈련 필요

10. Usability 연구 추세 정의 : 특정한 목적을 성취하기 위한 특정한 사용자들에 의해 어떤 제품을 사용할 때 특정한 맥락의 사용에 있어서 성능, 효율성 그리고 만족도에 대한 것 (ISO 9241-11, 1998) GUI based NUI based ISO 9241-11 / 90년대 Jakob Nielsen / 00년대 Ubiquitous 시대 • Effectiveness • Efficiency • Satisfaction • Learnability • Efficiency of use • Memorability • Few and Noncatastrophic Error • Subjective satisfaction ?

11. Usability testing room Mobile Usability testing

12. uHealthcare 프로젝트 Ubiquitous Healthcare 환자 상태 관리 Smart Medicine 원격 진료 Digital 병원 Digital Hospital Digital 건강보험

13. u-Healthcare 정의 Telemedicine ? • Medicine on distance or remote medicine Irregardless of patient and specialist locations, rapid access to the expertise in distant location whenever necessary. (by European Commission for Telemedicine) Ubiquitous Healthcare ? • A computer system that enables people to manage/enhance/monitor their health without paying attention to the computers.

14. uHealthcare 발전방향 Past • 병원 중심의 POC (Point of Care) • 경제성, 기술 완성도 등의 문제로 인해 실효성 있는 서비스 이루어지지 못함 • 의료 정보 진화: HIS  OCS  PACS  EMR  EHR  uT Healthcare • 환자 중심의 POC (Point of Care) • 모바일 디바이스의 Seamless한 특성에 기반 • 초기수준의 Biosensor에 의한 특정환자 상태 모니터링 중심 • 위치인식 기술과 결합하여 응급상황대처 가능 Present • 의료기술의 혁신 • - Bio, Nano, Robotics Technology 발전에 따른 e/m Healthcare의 고도화 • - Decision Making Supporting System의 신뢰도 향상 등을 통한 오진 예방 • - 치료에서 예방으로 개념 및 기술 중심 이동 • 웰빙라이프 등 생활건강의 중요성 대두 • - Environments, Activity, Cognition 등이 건강에 주요한 인자로 작용 • - ICT 기술 발전에 기반한 Self-treatment 확산 • HCI 기술발전 • Easy to Use 등의 고전적 HCI Principle을 포함하여 Personalized Interface, Persuasive • Technology, Multimodal Interaction, Augmented Reality 등의 최신 개념 및 기술 활용한 • 사용자 중심의 Human Computerized System Interaction 개념 활성화 • 커뮤니티 중심의 uT Multimodal Interface Interaction Future

15. Case Study (1) Home Appliance i-pot Offering a way to monitor the elderly • Relatives living as far away as North America and Europe can use the i-pot to monitor • elders living in Japan. • Members of the service can see recent records of i-pot usage on a Web site. iCat Interactive Personal Dietician Toy • In Philips’s HomeLab, a demo uses iCat as a helpful assistant in the kitchen. • It combines information about the user’s calendar, weight and activity to give tips on what to eat and do, taking into account personal preferences. • In addition, twice a day the server e-mails the most recent three usage times to • a designated recipient. • The report specifies when the i-pot was turned on, how often water was added to • the machine, and how long the electric kettle was in use. • It uses multi-modal interaction including speech, vision, touch and emotional feedback • through animated motion, light and sound. • According to Time Magazine: “The notion of robot as home companion is nothing new, • but iCat adds a human dimension to the job: an expressive face. • Tell her to go away, and iCat will look sad. Praise her, and she will beam.”

16. Case Study (2) Home Appliance CareNet Display Interactive Digital Picture Frame • The device is to help local care network members provide daily care. • The color of the icons represents high-level status of the different types of information. • Each of the main icons (meals, medications, outings, activities, mood, falls, & calendar) change slightly to convey state. The Persuasive Mirror Computerized Persuasion for healthy living • The Persuasive Mirror makes use of behavioral data in order to provide its user with continuous visual feedback on their behavior in a natural and least intrusive manner. • The main goal of this project is to evaluate if such computerized persuasion can help people reach their personal goals, for example leading a healthier lifestyle like regular • To get more information about an event, the user merely touches the icon; this causes the photo of the elder to be replaced with details of that event . • Exercise or quitting smoking. • The Persuasive Mirror aims at helping people by using one’s reflection to improve lifestyle.

17. Case Study (2) Health – ware Bio-shirts Interactive Digital Picture Frame The city of Daegu will be the first city in South Korea to provide a ubiquitous healthcare service in which wearable computers will be used to monitor the health of elderly people living alone and patients with chronic diseases The devices, in the form of shirts, alert medical staff in real time when an emergency occurs. The shirts have embedded sensors that register vital signs and send the information to medical centers through the network. They also permit self-diagnosis, distance monitoring, emergency care and medical consultation for users in an environment of ubiquitous connectivity. Therapeutic Jacket Soft Therapy This is essentially a therapeutic jacket using a healing and calming combination of Light, warmth and vibration massage.

18. Case Study (3) Mobile Devices Gluco Phone Health Phone for Diabetic Patients The single button touch will lead you to the data center in your KP8400 where you can assess your blood sugar level and calories intake. In addition, the info can be sent to the caretaker about the patient’s well-being. The new KP8400 even manages your meal plans and can manage your diabetes simply and expediently. MyFoodPhone Digital Nutrition Advisor A camera phone service can make losing weight a snap. You take a picture of what you're about to eat, then e-mail the photos with a brief written description about your meal to the my food phone website. A dietician then reviews what you're eating and sends you comments and suggestions on how to improve your next meal.

19. Case Study (4) RFID Tags SurgiChip The Smart Way to Surgical Safety. Helps Prevents the Wrong-patient, Wrong-site, and Wrong- procedure Surgery. This system incorporates a 3-step verification process designed to complement the existing protocols followed prior to a surgical procedure. At each step along the way, positive patient identification is accomplished and critical data pertaining to the surgical procedure, site, and side are verified for accuracy.

20. Case Study (5) HuminTec’s Point of Care System • On-site real-time patient information querying system • Use of wireless internet, co-operating with Ajou University Hospital • Will be popular with Ubiquitous-hospital trend • Features: search patient information and diagnosis, organizing inpatients, nursing, etc. • Plan to co-operate with a leading SI medical corporation such as LG CNS

21. Case Study (6) HuminTec’s RFID Middleware and Academic Version Package • Messaging technology applied middleware • Provided Real-time stream data filtering and summarization • Real-time error handling and auto execution control • Component based • Cost efficient

22. HomeGateway Doctor’sViewer Case Study (7) HuminTec’s WellbeingCare Home Gateway S/W RAW DATA(XML, NOT HL7) View in theEMR. OCS S/W (Prototype) Screenshots of major function of S/W

23. HuminTec’s Smart Mirror

24. HuminTec’s Smart Picture Frame and Robot

25. Case Study (9) HuminTec’s WellbeingCare Total Service Solution ● Decision-making Support Component - Classifying & standardizing vital data system - CAD (Computer Aided Diagnosis) System - CAP (Computer Aided Prediction) System - Clustering Algorithm System - Knowledge Base ● Input Component Unrestricting & Non-intrusive Vital Data Monitoring Devices (Heart Rate, Breathing Rate, Blood pressure, EKG, SpO2…) ● Output Component Information display & interaction component ● Sending vital data / alert message Information display & interaction component

26. uCity 프로젝트 교육, 업무, 주거, 서비스 교통, 행정 등의 도시생활 전체 서비스에 유비쿼터스 기술을 적용하여 기업, 정부, 시민으로 구성된 도시 거주자에게 편의를 제공하는 미래형 도시 uCity 주체 시민 Intelligent Life 기업 Integrated Business 정부 Integrated Business

27. Case Study (1) uRoad 시스템 ITS 및 Telematics 등 교통과 관련된 요소들이 유비쿼터스 기술과 접목되어 사용자의 편의성과 안정성을 극대화하는 교통 시스템

28. 향후 발전방향 유비쿼터스 환경의 발전 단계에 따라 HCI 분야에서도 사용자의 특성 및 욕구 (needs)를 정확하게 예측하면서 인터페이스 기술 및 usability 평가 기술을 활용하여 사용자 중심의 시스템(user centered system)을 구현하도록 지원해야 함

29. The End.