email system scalability l.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Email System Scalability PowerPoint Presentation
Download Presentation
Email System Scalability

Loading in 2 Seconds...

play fullscreen
1 / 16

Email System Scalability - PowerPoint PPT Presentation


  • 409 Views
  • Uploaded on

Email System Scalability 2003 년 12 월 10 일 한덕희 Email Service System Agent Delivery Storage Contact Daum Hanmail 김태호 → 김경화 → Daum 메일팀 팀장 유재혁씨 → 11 월 26 일 서울 본사에서 인터뷰 . Neowiz Sayclub Mail Service 김태호 → 최우형 → Mail Service 구현 프로젝트 팀장 남세동씨 → 12 월 5 일 교내에서 인터뷰 . Microsoft Hotmail

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Email System Scalability' - jana


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
email system scalability

Email System Scalability

2003년 12월 10일

한덕희

email service system
Email Service System

Agent

Delivery

Storage

contact
Contact
  • Daum Hanmail
    • 김태호 → 김경화 → Daum 메일팀 팀장 유재혁씨 → 11월 26일 서울 본사에서 인터뷰.
  • Neowiz Sayclub Mail Service
    • 김태호 → 최우형 → Mail Service 구현 프로젝트 팀장 남세동씨 → 12월 5일 교내에서 인터뷰.
  • Microsoft Hotmail
    • 김태호 → 유재구 일반 기업 고객 사업부 차장 → 최임연 과장, 김연진 과장 → 송동주 대리(Hotmail engineer) → 12월 3일 관련 정보공개가 불가능하다는 email 받음.
daum hanmail
Daum Hanmail
  • Daum 메일팀 팀장 유재혁씨 인터뷰
  • 1995년 Daum 설립
    • SI 하면서 얻은 수익을 mail system 구현에 투자하는 식의 열악한 start up
  • 1997년 5월 Hanmail start up
    • Sun Microsystems Ultra 2 Workstations.
    • Web interface + sendmail
    • sendmail configuration 다룰 수 있는 사람조차 얼마 없는 환경.
    • 2MByte 계정 용량
      • 10만명을 견뎌보자라는 목표.
      • HDD 100GB 정도 (50%정도의 utilization 예측)
daum hanmail5
Daum Hanmail
  • 1998년
    • 사용자가 30만 명을 넘어가면서 서버 과부하 문제 발생
    • Silicon Graphics, Inc Origin 2000으로 hardware 변경, 30만 무난히 서비스.
    • 100만을 내다보며, 더 이상 hardware 교체로 급증하는 user를 모두 처리할 수 없음 → 분산처리 issue 대두.
    • 분산처리를 위한 sendmail 대대적 수정.
      • 메일 수신 & 메일 전송 & 사용자 데이터 저장 부분을 나눔.
      • Unix-like system을 연결하여 분산 system 구축.
      • 분산 처리 bottleneck
        • mail delivery module.
        • 하나의 powerful한 server로 관리
        • 초당 1000건 처리, 현재 2억 account 처리 가능
daum hanmail6
Daum Hanmail
  • 1999년
    • 2MB를 5MB로 quarter를 늘림.
      • 1000억 투자로 hardware를 잔뜩 늘림.
      • 1000만을 내다보며 필요한 hardware를 workstation급 server로 확충.
    • Backup solution 구축
      • 기존의 back up (mail data, 사용자 profile)은 단순 file copy 수준.
      • 많은 량의 data를 빠른 속도로 back up하기 위한 solution 개발.
daum hanmail7
Daum Hanmail
  • 2000년~2001년
    • System downgrade
      • Software → linux porting
      • Hardware → PC(몇 대인지는 밝힐 수 없음)
daum hanmail8
Daum Hanmail
  • 현재 scalability에 대한 고려
    • 1억~2억 account에서 수렴 될 것이라고 예측하고 있으며 현재 hardware도 거기까지는 support.
    • Software 구조는 현재 scalable
    • Hardware는 앞으로 발전 할 것이므로 크게 걱정하지 않음.
daum hanmail9
Daum Hanmail
  • Scalability issue is solved.
  • Spam mail is current email system issue
    • 평균 60%
    • Daum Hanmail은 50%가 안됨.
    • Daum의 하루 email 처리량.(1억여 통-비밀)
    • Spam 처리 solution 개발(6개월 전부터)
    • 현재 성과가 있음.
    • SMTP 프로토콜 자체에 문제가 있다고 지적.
neowiz sayclub mail service
Neowiz Sayclub Mail Service
  • Mail Service 구현 프로젝트 팀장 남세동씨 인터뷰
  • 2000년부터 service
    • 외주 → 대용량에 적합하지 않음.
  • 2001년~2002년(10개월)
    • 직접 대용량 mail service software 개발.
    • Postfix를 수정.
    • PC-Linux system에 Berkley DB를 이용.
    • Raid HDD
    • PAS(Web-server 20여대), PDS(20여대), PSS(20여대)
    • 1000만 여명 가입자.
neowiz sayclub mail system
Neowiz Sayclub Mail System
  • 현재
    • 지금 구조 자체가 PC 서버를 계속 늘리면 거의 별 문제 없이 늘릴 수 있는 software 구조임.
    • 하루 약 2000만 통 처리.
  • PDS 구현에 가장 어려움을 겪었음.
  • PSS 분산 스토리지 구현에도 어려웠음.
  • 현재 가장 큰 이슈는 spam mail. 하지만 따로 이것과 관련하여 특별한 action은 취하지 않고 있음.
daum versus neowiz13
Daum versus Neowiz

agent

agent

delivery

delivery

storage

storage

engineering approaches
Engineering approaches
  • Daum과 Neowiz 둘 다 “분산처리”를 선택하여 mail service system의 scalability 문제를 해결.
  • Daum은 Mail Delivery Module을 하나의 workstation이 관리하는 반면에 Neowiz는 20개의 PC를 이용하여 분산처리.
  • Workstation vs Many PCs
    • Many PC is powerful enough for mail service.
conclusion
Conclusion
  • 분산처리는 Email Service System에서 Scalability Issue를 해결하는데 한가지 해결책이 될 수 있다.
  • Engineering은 Money와 매우 밀접한 관계가 있다.
  • Scalability를 고려하여 software를 만들 수 있는 회사는 우리나라에 많지 않다.(남세동)
  • Scalability를 고려할 때 현재 system 뿐만 아니라 앞으로의 발전된 system까지 미리 계산해 넣어서 engineering을 할 수도 있다.(Daum)
reference
Reference
  • www.daum.net
  • www.sayclub.com
  • Daum 메일팀 팀장 유재혁씨 인터뷰
  • Neowiz Sayclub Mail Service 개발 팀장 남세동씨 인터뷰