1 / 44

中科院数据云 环境与 服务

中科院数据云 环境与 服务. 中科院计算机网络信息中心 科学 数据中心. 中国科学院“科技云”. 科技云. 领域云. 领域云. 软件服务云. S. 数据云. 计算云. I. P. 数 据 云总体目标. 构建先进的科学数据基础 设施，形成 中国科学院数据云 整合各类数据相关资源，形成以海量科技数据为核心的系列 “海 - 云”服务 逐步建成面向科技界 开放共享 国家级科技数据中心 以云服务的形式支持 各类终端 访问. Matlab. 数据资源. 文献资源. 模型资源. 处理资源. 存储资源. 软件资源. 中国科学院数据云. 各种形式的云服务.

april-maddox
Download Presentation

中科院数据云 环境与 服务

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 中科院数据云环境与服务 中科院计算机网络信息中心 科学数据中心

  2. 中国科学院“科技云” 科技云 领域云 领域云 软件服务云 S 数据云 计算云 I P

  3. 数据云总体目标 • 构建先进的科学数据基础设施，形成中国科学院数据云 • 整合各类数据相关资源，形成以海量科技数据为核心的系列“海-云”服务 • 逐步建成面向科技界开放共享国家级科技数据中心 • 以云服务的形式支持各类终端访问 Matlab 数据资源 文献资源 模型资源 处理资源 存储资源 软件资源 中国科学院数据云 各种形式的云服务 高性能计算设施 数据管理服务

  4. 数据云服务层次 • 基础设施即服务(IaaS) • 以通用和专用的访问接口提供云存储、云计算服务 • 数据即服务（DaaS） • 以自助方式实现云端数据建库和管理云服务 • 以通用接口实现科研数据共享云服务 • 以数据应用社区提供数据共享、交换与引用云服务 • 软件即服务（SaaS） • 以软件云服务形式实现数据资源访问统计与评估云服务 安全控制 服务管控 共享机制 标准规范 软件即服务（SaaS） （数据资源访问统计与评估） 数据即服务（DaaS） （科研数据管理、共享云服务） 基础设施即服务（IaaS） (云存储等)

  5. 科技数据资源整合与共享工程 • 数据存储与管理云服务环境 • 科学数据整合与共享服务 • 学科领域数据资源整合 • 研究所数据资源整合 • 专业数据库运行服务 • 海量科学术语分析与应用示范 • 科学数据与科技文献集成服务关键技术研究与应用示范 • 海量科学数据分析可视化关键技术研究与应用示范

  6. 科学数据资源整合 • 1月16日发布项目指南，公开征集重点库 • 5月份完成立项评审，支持20个库 • 其中，学科领域数据整合13个，研究所数据整合7个 • 7月份，组织整理重点库项目管理手册 • 8月份完成重点数据库项目经费划拨 • 12月12日，发布专业库指南，公开征集后评估专业库，截止2014年1月20日 • 启动经费+运行服务补贴

  7. 整合建设20个重点数据库

  8. 专业库服务后评估

  9. 数据云基础设施 • 分布式大规模存储设施 • 1个总中心+1个备份中心+12个区域中心 • 目前具备 • 24PB存储 • 5000CPU核 • 十二五目标 • 50PB存储 • 上万CPU核

  10. 一、云存储服务IaaS：公共存储服务 • 提供API,支持云存储科研应用 • 面向科研团队，存储资源共享 • 分布式存储，可就近使用 专用客户端 大 数 据 SOAP接口 REST接口 C/S客户端 小 数 据 应用A 应用B Web Service服务 用户

  11. 统一存储服务引擎 ……用户…… • 针对不同的存储需求，研发统一存储服务引擎，提供各类在线存储服务 • 面向云端用户及应用提供web service 服务接口 • 针对高速访问存储的需求，提供专用的CIFS接口 • 面向云计算虚拟机、物理机对块存储的需求，提供块存储接口 统一存储服务 WebService CIFS Block 统一存储引擎 集群存储 高端盘阵 中端盘阵 磁带库 云存储 Cloud Ceph Mfs Gluster…

  12. 云存储服务接口

  13. 云存储服务系统 • 服务平台 • 管理平台 • 基于web的云存储业务服务平台 • 便于大数据传输的C/S客户端工具 • 云存储web service支持服务

  14. web service API使用方式 • ①：用户从“帮助中心”“SDK下载”可下载用于web开发的RESTful SDK。 下载SDK ②：将SDK加入到Web项目的lib中，并配置如下参数 apiKey= #apikey，分配的api密钥 secretKey= #安全密钥 poolName= #资源池名称 userName= #用户名 ws.url= #webservice服务的url num= #批量操作的线程数 配置参数 • ③: 在java类中new一个客户端。 开始使用 • CngiClientss = newCngiClient(); 调用接口，传入参数，以查询所有对象listObject为例： ObjectListingobjectListing = ss.listObject(poolName,userName, filePath,api_key,secret_key);

  15. CS客户端使用方式 登录 上传 下载

  16. 专用客户端使用方式 • ①：从户获取并安装存储客户端软件。 获取并安装客户端软件包 ②：并配置如下参数 • <Config> • <!-- monitor服务器地址 --> • <monitor ip="159.226.12.70" port="3141"/> • <!-- 本地使用的ip地址 --> • <interface ip="159.226.12.74" port="9001"/> • <!-- 注册使用的用户名 --> • <user name="yfs_beijing_demo"/> • <!-- 是否使用ipv6协议 --> • <ipv6>true</ipv6> • <!-- 挂载路径 --> • <mountpoint>/mnt/yfs_beijing_demo</mountpoint> • <!-- 导出目录 --> • <export>/yfs_beijing_demo</export> • <!-- 是否在本地保留读取文件的缓存 --> • <keepcache>false</keepcache> • </Config> 配置参数 使用客户端挂载存储 • ③: 挂载存储 • # ./YfsAP -c yfsAP_beijing_demo.xml

  17. 基于Web Service云存储应用开发 • 存储服务：基于POSIX文件存储的接口服务 • Restful服务：基于HTTP的资源分布式服务架构 Http 1.1 Apikey: xxxxxxxxxx Secretkey: xxxxxxxxxx GET http://ws.dcloud.cn/ LsDirectory?dirPath=/ HTTP报文 HTTP报文 Http 1.1 200 OK {Result:{msg:”ok”,status:”success”}}

  18. 云存储应用：快速建立网盘等存储 小文件传输：单次连接中不超过100MB大小文件的上传/下载； 大文件传输：支持并发上传/下载，断点上传/下载。

  19. Web Service云存储开发资源 开发在线帮助：http://service.dcloud.cn -->”帮助中心” SDK下载：http://service.dcloud.cn -->”资源下载” REST API评测： http://ws.dcloud.cn/restTest

  20. 二、云计算服务IaaS：计算资源服务 • 基于openstack，提供虚拟机自定义配置 • 实现虚拟机和物理机统一管理和动态调度 • 支持Hadoop和MPI等环境的快速部署以及资源的弹性扩展 虚拟机全生命周期管理 CPU、内存、硬盘的弹性扩展 高可靠性和高可用性的在线迁移

  21. ECCP云主机 • 自助服务、秒级完成创建或删除； • 灵活的镜像管理系统（公有、私有镜像、镜像的分享） • 多样化的云主机类型：windows、ubuntu、centos、Fedora； • 云主机的过户 • 安全组：自定义防火墙规则 • 云主机在线伸缩

  22. 云主机的访问 • VNC方式 • 浮动IP • 内网浮动IP • 公网浮动IP • 端口映射

  23. 云硬盘 • 为云主机提供独立生命周期、高可靠、高性能的块设备存储； • 可用作扩展云主机的磁盘空间、持久化保存数据 • 超量分配 • 支持多种访问协议

  24. 物理主机监控 • 数据实时收集、展示 • 故障报警，先于客户第一时间发现问题 • 开放接口

  25. 云主机的监控 • 监控对象 • 监控数据获取及存储 • 数据展示 • 云主机无需安装AGENT

  26. CPU、内存和硬盘弹性扩展 云主机配置： CPU：四核 内存：4GB 硬盘：200GB 网卡：eth0、eth1 云主机配置： CPU：2核 内存：2GB 硬盘：100GB 网卡：eth0 弹性扩展 • 应用场景 • 云主机的资源无法满足用户需求。 • 特性价值 • 可在线扩展云主机的CPU、内存、硬盘资源，不需要停机，保证业务的持续性。

  27. 云主机动态迁移 • 迁移过程中，云主机持续可用 • 数十秒（共享存储、千兆带宽） • 维护节点服务器不影响云主机的运行 • 自动检测存储环境

  28. 云计算应用：快速部署私有云 控制台 修改 • 部署数据中心云计算 • 自动批量部署的可扩展计算资源管理和服务 • 虚拟机全生命周期的管理 • 灵活配置防火墙机制，具备良好安全性 • 实现对物理机的管控，自动负载平衡 删除 创建 快照 启动 克隆 暂停 云主机 可靠、高效、易用的云计算基础平台 裸硬件 迁移 休眠 • 申请院云计算服务资源 • 按需申请 • 自助使用 • 弹性扩展 关闭 重启 下电 恢复 云主机全生命周期管理

  29. 三、云归档服务IaaS：海量备份长期保存 国家级数据归档中心 • 北京怀柔 • 磁带库 30+ PB • 盘阵 1PB • 可扩展 • 中关村机房：6PB • CNGI高速网络 • 骨干网10 GB/s • 连接全国 CNGI 典型用户：院档案馆数据 院ARP数据

  30. 四、云灾备服务IaaS：高等级数据灾备 灾备网络 两地多中心容灾 • RPO 30分钟恢复(国标5级) • VPN数据通道 • 1PB 海量存储 • 灾备与生产的平滑切换 • 云灾备技术平台 • 动态双向迁移 • 地理和设施的安全环境 • 跨地域远程5城市 • 电信级机房 重要生产系统 ERP管理系统 科研业务系统

  31. 五、大数据处理

  32. 大数据处理IaaS：MR-Hadoop应用环境 • 由200个计算节点构成，共2400个计算核心，本地磁盘存储2.4PB • 并与容量为5PB磁带库连接，形成分级存储体系

  33. 数分钟内完成hadoop平台搭建、支持节点的增删 • 提升hadoop高可用和容错能力 • 提升hadoop环境资源利用率 • 集群易于维护和迁移

  34. 地理空间数据云 GS Cloud 集成地学遥感领域的数据、存储、计算模型、在线计算的一站式服务平台 • 海量数据时空检索 • 互联网数据自动爬取 • 用户私人数据空间 • 遥感分析模型在线计算 • 空间数据可视化 在线数据资源量达300TB，在线用户5.4万人，累计数据下载量100TB

  35. 食品安全信息监测与分析平台 • 对海量信息的实时收集、垂直集成，并与数据处理、预警模型结合，提供再分析

  36. 六、科研数据管理云服务 VDB Cloud • 面向科学数据库建设和管理需求 • 用户不再需要考虑计算机物理环境和数据库管理软件 • 满足多元数据的管理、快速建库应用 • 大幅降低数据管理技术门槛和维护成本

  37. VDB Cloud提供云端管理数据 申请 使用 申请 创建 云计算管理平台 虚拟机 虚拟机 虚拟机 虚拟机 网络资源 计算资源 存储资源 系统架构

  38. 在线申请，快速投入使用 1：注册登录 2：申请个人应用 3：应用创建成功 4：登录使用

  39. 常见建库途径 图形化建模 从EXCEL创建 远程VDB迁移式创建

  40. 主要功能 http://www.vdbspace.cn • 6大功能模块

  41. 云计算、云存储技术培训 （2013年8月、11月）

  42. 欢迎使用数据云服务！ • 基础设施服务 • 云存储：Service.dcloud.cn • 云计算：Eccp.zedata.cn • 云归档 • 云灾备 • 数据平台服务 • 科研数据管理: VDB Cloud • 科研信息推送：Scinfo • 数据应用服务 • 地理空间数据云 GS Cloud

  43. 网络中心科学数据中心 • 虞路清 • 58812516 • yulq@cnic.cn

More Related