240 likes | 410 Views
脉冲星虚拟天文台 概念设计. 廖名学 王 娜 汪华祥 乌 鲁 木 齐 天 文 站. 内容提要. 2 基本目标. 3 技术结构. 物理系统. 逻辑系统. 4 网络结构. 1 背景简介. 5 功能结构. 6 其他构想. 背景简介. 成熟的脉冲星软件 大量的脉冲星数据 VLBI 实时数据传输 目前是国际合作,将来肯定有国内协作 其他处理软件和记录数据 比如分子谱线和人造卫星等方面。 管理型数据记录 比如观测日志。. PSRChive. PSRGUI. VAP. PAT. ……. 背景:当前 Pulsar 软件体系结构.
E N D
脉冲星虚拟天文台概念设计 廖名学 王 娜 汪华祥 乌 鲁 木 齐 天 文 站
内容提要 2 基本目标 3 技术结构 物理系统 逻辑系统 4 网络结构 1 背景简介 5 功能结构 6 其他构想
背景简介 • 成熟的脉冲星软件 • 大量的脉冲星数据 • VLBI实时数据传输 目前是国际合作,将来肯定有国内协作 • 其他处理软件和记录数据 比如分子谱线和人造卫星等方面。 • 管理型数据记录 比如观测日志。
PSRChive PSRGUI VAP PAT …… 背景:当前Pulsar软件体系结构 PGPlot 闪烁 处理 PTDA 预 处 理 硬盘 到达 时间 PSR Scan 脉冲星 Searcher 数据记录 数据处理 光盘 单个脉 冲观测 Qt TCL/TK 单个脉冲 处理
基本目标 • 远程计算 远程的,近实时的数据处理 • 数据共享 共享的,可管理的数据集成 • 统一平台 统一的,可扩展的开发平台
HTML Web Service JSP JAX-RPC JavaBeans Web Container Tomcat5.0 Servlet JAXR EJB EJB Container JBoss4.0 Native Application Legacy Application Database File System 技术结构:总体结构 Client Presentation Tier Logic Tier Middleware Data Tier Browser Various Web Service Client RMI JNI socket client ANT/Eclipse
技术结构:Java-based Web Service JAXR架构 建立Web服务及其客户端
功能结构 管 理 功 能 用户功能 服 务 功 能 软件功能 数据功能
数据功能:总体 显示 数据库/ 文件系统 下载 转储 Customer 检索 数 据 源 处理 管理 Manager 实时传输 Memory 其他系统 Internet
数据功能:转储 数据分布表 记录软件n 记录软件n 记录软件n 记录软件2 记录软件2 记录软件2 转储程序1 上传程序1 记录程序1 Local Repository Temporary Repository DataBase 1 Intranet or Internet DataBase 2 … DataBase N
软件功能 • 系统软件(如编译器,OS库) 能够浏览必要的系统软件的位置,版本。 • 应用软件(如成图工具) 能够在线浏览必要的应用软件的位置,版本,管理者可以远程升级。 • 用户软件(如用户编制的各种处理程序) 用户软件的位置,版本能够浏览,源程序能够下载,上传。
用户功能 • 管理者 deploy, undeploy, 用户浏览,服务浏览,用户管理(审查,删除,权限分配),数据功能(整理),所有普通用户功能等 • 普通用户 注册,登陆,数据功能(转储,检索,上传,下载,请求整理,远程处理)
管理功能 • 用户管理 • 服务管理 • 软件管理 • 数据管理 • Web管理平台 • Off-line管理
服务功能 • Web service(创建,发布,修改,撤销) • 仅在必要时,作为外部接口 • 所有内部功能不使用Web service • 根据外部需要创建服务
网络结构 • 近期:单-服务器的B/S体系 • 远期:多服务器的,具有负载均衡能力的,能提供实时服务的B/S,C/S多层混合体系结构。
网络结构:远期 Web管理接口 Web请求接口 Web服务接口 实时数据接口 Web负载分配 处理功能分布表 负载分布表 数据分布表 脉冲星数据分布表(按时空) 其他数据分布表(暂无) 计算与数据节点 计算与数据节点 计算与数据节点
网络结构:特点 • 具有实时数据接口 实时数据接口,采用c/s结构,因此整个结构是c/s,b/s多层混合结构。 • 分布式的数据库结构 从(脉冲星)数据处理程序和其他处理程序来看,由于输入数据的相对集中,这种布局是合理的。 • 基于URL和Web内容的交换 可实施优先级别控制(先响应优先级高的用户的需求)。 • 单入口单出口 受限于单IP,数据出口和入口限制在一台服务器上。适应批量数据转储,无速度要求的数据下载,数据处理过程中的结构相对较小。独占的实时数据接口。 • 强适应的Web负载分配机制 可以扩展到多个独立IP的服务器,以适应数据输入输出较多的情形。
主服务器 RMI Client RMI Server 服务 节点1 服务 节点2 服务 节点n …. 网络结构:两种技术 Web Service JAX-RPC JAXR XML Based Soap Message Any WS-I Compliant Web Service Clients R M I 内部同构服务器集群 外部异构 Web服务 客户端 Internet
其他构想 • 遗留系统的观点 目前的遗留系统主要是各个分散的处理程序,有些是开源软件,有些是自编软件,一般采用linux c语言。其特点是技术含量并不高,但是价值突出,应该采取集成化处理。并且今后仍然会不断产生这样的程序。目前,还不可能在这些程序基础上添加外部接口(比如Web Service,RPC,RMI等)。考虑到不可能修改这些程序以适应新的系统,故采用JNI进行集成(需要增加代码,但是量很小,不会超过10行每程序;方式单一,可以批量进行)。 • 数据分布的原则 怎样分布是合理的?怎样分布才能减少数据流量?大部分人和大部分处理请求很可能集中在最新的数据上。对最新数据 • 数据保护 概念设计中没有考虑这点。数据备份,可以在网络结构中增加数据节点,将历史的,稳定的数据备份;为防止数据破坏,数据节点可禁止修改。数据节点不承担计算任务。双备份,备份过程是备份+检查。 • 集成科普 静态科普资料,动态科普资料;交互式科普调查,竞赛等
其他构想:统一管理平台? • 各个虚拟天文台的建设中肯定有共性部分 • 用户管理也许可以统一建设 • <脉冲星>虚拟天文台应该考虑今后的用户管理集成?
其他构想:统一管理平台? 管理平台 用户注册 服务注册 用户审核 用户登陆 Web交换 用户Session 用户表 服务表 用户ID 所属域 权限字 服务ID 所属域 URL
其他构想:并行处理 • 有些数据处理可能需要并行处理 • 比如脉冲星巡天数据分析 • 概念设计中的体系结构也适合并行处理
谢谢! 敬 请 指 教!