虚拟天文台数据访问
Download
1 / 55

虚拟天文台数据访问 客户端设计与实现 - PowerPoint PPT Presentation


  • 53 Views
  • Uploaded on

虚拟天文台数据访问 客户端设计与实现. 杨阳 指导老师: 赵永恒研究员、崔辰州副研究员. 主要内容. 论文研究的背景 论文研究的主要内容 GUI 客户端 命令行客户端 系统应用:科学应用范例 系统集成与部署 总结与展望. 主要内容. 论文研究的背景 论文研究的主要内容 GUI 客户端 命令行客户端 系统应用:科学应用范例 系统集成与部署 总结与展望. 论文研究的背景. 虚拟天文台 - 天文观测技术和计算机技术发展的产物 - 通过先进的信息技术将全球范围内的研究资源 无缝透明连接在一起形成的数据密集型网络化

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' 虚拟天文台数据访问 客户端设计与实现' - noelani-battle


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

虚拟天文台数据访问

客户端设计与实现

杨阳

指导老师:

赵永恒研究员、崔辰州副研究员


主要内容

  • 论文研究的背景

  • 论文研究的主要内容

    • GUI客户端

    • 命令行客户端

    • 系统应用:科学应用范例

    • 系统集成与部署

  • 总结与展望

硕士论文答辩


主要内容

  • 论文研究的背景

  • 论文研究的主要内容

    • GUI客户端

    • 命令行客户端

    • 系统应用:科学应用范例

    • 系统集成与部署

  • 总结与展望

硕士论文答辩


论文研究的背景

  • 虚拟天文台

    -天文观测技术和计算机技术发展的产物

    - 通过先进的信息技术将全球范围内的研究资源

    无缝透明连接在一起形成的数据密集型网络化

    天文研究与科普教育平台。

    - 特征:整合天文服务资源

    联合不同的天文数据

    提供各种天文服务

    资源共享

      促进天文学的研究和普及

    2002年6月成立国际虚拟天文台联盟(IVOA)

硕士论文答辩


论文研究的背景

  • 中国虚拟天文台(China - VO)

    - 2002年诞生,同年10月加入IVOA

    - 发展:VO-enable LAMOST

    e-science

    - 天文应用工具:

    SkyMouse:桌面天文信息搜索

    FitHAS:FITS文件头入库

    VO-DAS:异地异构海量数据访问

硕士论文答辩


论文研究的背景

  • VODAS(Virtual Observatory Data Access Service)

    - 天文数据:分布性、异构性和海量的数据访问

    - 2006年5月提出设计VO-DAS

    - 在虚拟天文台环境下 、在网格中间件 OGSA-DAI的基础

    上设计开发一套符合国际虚拟天文台联盟标准的数据访

    问系统

    - 目的:实现异地异构海量数据资源的访问

    - 功能:交叉证认和联合查询

    星表、图像、光谱

    一次访问上百万条记录

    多种数据存储格式:CSV、ASCII、VOTable

硕士论文答辩


论文研究的背景

-VO-DAS的服务发布接口

四大类接口:

RMI:资源元数据接口

DQI:数据查询接口

DAI:数据存取接口

MI:管理接口

接口仅供程序使用,一般用户难

以直接访问

1)VO-DAS必须要有与之相适应的客户

端供用户访问异地异构海量数据资源

VO-DAS体系结构

硕士论文答辩


VO-DAS客户端

- 数据访问客户端的现状

美国Open SkyQuery:只提供Web客户端、同步查询

一次访问最多5000条记录

SDSS的casjob服务:只提供异步查询,分配给用户的空

间有限,非异地查询功能

查询方式 访问数据量 数据资源 用户群

论文研究的背景

2)基于VO-DAS的客户端要解决目前存在

的这些问题

硕士论文答辩


论文研究的背景

- VODAS的三种客户端:

GUI:图形界面,易学易用,适合初级用户

命令行客户端:命令行方式,适合高级用户

Web客户端:不需安装客户端即可使用

扩大了VO-DAS的用户群,发挥了VO-DAS的能力

硕士论文答辩


主要内容

  • 论文研究的背景

  • 论文研究的主要内容

    - GUI客户端

    • 命令行客户端

      - 系统应用:科学应用范例

      - 系统集成与部署

  • 总结与展望

硕士论文答辩


GUI客户端

  • 特点:

    所有的操作以图形界面的方式与用户交互

    适合低频率的数据访问

    适合小数据量的查询

    可与其它VO工具交互协同操作

硕士论文答辩


GUI客户端-

  • 总体结构

GUI客户端设计图

硕士论文答辩


GUI客户端-设计

  • 工作流程:异步方式、同步方式

    - 异步方式

客户端请求连接

获取元数据

读取系统信息

任务完成,下载数据

监控处理

提交异步查询

退出

写磁盘操作

异步方式工作流程

硕士论文答辩


GUI客户端-设计

- 同步方式

客户端请求连接

获取元数据

读取系统信息

等待数据返回

提交同步查询

与其它VO工具交互

数据分析处理

同步方式工作流程

硕士论文答辩


GUI客户端-设计

- 两种方式异同

同:查询任务描述(ADQL)

数据存储格式(ASCII、VOTabl、FITS、

GZIP)

异:查询请求方式

结果数据处理 异步 直接保存

同步 保存/互操作

硕士论文答辩


GUI客户端-设计

  • 结果数据处理(同步)

    - PLASTIC(Platform for Astronomy Tool

    InterConnection)

    天文桌面应用工具之间的通讯协议

    解决VO工具之间的互操作问题

    PLASTIC HUB

    PLASTIC MESSAGE

硕士论文答辩


GUI客户端-设计

- 结果数据处理时序

VO-DAS与TOPCAT交互操作示意图

硕士论文答辩


GUI客户端-设计

  • 监控模块

    - 实时监控服务器的作业,从而对客户端信息进行处理

    - 流程

监控流程控制图

硕士论文答辩


GUI客户端-设计

  • 获取元数据

    - 元数据是描述数据的数据

    - 给用户编辑查询任务提供参考

    - 过程

    请求数据资源(GetAllResource)

    解析返回的资源XML字符串

    请求表信息(GetMetaTable)

    解析返回表的XML字符串

    请求表列信息(GetMetaColumn)

    解析表列的XML字符串

    - 树形结点方式显示

硕士论文答辩


GUI客户端-实现

  • 主界面

元数据显示

ADQL编辑区

监控

GUI客户端主界面

硕士论文答辩


GUI客户端-小结

  • GUI客户端是VODAS客户端的一种形式

  • 设计遵循初级用户简单易用的原则

  • 以图形界面的方式实现:

    元数据获取、同步/异步查询

    结果数据处理(同步)、监控处理(异步)

硕士论文答辩


主要内容

  • 论文背景和意义

  • 论文的主要内容

    • GUI客户端

    • 命令行客户端

    • 系统集成与部署

    • 系统应用:科学应用范例

  • 总结与展望

硕士论文答辩


命令行客户端

  • 特点:

    所有的操作以命令的方式与用户交互

    可以嵌入用户自己的程序中

    适合高频率批量的数据访问

硕士论文答辩


命令行客户端-设计

  • 总体结构:

    Linux或Windows环境下的shell或bat命令

    后台调用服务器接口的java程序

硕士论文答辩


命令行客户端-设计

命令行客户端设计图

硕士论文答辩


命令行客户端-设计

  • 工作流程

    - 异步方式

发起异步请求

连接服务器

提交任务

下载数据

获取结果数据地址

获取任务状态

异步方式工作流程

硕士论文答辩


命令行客户端-设计

- 同步方式

发起同步请求

连接服务器

提交任务

返回结果数据

等待结果数据

同步方式工作流程

硕士论文答辩


命令行客户端-设计

  • 命令部分

    - 与用户直接交互的部分

    - 分别用Shell脚本和批处理环境实现一套操作命令

    - 实现流程:

命令实现流程

硕士论文答辩


命令行客户端-设计

  • 后台部分

    - 接收前台提交的数据,按照服务器接口标准予以转换,

    并调用服务器接口。

    与GUI客户端的异同:

    同:对服务器接口的操作必须经由连接生成Session

    异:命令行用户每请求一次,连接一次;GUI用户则

    只连接一次

    命令行服务器地址等配置信息存放于文件;GUI

    则不是。

    命令行以XML文本显示元数据信息;GUI以树形结

    构显示

硕士论文答辩


命令行客户端-实现

  • 后台程序实现

    实现一组支持客户端的请求操作

硕士论文答辩


命令行客户端-实现

  • 命令接口

硕士论文答辩


命令行客户端-实现

  • 应用:

    asyn.sh –f adqlSample 0 ftp://vodas:[email protected]/test/vodas.dat Session

硕士论文答辩


命令行客户端

硕士论文答辩


命令行客户端-小结

  • 以命令的方式提交用户请求

  • 适合高级用户海量数据的查询要求

  • 实现包含两部分:前台命令、后台程序

GUI与命令行比较

硕士论文答辩


主要内容

  • 论文背景和意义

  • 论文的主要内容

    • GUI客户端

    • 命令行客户端

    • 系统应用:科学应用范例

    • 系统集成与部署

  • 总结与展望

硕士论文答辩


科学应用范例

  • 目的:

    用星流的运动轨迹研究银河系的引力势

    在星流的运动轨道上,我们选取一类距离最容易确定的恒星即BHB星(蓝水平分支星)来估算引力势。

    确定包含BHB星所在的A型星区域。由于A型星中的BHB星会受到BS星(蓝离散星)的干扰,然后就需要分离出BS星来得到BHB星。将这些BHB星用工具将其可视化即可估算出BHB星的运动轨迹,从而可以进一步分析出银河系的引力势。

硕士论文答辩


科学应用范例

  • 应用步骤:

    1)构造ADQL表达式,在GUI客户端查找包含BHB星所在A

    型星

    2)确保TOPCAT运行并启动内置PLASTIC HUB

    3)将查询返回结果直接发送到TOPCAT

    4)在TOPCAT中构建表达式从A型星中筛选出BHB型

    5)求出BHB星的距离,进行坐标转换

    6)可视化3D图,估算运动轨迹。

    从而进一步求出银河系的引力势

硕士论文答辩


科学范例GUI客户端同步查询结果

硕士论文答辩


科学应用范例

科学范例3D可视化

硕士论文答辩


主要内容

  • 论文背景和意义

  • 论文的主要内容

    • GUI客户端

    • 命令行客户端

    • 系统应用:科学应用范例

    • 系统集成与部署

  • 总结与展望

硕士论文答辩


系统集成与部署

- 数据结点配置工具

- VO-DAS系统的集成

硕士论文答辩


数据结点配置工具

  • 传统的数据资源共享方式专业性强而繁杂

  • 数据结点配置工具解决数据资源的共享问题

硕士论文答辩


数据结点配置工具

  • 总体结构

数据结点配置工具模块图

硕士论文答辩


数据结点配置工具

  • 工作流程

初始化

资源部署

访问数据库

生成文件

配置元数据

元数据显示

硕士论文答辩


数据结点配置工具

  • OGSA-DAI资源部署

    - ANT:Java工程自动化构建、部署工具

    - OGSA-DAI使用ANT实现资源部署

    命令行

    图形界面

    - java编程调用ANT实现OGSA-DAI图形界面的资源部署过程

硕士论文答辩


数据结点配置工具

  • 数据库访问

    - JDBC:Java数据库连接应用程序接口简称,提供一套

    数据库编程API

    - 实现访问已部署资源的数据库的元数据

客户端/服务器的应用

硕士论文答辩


数据结点配置工具

  • 元数据配置

元数据文件

硕士论文答辩


数据结点配置工具

  • 主界面

资源部署

元数据配置

元数据显示

数据结点配置工具主界面

硕士论文答辩


Vo das
VO-DAS系统的集成

  • VO-DAS系统的组成

VO-DAS

Data Node

VO Registry Storage Server

Client

VO-DAS系统关联图

硕士论文答辩


Vo das1
VO-DAS系统的集成

  • 部署步骤

    1)VO-DAS Server:部署VO-DAS的gar包及其配置文件

    2)Data Node:运行数据结点配置工具的jar包,经资源

    配置并最终生成么metadata.xml文件

    3)VO Registry:将metadata.xml文件的URL注册到VO

    Registry

    4) Storage Server :支持AstroGrid提供的VOSpace,允许

    指定FTP或GridFTP

    5)Client:GUI,设置java_home并运行jar包

    命令行,设置java_home和命令存放目录

    Web客户端

硕士论文答辩


Vo das2
VO-DAS系统的集成与部署-小结

  • 数据结点配置工具:实现了便捷的数据共享方式

  • VO-DAS系统集成:用户访问VO-DAS系统必不可少

    的工作

硕士论文答辩


主要内容

  • 论文背景和意义

  • 论文的主要内容

    • GUI客户端

    • 命令行客户端

    • 系统集成与部署

    • 系统应用:科学应用范例

  • 总结与展望

硕士论文答辩


总结与展望

  • 总结

    - 客户端

    GUI:适用初级用户低频率的数据查询

    命令行客户端:适合高级用户高频率的数据访问

    - 科学应用范例

    - VO-DAS系统的集成与部署

    数据结点配置工具:生成数据结点,实现数据共享

    VO-DAS系统的集成

  • 展望

  • - Web 客户端的设计

  • - 1.0版本的发布以及后续版本中功能和性能的完善

硕士论文答辩


发表文章

  • VO数据访问服务客户端系统的设计与实现. 杨阳, 刘超, 田海俊, 崔辰州, 赵永恒. 天文研究与技术, in press, 2008.

  • 异地异构天文数据资源的统一访问. 刘超, 田海俊, 高丹, 杨阳, 路勇, 崔辰州, 赵永恒. 天文研究与技术,in press, 2008.

硕士论文答辩


谢 谢!

硕士论文答辩


ad