slide1
Download
Skip this Video
Download Presentation
虚拟天文台数据访问 客户端设计与实现

Loading in 2 Seconds...

play fullscreen
1 / 55

虚拟天文台数据访问 客户端设计与实现 - PowerPoint PPT Presentation


  • 53 Views
  • Uploaded on

虚拟天文台数据访问 客户端设计与实现. 杨阳 指导老师: 赵永恒研究员、崔辰州副研究员. 主要内容. 论文研究的背景 论文研究的主要内容 GUI 客户端 命令行客户端 系统应用:科学应用范例 系统集成与部署 总结与展望. 主要内容. 论文研究的背景 论文研究的主要内容 GUI 客户端 命令行客户端 系统应用:科学应用范例 系统集成与部署 总结与展望. 论文研究的背景. 虚拟天文台 - 天文观测技术和计算机技术发展的产物 - 通过先进的信息技术将全球范围内的研究资源 无缝透明连接在一起形成的数据密集型网络化

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' 虚拟天文台数据访问 客户端设计与实现' - noelani-battle


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1
虚拟天文台数据访问

客户端设计与实现

杨阳

指导老师:

赵永恒研究员、崔辰州副研究员

slide2
主要内容
  • 论文研究的背景
  • 论文研究的主要内容
    • GUI客户端
    • 命令行客户端
    • 系统应用:科学应用范例
    • 系统集成与部署
  • 总结与展望

硕士论文答辩

slide3
主要内容
  • 论文研究的背景
  • 论文研究的主要内容
    • GUI客户端
    • 命令行客户端
    • 系统应用:科学应用范例
    • 系统集成与部署
  • 总结与展望

硕士论文答辩

slide4
论文研究的背景
  • 虚拟天文台

-天文观测技术和计算机技术发展的产物

- 通过先进的信息技术将全球范围内的研究资源

无缝透明连接在一起形成的数据密集型网络化

天文研究与科普教育平台。

- 特征:整合天文服务资源

联合不同的天文数据

提供各种天文服务

资源共享

  促进天文学的研究和普及

2002年6月成立国际虚拟天文台联盟(IVOA)

硕士论文答辩

slide5
论文研究的背景
  • 中国虚拟天文台(China - VO)

- 2002年诞生,同年10月加入IVOA

- 发展:VO-enable LAMOST

e-science

- 天文应用工具:

SkyMouse:桌面天文信息搜索

FitHAS:FITS文件头入库

VO-DAS:异地异构海量数据访问

硕士论文答辩

slide6
论文研究的背景
  • VODAS(Virtual Observatory Data Access Service)

- 天文数据:分布性、异构性和海量的数据访问

- 2006年5月提出设计VO-DAS

- 在虚拟天文台环境下 、在网格中间件 OGSA-DAI的基础

上设计开发一套符合国际虚拟天文台联盟标准的数据访

问系统

- 目的:实现异地异构海量数据资源的访问

- 功能:交叉证认和联合查询

星表、图像、光谱

一次访问上百万条记录

多种数据存储格式:CSV、ASCII、VOTable

硕士论文答辩

slide7
论文研究的背景

-VO-DAS的服务发布接口

四大类接口:

RMI:资源元数据接口

DQI:数据查询接口

DAI:数据存取接口

MI:管理接口

接口仅供程序使用,一般用户难

以直接访问

1)VO-DAS必须要有与之相适应的客户

端供用户访问异地异构海量数据资源

VO-DAS体系结构

硕士论文答辩

slide8
VO-DAS客户端

- 数据访问客户端的现状

美国Open SkyQuery:只提供Web客户端、同步查询

一次访问最多5000条记录

SDSS的casjob服务:只提供异步查询,分配给用户的空

间有限,非异地查询功能

查询方式 访问数据量 数据资源 用户群

论文研究的背景

2)基于VO-DAS的客户端要解决目前存在

的这些问题

硕士论文答辩

slide9
论文研究的背景

- VODAS的三种客户端:

GUI:图形界面,易学易用,适合初级用户

命令行客户端:命令行方式,适合高级用户

Web客户端:不需安装客户端即可使用

扩大了VO-DAS的用户群,发挥了VO-DAS的能力

硕士论文答辩

slide10
主要内容
  • 论文研究的背景
  • 论文研究的主要内容

- GUI客户端

    • 命令行客户端

- 系统应用:科学应用范例

- 系统集成与部署

  • 总结与展望

硕士论文答辩

slide11
GUI客户端
  • 特点:

所有的操作以图形界面的方式与用户交互

适合低频率的数据访问

适合小数据量的查询

可与其它VO工具交互协同操作

硕士论文答辩

slide12
GUI客户端-
  • 总体结构

GUI客户端设计图

硕士论文答辩

slide13
GUI客户端-设计
  • 工作流程:异步方式、同步方式

- 异步方式

客户端请求连接

获取元数据

读取系统信息

任务完成,下载数据

监控处理

提交异步查询

退出

写磁盘操作

异步方式工作流程

硕士论文答辩

slide14
GUI客户端-设计

- 同步方式

客户端请求连接

获取元数据

读取系统信息

等待数据返回

提交同步查询

与其它VO工具交互

数据分析处理

同步方式工作流程

硕士论文答辩

slide15
GUI客户端-设计

- 两种方式异同

同:查询任务描述(ADQL)

数据存储格式(ASCII、VOTabl、FITS、

GZIP)

异:查询请求方式

结果数据处理 异步 直接保存

同步 保存/互操作

硕士论文答辩

slide16
GUI客户端-设计
  • 结果数据处理(同步)

- PLASTIC(Platform for Astronomy Tool

InterConnection)

天文桌面应用工具之间的通讯协议

解决VO工具之间的互操作问题

PLASTIC HUB

PLASTIC MESSAGE

硕士论文答辩

slide17
GUI客户端-设计

- 结果数据处理时序

VO-DAS与TOPCAT交互操作示意图

硕士论文答辩

slide18
GUI客户端-设计
  • 监控模块

- 实时监控服务器的作业,从而对客户端信息进行处理

- 流程

监控流程控制图

硕士论文答辩

slide19
GUI客户端-设计
  • 获取元数据

- 元数据是描述数据的数据

- 给用户编辑查询任务提供参考

- 过程

请求数据资源(GetAllResource)

解析返回的资源XML字符串

请求表信息(GetMetaTable)

解析返回表的XML字符串

请求表列信息(GetMetaColumn)

解析表列的XML字符串

- 树形结点方式显示

硕士论文答辩

slide20
GUI客户端-实现
  • 主界面

元数据显示

ADQL编辑区

监控

GUI客户端主界面

硕士论文答辩

slide21
GUI客户端-小结
  • GUI客户端是VODAS客户端的一种形式
  • 设计遵循初级用户简单易用的原则
  • 以图形界面的方式实现:

元数据获取、同步/异步查询

结果数据处理(同步)、监控处理(异步)

硕士论文答辩

slide22
主要内容
  • 论文背景和意义
  • 论文的主要内容
    • GUI客户端
    • 命令行客户端
    • 系统集成与部署
    • 系统应用:科学应用范例
  • 总结与展望

硕士论文答辩

slide23
命令行客户端
  • 特点:

所有的操作以命令的方式与用户交互

可以嵌入用户自己的程序中

适合高频率批量的数据访问

硕士论文答辩

slide24
命令行客户端-设计
  • 总体结构:

Linux或Windows环境下的shell或bat命令

后台调用服务器接口的java程序

硕士论文答辩

slide25
命令行客户端-设计

命令行客户端设计图

硕士论文答辩

slide26
命令行客户端-设计
  • 工作流程

- 异步方式

发起异步请求

连接服务器

提交任务

下载数据

获取结果数据地址

获取任务状态

异步方式工作流程

硕士论文答辩

slide27
命令行客户端-设计

- 同步方式

发起同步请求

连接服务器

提交任务

返回结果数据

等待结果数据

同步方式工作流程

硕士论文答辩

slide28
命令行客户端-设计
  • 命令部分

- 与用户直接交互的部分

- 分别用Shell脚本和批处理环境实现一套操作命令

- 实现流程:

命令实现流程

硕士论文答辩

slide29
命令行客户端-设计
  • 后台部分

- 接收前台提交的数据,按照服务器接口标准予以转换,

并调用服务器接口。

与GUI客户端的异同:

同:对服务器接口的操作必须经由连接生成Session

异:命令行用户每请求一次,连接一次;GUI用户则

只连接一次

命令行服务器地址等配置信息存放于文件;GUI

则不是。

命令行以XML文本显示元数据信息;GUI以树形结

构显示

硕士论文答辩

slide30
命令行客户端-实现
  • 后台程序实现

实现一组支持客户端的请求操作

硕士论文答辩

slide31
命令行客户端-实现
  • 命令接口

硕士论文答辩

slide32
命令行客户端-实现
  • 应用:

asyn.sh –f adqlSample 0 ftp://vodas:[email protected]/test/vodas.dat Session

硕士论文答辩

slide33
命令行客户端

硕士论文答辩

slide34
命令行客户端-小结
  • 以命令的方式提交用户请求
  • 适合高级用户海量数据的查询要求
  • 实现包含两部分:前台命令、后台程序

GUI与命令行比较

硕士论文答辩

slide35
主要内容
  • 论文背景和意义
  • 论文的主要内容
    • GUI客户端
    • 命令行客户端
    • 系统应用:科学应用范例
    • 系统集成与部署
  • 总结与展望

硕士论文答辩

slide36
科学应用范例
  • 目的:

用星流的运动轨迹研究银河系的引力势

在星流的运动轨道上,我们选取一类距离最容易确定的恒星即BHB星(蓝水平分支星)来估算引力势。

确定包含BHB星所在的A型星区域。由于A型星中的BHB星会受到BS星(蓝离散星)的干扰,然后就需要分离出BS星来得到BHB星。将这些BHB星用工具将其可视化即可估算出BHB星的运动轨迹,从而可以进一步分析出银河系的引力势。

硕士论文答辩

slide37
科学应用范例
  • 应用步骤:

1)构造ADQL表达式,在GUI客户端查找包含BHB星所在A

型星

2)确保TOPCAT运行并启动内置PLASTIC HUB

3)将查询返回结果直接发送到TOPCAT

4)在TOPCAT中构建表达式从A型星中筛选出BHB型

5)求出BHB星的距离,进行坐标转换

6)可视化3D图,估算运动轨迹。

从而进一步求出银河系的引力势

硕士论文答辩

slide39
科学应用范例

科学范例3D可视化

硕士论文答辩

slide40
主要内容
  • 论文背景和意义
  • 论文的主要内容
    • GUI客户端
    • 命令行客户端
    • 系统应用:科学应用范例
    • 系统集成与部署
  • 总结与展望

硕士论文答辩

slide41
系统集成与部署

- 数据结点配置工具

- VO-DAS系统的集成

硕士论文答辩

slide42
数据结点配置工具
  • 传统的数据资源共享方式专业性强而繁杂
  • 数据结点配置工具解决数据资源的共享问题

硕士论文答辩

slide43
数据结点配置工具
  • 总体结构

数据结点配置工具模块图

硕士论文答辩

slide44
数据结点配置工具
  • 工作流程

初始化

资源部署

访问数据库

生成文件

配置元数据

元数据显示

硕士论文答辩

slide45
数据结点配置工具
  • OGSA-DAI资源部署

- ANT:Java工程自动化构建、部署工具

- OGSA-DAI使用ANT实现资源部署

命令行

图形界面

- java编程调用ANT实现OGSA-DAI图形界面的资源部署过程

硕士论文答辩

slide46
数据结点配置工具
  • 数据库访问

- JDBC:Java数据库连接应用程序接口简称,提供一套

数据库编程API

- 实现访问已部署资源的数据库的元数据

客户端/服务器的应用

硕士论文答辩

slide47
数据结点配置工具
  • 元数据配置

元数据文件

硕士论文答辩

slide48
数据结点配置工具
  • 主界面

资源部署

元数据配置

元数据显示

数据结点配置工具主界面

硕士论文答辩

vo das
VO-DAS系统的集成
  • VO-DAS系统的组成

VO-DAS

Data Node

VO Registry Storage Server

Client

VO-DAS系统关联图

硕士论文答辩

vo das1
VO-DAS系统的集成
  • 部署步骤

1)VO-DAS Server:部署VO-DAS的gar包及其配置文件

2)Data Node:运行数据结点配置工具的jar包,经资源

配置并最终生成么metadata.xml文件

3)VO Registry:将metadata.xml文件的URL注册到VO

Registry

4) Storage Server :支持AstroGrid提供的VOSpace,允许

指定FTP或GridFTP

5)Client:GUI,设置java_home并运行jar包

命令行,设置java_home和命令存放目录

Web客户端

硕士论文答辩

vo das2
VO-DAS系统的集成与部署-小结
  • 数据结点配置工具:实现了便捷的数据共享方式
  • VO-DAS系统集成:用户访问VO-DAS系统必不可少

的工作

硕士论文答辩

slide52
主要内容
  • 论文背景和意义
  • 论文的主要内容
    • GUI客户端
    • 命令行客户端
    • 系统集成与部署
    • 系统应用:科学应用范例
  • 总结与展望

硕士论文答辩

slide53
总结与展望
  • 总结

- 客户端

GUI:适用初级用户低频率的数据查询

命令行客户端:适合高级用户高频率的数据访问

- 科学应用范例

- VO-DAS系统的集成与部署

数据结点配置工具:生成数据结点,实现数据共享

VO-DAS系统的集成

  • 展望
  • - Web 客户端的设计
  • - 1.0版本的发布以及后续版本中功能和性能的完善

硕士论文答辩

slide54
发表文章
  • VO数据访问服务客户端系统的设计与实现. 杨阳, 刘超, 田海俊, 崔辰州, 赵永恒. 天文研究与技术, in press, 2008.
  • 异地异构天文数据资源的统一访问. 刘超, 田海俊, 高丹, 杨阳, 路勇, 崔辰州, 赵永恒. 天文研究与技术,in press, 2008.

硕士论文答辩

slide55
谢 谢!

硕士论文答辩

ad