710 likes | 911 Views
高能所网络环境 与 高能所网络综合管理系统. 齐法制 ( 高能所计算中心 ) Fazhi.QI@ihep.ac.cn. 1. 高能所和高能所计算中心介绍. 高能所和高能所计算中心概况. 1 个国家实验室, 2 个院重点实验室。 北京正负电子对撞机国家实验室 中科院核分析技术重点实验室(北京分部) 中科院粒子天体物理重点实验室 国家纳米中心协作实验室 —— 同步辐射实验平台 纳米生物效应实验室(纳米中心、高能所共建) 网络安全实验室(高能所、中央办公厅电子科技学院、中关村管委会) 计算中心 33 名固定人员,近 20 名项目聘用人员, 10 多名研究生
E N D
高能所网络环境与高能所网络综合管理系统 齐法制 (高能所计算中心) Fazhi.QI@ihep.ac.cn
1. 高能所和高能所计算中心介绍 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
高能所和高能所计算中心概况 • 1个国家实验室,2个院重点实验室。 • 北京正负电子对撞机国家实验室 • 中科院核分析技术重点实验室(北京分部) • 中科院粒子天体物理重点实验室 • 国家纳米中心协作实验室——同步辐射实验平台 • 纳米生物效应实验室(纳米中心、高能所共建) • 网络安全实验室(高能所、中央办公厅电子科技学院、中关村管委会) • 计算中心 • 33名固定人员,近20名项目聘用人员,10多名研究生 • 承担多项国家和科学院重大项目 • 大型计算平台研究与建设 • 网格平台建设 • 网络安全研究 • 园区网络 • …… QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
为什么要计算中心 • 海量数据 • 大量计算,数据处理 • 网络,数据传输,国际交流 • …… 理论 计算 实验 (Borromean Rings) QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
BEPCII & BESIII BEPCII正在升级到双环 亮度将提高到(3~10)×1032 cm-2s-1 J/, ’, -charm物理研究 基地 5年内将积累5PB的数据,需要 2000个CPU用于数据分析 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
羊八井宇宙线实验 • 中国-意大利-日本在西藏合作进行宇宙线实验 • 每年产生200TB的原始数据 • 数据需从羊八井传回高能所,并分析处理需要约400个CPU用于数据重建 • 合作单位实时访问数据 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
大亚湾中微子实验 • 在广东大亚湾核电站进行的物理实验 • 重大国际合作 • 中国 美国 等六个国家和地区 • 34个研究单位 • 190多名研究人员 • 每年产生200TB数据 • 数据需从大亚湾传回高能所,并分析处理,需要约200个CPU • 合作单位实时访问数据 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
LHC QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
高能物理计算需求 每年产生的数据: >15 PetaBytes/year 刻度、重建、模拟等计算所需的 CPU: 10万个以上! QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
2006年2月,高能所与CERN签署了合作备忘录 承诺建设WLCG二级地区中心 Lab m Uni x CERN Tier 1 grid for a regional group Uni a UK USA Lab a France Tier3 physics department Tier 1 Uni n Tier2 Japan … CERN Tier 0 Lab b Germany Taipei Lab c grid for a physics study group Uni y Uni b Desktop 参加国际高能物理网格 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
中国高能物理网格 BES Online system 海量数据 存储系统 Offline processor farm YBJ Tier 0 CERN CMS & ATLAS IHEP Computing Center CASTOR Tier 1 PKU SDU …… USTC NJU … 物理数据 缓存 Tier 2 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
计算中心的工作 • 高能所网络环境建设、管理与维护,网络性能分析与优化 • 日常办公素要 • 高能物理数据驱动 • 新一代计算平台建设 • 超大规模计算机集群(>4000CPU) • 超大规模数据存储系统( >5PB) • 参与国际高能物理网格计算环境研究与建设 • 高能物理计算框架 • 网络安全新技术研究 • 高速网络数据获取与分析 • 高速网络信息监视系统 • 安全BIOS研究 • 网络取证系统 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
与国内外研究机构建立了紧密的合作关系 • CERN • IN2P3 • ASCC • CNIC • INFN, 北航,北京大学, 山东大学, 南京大学,华中师大,… QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
2. 高能所网络环境介绍 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
高能所校园网环境 • 有线网络 • 150余台设备,cisco,港湾,force10,cabletron,网威 • 万兆骨干(计算网络),千兆园区连接 • 无线网络 • 办公区 • 依托现有有线网络设备、链路 • 增加无线接入点(AP) • 便于管理和控制,无线网络为一个VLAN,跨越全所办公区域 • 自主开发了控制系统和记账系统 • 家属区 • 方便用户在家办公 • 家属区网络作为高能所校园网内网的一部分 • 为了安全和访问控制,在家属区网络和校园网之间增加一台网关设备(防火墙,IP接入控制,DHCP服务器) QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
高能所校园网拓扑图 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
高能所广域网以及远程网络连接 • 广域网 • 1Gbps 科技网 • 同美国、亚太、欧洲良好的通讯质量保证 • 远程连接 • 西藏羊八井 • 155Mbps 专线 • 广东大亚湾 • 45Mbps专线 • 2011年底升级至155Mbps QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
高能所应用系统 • 公共服务系统 • 邮件系统、网站群、ARP等 • 计算资源 • ~4000个Core • 存储系统 • 磁盘:900TB • 磁带库:2PB QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
高能物理实验对计算和存贮资源的需求 • CMS 和 Atlas - 2000CPUs/600TB • BESIII - 4000CPUs/400TB 磁盘/4.8PB 磁带 • Argo - 400CPUs,200TB磁盘/200TB 磁带 • Daya Bay - 200CPUs/200TB磁盘/200TB 磁带 • HXMT - 1000CPUs/800TB. • 生物 - 200 CPUs并行计算环境 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
3.高能所校园网综合管理体系 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
制度(人员分工及岗位责任制度) QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
制度 • 周报制度 • 月例会制度 • 高能所托管服务器管理办法 • 高能所无线网络使用制度 • 高能所IP地址申请制度 • …… QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
网络综合管理系统 • 无商业软件,全部自主开发+开源软件集成 • 基于需求驱动 • 功能模块 • 用户信息(计算机信息)管理 • 用户接入管理(有线网络/无线网络) • 网络监视系统 • 设备/服务运行状态监视 • 设备/服务性能监视 • 设备故障报警(Email、图像、声音、短信) • 设备/服务可用性报告 • 网络流量(bps & pps )实时展示 • 广域网监视 • 用户流量记账(账单/大流量提示/流量查询等) • 流量分析(定向性分析/协议统计等) • 设备运行管理系统 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
用户(IP/MAC)信息管理 • 自主开发 • LAMP架构(Linux+Apache+MySQL+PHP) • 功能 • 所有系统的基础(接入控制,记账等) • 用户在线申请IP地址 • 管理员审核用户申请,并且根据其具体信息分配IP • 通过Email通知用户IP地址设置信息 • 在线查阅IP地址信息 • 在线申请注销IP地址信息(需要管理员审核确认) • 在线更改注册信息(需要管理员审核确认) QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
有线网络用户接入控制 • 有线网络(自主开发) • IP+MAC: • 与IP地址管理系统关联,管理员审核之后自动完成绑定操作,并Email通知用户绑定信息 • IP+MAC+SW Port: • 由于需要知道port值,必须用户计算机在线时方可绑定,此时,提供一个web接口,管理员通过该界面直接点击即可完成绑定/取消绑定的操作 • 减少了管理员的工作量,值班人员即可操作(无需掌握交换机操作命令) • 以上绑定全部基于acl实现,而非静态ARP,实现了没有注册登记(绑定)的IP无法进行网络访问 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
无线网络用户接入控制 • 无线网络(自主开发) • 办公区 • DHCP • 高能所校园网区域均可获取信号和无线网络IP • 上网时,系统自动判断用户无线网卡是否注册,如已注册,则可正常访问;否则,被自动重定向到注册页面 • 注册和审核过程:(见无线网络使用规范) • 管理员通过web页面对用户上网申请进行审核 • 家属区 • 离线注册 • 双重保障 • DHCP:基于MAC地址分配地址,未注册MAC无法获取地址 • 用户认证 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
高能所网络监视系统需求 • 报警方式 • 界面状态显示报警 • 声音报警 • 邮件报警 • 结果发布 • web • 管理控制 • 监视对象管理 • 用户管理 • 故障事件管理 • 日志管理 • 网络拓扑管理 网络设备/服务器是否存活 CPU利用率 内存占用率 网络设备接口/服务器网卡处理数据包数 服务器硬盘分区剩余空间大小 指定服务状态 指定进程工作情况 网络连接数量 监视对象 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
监视系统概要 • 系统 • 开源+开发 • LAMP架构 • 工作流程 • 首先读取系统级配置文件,对监视系统的监视对象和监视策略进行初始化 • 调用网络扑图结构图,将采集到的性能数据与网络拓扑图进行关联,形成网络链路状态监视结果显示,并根据结果分析以不同的颜色予以区分 • 针对节点(服务器、网络设备)监视,同样根据监视策略将监视结果使用不同的颜色状态在主页面上显示 • 根据报警策略设置,向相关人员发送异常状态设备和服务警报信息。 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
设备/服务监视 • 网络设备 • 交换机、路由器、防火墙 • SNMP • 监视项目 • 网络设备运行状态(UP/Down) • 网络设备性能状态 • 设备cpu利用率 • 设备内存利用率 • 设备接口收发数据包/字节数等--〉链路性能信息 • 服务器/应用 • 应用服务器、计算节点等考虑到安全因素无法开启SNMP的网络设备 • 服务器运行状态(UP/Down) • 服务器性能状态 • 服务器自身的状态,如内存、cpu/load、进程数等 • 安装客户端 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
设备故障报警 • Email • 图像 • 声音 • 短信 • 避免现场值班 • 提高故障响应速度 • 一个短信网关(自主开发,系统+短信猫+SIM卡) • 预设故障诊断规则库 • 根局采集到的性能数据,查询故障诊断的规则知识库,判断出是什么故障 • 查到故障类别,及时发送报警信号 • 无法查询到故障类别,则在发送报警信号的同时,发送故障信息给管理员,由管理员更新完善故障规则库 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
设备/服务可用性报告 • 直观的图形化报告 • 用于: • 网络设备、服务健康性评价 • 设备、服务器升级的数据支持 • 管理员工作考核 • 年报资料(供领导查阅) QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
网络流量(bps & pps )实时展示 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
综合管理系统应用效果展示 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
页面导航和汇总统计 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
网络拓扑实时显示 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
监视对象分组显示/组内成员状态显示 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
故障报警 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
网络拓图扑调整 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
用户流量统计 用户 信息 • 自主开发 • 原理 • 功能 • 账单 • 大流量提示 • 流量查询 • 科研流量/非科研流量 • 效果 用户 信息 DHCP 日志 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
记费系统 • 目的: • 避免网络资源浪费 • 冲抵网络链路租用费 • 功能: • 流量采集、费用计算、账单、大流量报警、网上查询 • 基于IP(有线)和基于MAC(无线) • 丰富的计费策略, • 用户不同,策略不同 • 所内之间不计费 • 科研与非科研流量分别统计计费 • 分时段计费:按照时段设置优惠策略,白天收费高些,夜晚收费优惠。 • 培养用户珍惜网络资源的好习惯,有效的提高网络使用效率并减少了带宽压力。 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
流量分析 • 开源+开发 • 目的 • 网络的可视性 • 应用的可视性 • 长期的趋势数据用作网络带宽规划 • 功能 • 定向性分析 • 协议统计 • 实现 • 数据采集处理模块 • 端口镜像 • nProbe • 数据存储模块 • Perl+Mysql • nProbe输出的数据文件 mysql数据库 • 数据分析模块 • PHP+Apache • 网络流向分析: WHOIS:IP地址信息<->地域信息 • 网络应用统计: P2P/VOIP/FTP/HTTP/…统计 • 根据配置(如:需要统计的IP地址段/主机/协议/…)实现对流量和网络会话信息的归纳、统计 • 使用apache对结果发布 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
系统使用效果展示 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
广域网监视 • 网络连通性 • 网络可靠性 • 网络性能 • 监视 • 测量 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
设备运维系统 • 功能(续) • 故障管理 • 查询 • 基本信息查询(按主机名,时间段,关键字,ip) • 添加 • 删除(权限:组负责人和管理员)修改(权限:组负责人和管理员) • 知识库 • 查询 • 基本信息查询(关键字,类别) • 添加 • 删除 • 修改 • 正在开发中 • 当前的运维管理办法 • 文档制度 • 针对设备的操作历史查找困难 • 目的 • 文档记录数据库化 • 便于查找和总结 • 功能 • 设备管理(主机管理) • 查询 • 基本信息查询(按主机名,位置,组,ip) • 查询历史修改记录 • 添加 • 删除(权限:组负责人和管理员) • 修改(权限:组负责人和管理员) • 系统运行管理 • 查询 • 基本信息查询(按主机名,时间段,关键字,ip) • 添加 • 删除(权限:组负责人和管理员) • 修改(权限:组负责人和管理员) QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
4. 高能所网络安全管理体系 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet
网络安全管理制度 • 网络/系统管理员的岗位职责及行为规范制度 • 高能所网络使用规范和制度 • 服务器的日常维护和检查制度 • 防火墙规则变更制度 • 网络设备配置变更制度 • 紧急事件的应急响应制度 • Linux安全问题应急处理及UNIX安全事件处理 • 电子邮件服务器的使用规范和制度 • 计算机病毒防范制度 • 病毒问题的解决流程 • 系统补丁添加制度 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet