Linux 系统 在科大校园网管理中的应用

1. Linux系统在科大校园网管理中的应用 张焕杰 email/msn: james@ustc.edu.cn 中国科学技术大学 网络信息中心 2008-11-08 V1.0 2010-09-18 V2.0

2. 主要内容 • 中国科大校园网络历史与现状 • 网络基础设施 • 网络管理系统 • 网络服务 • KD-50-I基于龙芯2F的万亿次高性能机

3. 网络信息中心简介 • 网络信息中心承担以下工作 • 校园网和校园信息化系统建设和运行 • 含一卡通、东活一楼学生机房与网络自习室 • 高性能计算设施的建设和运行（校级超算平台） • CERNET合肥主节点 • 中国教育科研网在安徽的落地点 • CNGI CERNET2中国科大节点 • 使用IPv6协议的下一代教育网络在安徽的落地点 • 安徽省教育和计算机网网络中心 • 安徽省内教育机构接入网

4. 校园网络的发展过程 • 1993年开始规划 • 1994年建成FDDI主干的校园网 • 1995年连接教育网 • 1999年连接中国电信网络 • 1996年网络中心正式成立 • 1996年安徽省教委决定：安徽省教育和科研计算机网网络中心设在我校 • 2000年改造为千兆以太网主干 • 2001年更名为网络信息中心 • 2005年CNGI-CERNET2核心节点之一中国科学技术大学节点建成 • 2005年改造为万兆以太网主干，全面支持IPv6协议

5. “校园一卡通”系统建设 • 为推进数字化大学的建设，2001年开始实施信息化建设的重要项目“校园一卡通”工程。进一步强化校级统一的、集中式的信息管理，同时也以电子化的消费模式方便广大师生的教学、科研和校园生活。 • “校园一卡通”工程采用“校银企”合作的模式，即由银行投资、集成商承包工程、学校提出需求共同参与建设的模式。实现 “一卡通用，一卡多用”，使校园卡具有在校园内各类消费和校园管理的功能，包括：身份认证、存款、消费功能、信息查询、管理等功能。 • 国内大学首家大规模建设的“一卡通”系统

6. 西区学生宿舍 超级计算平台 教一楼 东区学生宿舍 教二楼 行政办公楼 化学楼 理化中心大楼 科研楼 艺术楼 物理楼 理化一号楼 出版社 东区活动中心 微尺度 继续教育学院 大礼堂 数学楼 中国科学技术大学校园网络主干及出口示意图 CSTNET CERNET2(IPv6) CNCNET 图书馆 CERNET CHINANET 力一楼 教三楼 电四楼 力二楼 生命科学学院 力三楼 1G 2G 1G 700M 500M 电子工程与信息系 力四楼 1G 计算机科学系 西区核心节点 校园无线网覆盖 网络中心核心节点 信息学院 西区活动中心 高性能计算中心 10G 服务器群 火灾科学实验室 加速器 西校区 10G 网络信息中心 东区核心节点 南区汇聚节点 软件学院 南区实验楼 MBA中心 南区图书馆 南区教学楼 计算中心汇聚节点 南区学生宿舍 南区办公楼 南校区 东校区

7. 亳州市 阜阳市 淮南市 亳州职业技术学院 北京市 Internet 阜阳师范学院 10G 10G CERnet网络中心 淮北市 安徽理工大学 155M SDH 北环 7个市共享 华东(南)地区网路中心 华中地区网路中心 武汉市 上海市 淮北师范大学 中国科大 2.5G 滁州市 2.5G 宿州市 安徽大学 蚌埠市 合肥市 安徽财经大学 滁州学院 合肥工大 宿州学院 安徽省网中心 安徽农大 六安市 安徽医大 安庆师范学院 铜陵学院 中医学院 皖西学院 155M SDH 南环 9个市共享 黄山市 铜陵市 池州市 巢湖市 芜湖市 安庆市 马鞍山市 合肥学院 池州学院 1G 电子工程学院 巢湖学院 省考试院 省电教馆 建工学院 省教育厅 宣州市 安徽师范大学 黄山学院 宣城职业技术学院 安徽工业大学 合肥地区城域网光纤接入 安徽省教育和科研网主干网络拓扑结构图2010.9

8. 中国下一代互联网CNGI CERNET2合肥主节点拓扑图 济南 南京 Juniper T640 核心路由器 中国科大 合肥工大 安徽大学 比威12008 接入路由器 华为NE80 接入路由器 2.5G 1G

12. 联想GPU集群 12/50

13. 基于国产龙芯系列CPU的高性能机内部结构 13/50

14. 网络资源情况---IPv4部分 • 对外网络出口 • 4个IPv4网络出口，带宽4.2G • 教育网2G，科技网1G，电信700M，联通500M • 合计241C+48IP地址，其中 • CERNET 208C地址 • 电信 16C+32地址 • 科技网 1C地址 • 联通 16地址 • 另储备有从CNNIC申请的1B地址可供将来使用 • 拥有独立的自治域号AS45081 • 校内设置了MPLS L3 VPN，分别对电信的16C和科技网1C各设置了VRF

15. 网络资源情况---IPv6部分 • 对外网络连接 • 1个IPv6网络出口，带宽1G • 预计不久将增加科技网IPv6出口 • 校内网络，目前使用2001:DA8:D800::/48 IPv6地址 • 全校所有地方（包括VPN用户）支持IPv6协议 • 另从CNNIC申请了2400:b600::/32和2401:1E00::/32地址段，具备充足的发展空间。

16. 校园出口利用率 CERNET 教育网 CERNET2 IPV6 CHINANET中国电信 CNC中国联通

17. 一周内活动的主机数 IPv4活动主机数 IPv6活动主机数

18. 合肥中心节点IPV6网络天气图 • 更多信息 http://202.38.64.1

19. 校园网络管理理念 • 开放的校园网络 • 只要是支持TCP/IP的系统，都能接入应用 • 只要不违反法律法规，不影响网络运行，都应该支持 • 大量的系统构建在开源软件之上 • 以用户为中心 • 接入方式多，满足各种用户需要 • 方便使用，尽量少设置障碍，让用网络像用电用水一样方便 • 网络资源用足、用透

20. 科大校园网络提供的服务 • 对个人用户，网络费用的分担以包月方式 • 灵活方便的“网络通”服务 • 随时随地的高带宽网络接入服务 • 全校使用DHCP自动分配IP地址 • IPv4/IPv6双栈 • 多种网络应用服务 • 多达1G的邮件/主页 • VOD等Internet应用 • 电子校务等业务系统

21. 用户接入 • 校内工作区接入 • 直接接入，DHCP方式分配IP地址 • 学生宿舍接入 • 缴费后端口自动开通， DHCP方式分配IP地址 • 校内无线 • 开放接入，DHCP方式分配IP地址 • 校外用户 • PPTP与OpenVPN两种VPN，CERNET、电信、联通接入点 • 使用无状态方式分配IPv6地址

22. 网络基础设施 • DNS • DHCP • 认证/计费 • 网络通出口控制 • 学生宿舍计费控制 • WWW/反向代理 • VPN接入

23. DNS服务 • 网络最基本服务 • Red Hat Enterprise Linux AS release 4 • Bind 9.2.4 • 特点：3个view，分别对应CERNET、电信、其他部分的用户，各自查询的结果是不同IP，如 www.ustc.edu.cn，分别对应 • 202.38.64.9 • 218.22.21.6 • 218.104.71.168

24. DHCP服务 • 全校范围内使用DHCP方式分配IPv4地址 • DHCP 并不是为了节省IP地址，而是为了方便用户 • 优点 • 方便用户，尤其是对移动用户 • 管理简单 • 缺点 • 稳定性不高 • 一旦私设DHCP Server，会引起混乱，根据实际运行的经验，这种情况经常出现

25. DHCP Server • 使用Linux下的DHCP Server • DHCP Server的行为由配置文件控制 • Linux下由程序生成配置文件，以此控制DHCP Server 的行为 • Linux下的DHCP Server支持shared-network，即一个物理网段可以有多个IP网段 • 如，某个子网，原来为 202.38.65.0/ 255.255.255.0，后来机器多了，IP地址不够用，可以增加210.45.65.0/255.255.255.0，原有的机器不需要修改

26. 对DHCP Server的控制 • 自动将一些静态IP地址从DHCP 地址池中排除 • 校内主要使用DHCP分配IP，也可以静态设定IP地址。一旦向网络信息中心申请某个IP地址静态设定，设定的IP地址要从地址池中自动排除 • 做法是定时（每隔10分钟）从数据库中读出配置信息，读出静态IP地址信息，自动产生配置文件，重新启动DHCP Server

27. 对DHCP Server的控制 • 将一些用户私自设立的静态IP地址排除 • 对于私自设立的静态IP地址，也要排除 • 为了避免IP地址冲突，DHCP在分配一个IP地址给用户的时候，会先ping一下，如果能ping通，说明已经在用，不会分配该IP。 • 由于很多机器设立了个人防火墙，现在ping的结果已经不可靠，这种工作方式经常会产生IP地址冲突 • 我们的做法是通过snmp协议，收集3层交换机上的ARP表（即IP-MAC对应表）信息，一旦发现某个不是DHCP分配的IP对应有MAC地址信息，即从地址池中排除该 IP 2天

28. DHCP系统的监控 • 除了定期检查是否有DHCP_NAK消息判断是否有私设的DHCP Server外，还应该对DHCP Server的工作状态进行监视，尤其要关注IP地址池中IP地址的利用率 • 通过分析DHCP Server的IP地址分配记录，结合固定的IP地址，用户私设的IP地址，统计出各个网段的IP地址利用率

30. 认证/计费 • 2个数据库 • 1个sybase，存放帐务信息 • 1个mysql，存放帐号信息，从sybase同步数据 • Mysql结构基于freeradius，增加了一些字段 • Freeradius提供2个认证入口 • PPP电话拨号radius认证 • VPN radius认证 • 网络通的web界面则直接访问mysql数据库

31. 网络通介绍 • “网络通”服务利用一个用户名和密码，具有如下功能： • 校内无线认证接入(目前接入暂未启用认证) • 拨号接入 • 60路拨号系统满足校内家属区用户使用 • VPN接入 • 2个出口/2种类型的VPN接入服务 • PPTP/OpenVPN，均提供电信/网通上用户的接入，主要针对教工和外地学生开放 • 灵活的对外访问服务 • 用户从校内可以自由选择多种出口组合对外访问

32. 出口Web登录认证 • 是“网络通”服务的主要组成部分 • 用户自主选择教育网、电信、网通出口的组合来访问校外网络 • 采用包月制 • 所有校内用户，包括VPN连进来的用户，都可以使用 http://wlt.ustc.edu.cn 出校的认证界面

33. 网络通登录界面 http://wlt.ustc.edu.cn

34. 网络通登录界面 http://wlt.ustc.edu.cn

35. 出口管理 • 网络费用分担的需要 • 缓解带宽有限与需求无限的矛盾 • 1%的用户使用超过10%的带宽 • 10%的用户使用超过50%的带宽 • P2P应用普及，更是极大地放大了用户的需求 • 如何有效利用多个出口 • 个人用户与集团用户的统一考虑 • 集团用户：很多实验室建立子网，通过地址转换设备连接到校园网

36. 出口Web登录认证 • 是“网络通”服务的主要组成部分 • 用户自主选择教育网、电信、网通出口的组合来访问校外网络 • 采用包月制 • 按照连接数付费的计费原则，集团用户可以按照用户规模的大小，选择更多的连接数 • 所有校内用户，包括VPN连进来的用户，都可以使用

39. 网络通原理 抓包分析 教育网出口 电信出口NAT1 电信出口NAT2 Linux机器 电信出口NAT3 Linux机器 网通出口NAT 校内网络 Linux机器完成认证、策略路由

40. 内部的一种数据结构 长度 256*32 长度 256*16 长度 256*16 一个数组存放校内的IP段信息 每段有个数组存放该段的策略信息 修改路由时查找规则表的处理过程，利用以上结构来查

41. 用户TCP连接数限制 • 采用限制用户TCP连接数的方式来限制P2P应用占用的带宽 • 目前采用旁路控制 • 程序隔2分钟抓包分析，对于超限制的或有DoS攻击异常行为（比如出去的数据包远远多于进来的）的IP直接从Web登录上踢下去，并发消息给用户提示 • 用户可以通过多缴费增加连接数限制，方便大的实验室共享上网，这在学校里非常普遍 • 抓包的内容放在数据库中，方便掌握流量异常记录

42. 学生宿舍计费控制 • 采用直接控制交换机端口开、关的方式 • 数据库中记录宿舍信息点和交换机端口的对应信息 • 通过snmp协议控制交换机对应接口的Adminstatus，如果Adminstatus设置为enable，信息点开通，如果设置为disable，信息点禁用 • 以上控制对用户完全透明，只要信息点缴费后开通，用户用起来跟在校内其他地方一样 • 使用net-snmp来控制

43. WWW/反向代理 • 公网对校内的各种服务器访问速度经常不理想 • 既然有多个出口，应该充分利用这些出口，来提高外网用户对服务器的访问速度 • 两个问题需要解决 • 如何通过DNS服务器的设置，把外网用户对服务器的解析分散到不同的IP上 • 如何解决外网用户访问多个IP地址对同一个服务器的访问

44. 外网对服务器访问的优化 • 利用Linux下DNS服务器bind，针对不同区域（运营商）的IP设置多个view • 不同来源的IP，查询同一个域名返回不同出口的IP地址 • CERNETIP查询返回CERNET IP • 电信IP查询返回电信IP • 其他查询返回网通IP • 做法可以google bind view

45. 外网对服务器访问的优化 • 基本原则：任何外网都能正常访问服务器对应的任何一个IP，最多是速度不同。 • 多个IP地址对同一个服务器的访问 • 服务器多网卡设置多个IP地址，利用服务器的策略路由功能实现，只能在Linux上使用，适合流量大的服务器 • 专门的地址转换设备，利用地址转换实现，适合小规模的校园网 • 设立反向代理服务器或7层交换机实现，适用面广，使用方便 • 我们使用Nginx作为反向代理，设置3个IP地址，用来对上百个校内网站进行反向代理。Nginx处理的连接数比squid高1个量级，CPU占用低1个量级。 • 通过以上设置，外部用户对服务器的访问速度有非常明显的提高

46. 服务器多IP策略路由的设置 ip addr add 202.38.64.10/25 dev eth0 ip route add 0/0 via 202.38.64.126 table 100 vconfig add eth0 10 ip add add 202.141.160.10/25 dev eth0.10 ip route add 0/0 via 202.141.160.126 table 101 ip route add 202.38.64.0/19 via 202.38.64.126 table 99 ip rule add from 0/0 table 99 pref 90 ip rule add from 202.141.160.10 table 101 pref 100 ip rule add from 202.38.64.10 table 100 pref 101

47. 反向代理工作示意图 电信 其它 1. DNS查询 2. HTTP访问 1 2 CERNET 反向代理 DNS WWW1 WWW2 WWW3

48. Nginx统计

49. VPN接入 • PPTP与OpenVPN两种VPN，CERNET、电信、网通接入点 • PPTP以前基于Windows，现在改为基于Linux • OpenVPN基于Linux，采用桥接方式，直接支持IPv6 • 均使用radius协议认证，并记录下使用者的公网IP和分配的校园网IP等日志信息

50. 网络应用服务简介 • 校内提供email、BBS、个人主页/ftp空间等网络服务。全部免费，个人主页/ftp空间随用户email开户自动开通，方便发布、展示各人信息，转储重要文件。 • http://email.ustc.edu.cn • http://bbs.ustc.edu.cn • http://home.ustc.edu.cn • video、ftp搜索引擎等等提供丰富的网络资源。 • http://video.ustc.edu.cn • http://grid.ustc.edu.cn • 教务处、研究生院等单位提供了丰富的网上服务手段。 • 公共机房和网络自习室。