统计数据库建设的背景与发展

统计数据库建设的背景与发展 国家统计局数据管理中心胡帆 2014年9月7日

大纲一、统计数据库项目背景二、统计数据库难点、重点与思路三、统计数据库建设过程四、统计数据库发展规划

一、项目背景 • 国家统计数据库的建设背景： • 政策背景。国家大力推进信息化、电子政务建设，倡导政府信息公开与政府公共服务。统计信息资源建设包含其中。 • 工作内涵。从现有工作流程个别环节的一次性建设，到健全工作流程、完善工作职能，促进统计事业可持续发展的体制机制建设。其中： • 从数据处理到数据资源规划与建设 • 拓展统计数据服务，提供社会公共产品 • 四大工程推进业务流程再造，基础数据资源建设需求再提 • 行业发展。带动并促进统计行业的协调和发展，把握实现“一个统计”的战略机遇。

一、项目背景 为什么进行统计数据库的建设与应用？ • 法律依据。统计法第五条第二款要求，国家有计划地加强统计信息化建设，推进统计信息搜集、处理、传输、共享、存储技术和统计数据库体系的现代化。 • 政策定位。国家大力推进信息化和电子政务建设，特别是电子政务十二五规划，对统计信息化的主要定位在统计数据资源的开发建设。大势所趋下，你不做，别人做；你不主动做，就为别人被动地做。 • 社会需求。服务宏观调控、服务社会公众，是各级统计机构的工作职责。特别是在信息化条件下，通过网络、以数据库形式提供优质的“二元”服务，也是统计业务流程再造、统计能力建设的重要方面。 • 机构优势。统一管理统计调查制度的设计实施，统筹数据发布，是各级统计机构的法律责任和行政职责，数据的更新组织，更是统计机构的日常工作，并以此保证统计数据的完整性、一致性和时效性。 • 案例借鉴。发达国家和一些国际组织的同类数据库为我们提供了借鉴；国家局和一些省市统计局已建立并运行同类数据库，积累了经验，具有抱团取暖的效应；相关软件开发维护已经形成良性循环。

一、项目背景 统计数据库建设是典型实践以信息资源建设为核心,数据总体规划、元数据管理系统、数据ETCL、数据库体系、数据仓库、数据挖掘、数据中心、数据及信息安全管理等 GDP、CPI、GDDS ，统计管理体制、核算体系、指标体系、标准体系、调查方法因特网、防火墙、基础设施、集群、容灾备份、操作系统、中间件、支撑软件、应用软件统计信息化建设融合之路

二、难点、重点与思路 • （一）难点与重点 • （1）误区 • 1、需求导向说。“以专业需求为导向、以现有业务流程为框架”，由技术部门为业务部门打造统计数据库应用体系。 • 背离业务流程再造、数据资源建设的基本宗旨 • 2、数据直通说。将全面报表、超级汇总、联网直报得到的基础数据直接加载到数据库系统中，先入库、后出表，跨越数据处理工作环节。 • 统计实践、社会现实不支持，借鉴创新不足 • 3、基础先行说。先建设各专业的原始数据库、数据仓库，再建设综合数据库，通过数据抽取，由原始库向综合库提供数据。 • 体制机制、行政资源不配套，历史积弊已到积重难返之境

二、难点、重点与思路 宏观层宏观调控目标、调控手段、重点领域、人民生活、社会发展、环境资源中观层经济主题数据集、社会主题数据集、区域主题数据集、部门/部类数据集、国际统计数据集普查基础数据、专业年定报基础数据、部门行业基础数据、其他行政记录基础数据微观层统计数据的构成（2）难点 1、一个尴尬的现实 2、一个不能不说的故事 3、一个悖论问题 4、一个基本分析 5、一个数据佐证。综合库工作库原始库（3）重点 1、“架桥”，建立一套集中统一的数据组织、整理、提交的工作制度和工作规范； 2、“重塑”，研究确定统计数据库体系构成，率先进行公共数据库建设； 3、“拜佛”，以临时但有效的组织形式开展工作。

二、难点、重点与思路 （4）小结总结过去20年统计数据库建设工作的经验与教训，现在我们清楚地认识到，以往的统计数据库建设，在数据与数据库软件之间缺少了统一规划设计前提下的数据资源规划设计、数据组织整理，缺少了统计工作工业化桥梁，缺少了数据结构设计和整合机制，缺少了一种可持续机制。现行统计工作流程中存在着职能缺位、组织缺位，丰富的统计数据尚未形成资源。具体说，现行统计工作的机构设置、职能设置、岗位设置中，缺少符合数据库建设、应用需要的关于统计数据统一的、结构化、格式化的制度性设计，缺少整理、提交、审核、加载这些数据的工作规范、工作流程、工作制度，以及数据质量、数据安全的监管机制，缺少相应的机构职能和岗位职责的保证。“上面千条线，下面一根针”必须转变为“千条江河归大海”。

二、难点、重点与思路 人工整理数据管理数据查询数据分析数据采集数据编审数据汇总数据库系统数据处理系统当期报送数据同期可比数据 × √ 成品数据数据整理/ 数据接口同口径历史数据

二、难点、重点与思路 （二）统计数据库体系基本构成 1、专业原始数据库，用于专业调查取得的基础数据的管理、维护和查询，这部分功能主要部署在物理隔断的涉密网部署管理。其中，文件柜子系统是连接统计数据处理系统和统计数据库体系的数据管理和整理子系统，规划统计数据结构及安全域划分，并用于基础数据、成品数据的归档管理，提供接收、下载、导入导出、整理维护、加载更新等功能。 2、专业工作数据库，使用数据库、数据仓库和专业统计分析、数据挖掘工具软件，建设形成专业性的主题数据库或数据仓库系统，支持数据处理阶段后专业内部针对主题性基础数据集进行深入的分析性汇总和复杂查询，这部分功能应在物理隔断的涉密网运行管理；支持跨专业、跨部门的综合数据共享查询，支持综合应用库的建设和应用，这部分功能应在逻辑隔断的内网运行管理。 3、综合应用数据库，对宏观决策支持、部门共享或公开发布的综合指标、综合数据进行管理，形成以常规查询为主要功能的应用数据库系统。本系统以数据处理结果、专业工作数据库为来源，根据共享程度及安全域划分，分别在物理隔断的涉密网、逻辑隔断的内网或外网运行管理。国家统计数据库等发布数据库属于此类。以上三类数据库的关系是，专业工作数据库以专业原始数据库为基础，以综合应用数据库为引导。 4、基础支撑数据库，一是统计调查项目管理数据库、基本单位名录数据库等元数据管理系统，二是地理信息和遥感信息等基础信息管理系统，为统计工作和其他数据库提供基础性共享信息支撑。

数据交换 数据整理数据抽取基础库原始数据管理系统工作库主题数据库系统发布库应用数据库系统基础支撑数据库统计元数据对象数据库系统、GIS等二、难点、重点与思路 • 主题数据目录 • 整理更新程序 • 插值修正 • 交换标准 • 交换分发控制 • 报表工具 • 图形工具 • 数据挖掘 • ETL工具 • 数据仓库 • 数据集市 • 应用数据库 • 安全机制 • 工作门户 • 发布目录 • 共享机制 • 交换标准 • SDMX交换标准 • 发布展现系统 • 简单查询、定制查询 • 复杂查询、定制推送 • 报表工具 • 图形工具 • 数据仓库 • 应用数据库 • 查询行为审计 • 安全机制 • 发布门户 • 基础数据目录 • 管理制度 • 整理更新规则 • 整理程序 • 插值修正 • 交换标准 • 综合/专业数据文件柜 • 转换器/编辑器 • 高效报表工具 • 中间件 • ETL工具 • 安全机制 • 工作门户数据处理统计数据库逻辑关系与功能构成

指标体系 设计综合数据报表设计数据整理数据提交加载发布三、建设过程（一）工作流程 • 系统加载 • 加载验证 • 反馈修改 • 备份机制 • 内部发布 • 安全机制 • 公共发布 • 信息反馈 • 制度化 • 流程化 • 数据库表描述 • 数据库表反馈 • 整理填报 • 注解注释 • 专业审核 • 变更报备 • 岗位化 • 程序化 • 流程化 • 专业提交 • 文件柜接收 • 结构审核 • 综合审核 • 目录管理 • 权限管理 • 提交情况报告 • 制度化 • 程序化 • 发布内容 • 发布范围 • 分组粒度 • 统一编码 • 制度元数据定义 • 检查复核 • 两下两上 • 科学性 • 完整性 • 系统性 • 可扩展性 • 报表设计 • 数据结构定义 • 表号检查 • 指标重漏检查 • 表结构检查 • 分类目录检查 • 计量单位检查 • 两上两下 • 四同原则 • 工程化 • 制度化 • 文档化发布需求数据库软件、数据组织制度、数据整理责任到人的三位一体的立体协同战役一次性设计周期性维护经常性工作制度化维护

三、建设过程 • （二）综合数据报表制度的建立 • 为公共数据库建立数据组织技术与实施的综合制度保证： • 指标集、指标体系 • 立脚点，从调查制度到公共发布 • “定义-理解-实现”一致性梳理过程，甄别规则 • 编码规则与编码体系 • 新型的数据组织载体——综合数据报表 • 建立新的主题与现行的专业的衔接，表名、表号规则 • “四同”设计规则 • 新型综合数据报表载体 • 分组分类目录 • 规范整理、改变习惯，向公共标准靠拢 • 交换格式、交换标准、交换流程，工业化 • 进一步推动从软件规范化开始的SIT标准化进程 • 形成制度体系并以制度化实施，角色、规则与流程

三、建设过程 2.1指标体系指标体系编制的立脚点，从调查制度到公共发布。发布环节上统计指标的稳定性明显好于其他环节，也符合公共数据库的定位，同时也解决了指标体系变动频繁，导致数据库数据结构不稳定，影响最终应用的问题。这一个简单的位移走了20年的时间。 “定义-理解-实现”的一致性梳理过程。说定义，指标记录经济社会现象的数量，带有明确的计量单位；分组标注自然人、法人经济社会各种属性的对应关系。话理解，难就难在要改变一些长期积累的工作习惯。实现中，难点一：要把全局近40个专业的3000多个指标项，按新的27个主题逐一重新归类；难点二：要逐一完成这些指标项的“身份”确认；难点三：协调、规范各指标的分组粒度。举例。七层的编码规则（不含系统内部编码），即主题-大类-一级指标-二级指标-三级指标-四级指标-五级指标的编码，并对通过审定的指标体系进行了编码。为调查指标留出余地，也为地方统计局的应用留出余地。

三、建设过程 指标体系经过5个月的共同努力，整理形成公共数据库指标体系，含27个主题，如下： 1、行政区划与自然资源 2、人口 3、就业与工资 4、社会保障 5、城市建设 6、环境保护 7、城镇住户 8、农村住户 9、财政 10、金融 11、国际收支 12、价格 13、国民经济和算 14、农业 15、工业 16、能源 17、建筑业 18、固定资产投资与房地产 19、运输邮电 20、国内贸易 21、对外经济 22、旅游 23、教育 24、科学技术 25、文化体育卫生 26、其他社会统计 27、国际比较约176个大类，≈3800个指标

三、建设过程 2.2 综合数据报表难点：新的27个主题与现行的40多个专业如何对应衔接？如何将新的27个主题发布数据的整理组织工作落实到现行工作组织体系中去；设计出怎样一套既体现新的工作思路，又兼顾现实和数据库建设、数据组织需要、可操作的报表体系。新型的数据组织载体——综合数据报表的设计规则：同主题和综合单位、同分类粒度、同安全等级、同提交时间，即“四同原则”。表中具体内容还包括：主题标题、指标构成、分组分类、计量单位及诠释，以及来源、提交时间、发布前密级、发布去向、发布时间、发布范围、责任人等发布制度元数据的定义。作用举例。研究制定了表名、表号的命名规则，即现行专业-报表期别-主题-顺序-年代及进度编码，建立起新的主题与现行的专业的衔接。新型载体，既符合信息工程要求、又具有传统特征的工作表单；定位于统一的数据组织，而非最终应用，因此，强调共性，淡化个性。

三、建设过程 2.3 分组分类难点：发布数据所使用的分组分类和目录有着几十年的传统习惯，其不规范的程度远远大于调查制度，严重影响数据的使用，多指标查询经常遇到无共同分组的尴尬。同时，同一指标多头提供，口径、时间不同，也造成查询结果尴尬。规范整理、改变习惯，向公共标准靠拢。这是工业化、信息化过程必须经历的阵痛，是公共数据库建设的成败关键之一，只能前进，不能将就。经过大家的共同努力，开始时的3000多种分组分类和目录被初步压缩到 300种左右，保证了公共数据库数据结构的规范性，保证了多指标查询的初步可行。但尚未规范到统一编目使用的程度。年鉴的举例。分组分类的规范程度，是保证数据组织和数据库查询应用的关键，是一种统计工作管理能力和水平的标志。数据的组织，具体体现在数据载体的设计和数据库数据结构的设计，特别是分组分类的交叉使用和数据粒度的均匀一致。

三、建设过程 2.4 工作规范与交换标准有了上述制度性文件后，又制订了配套的数据整理、提交、审核、加载、修改、发布工作规范和管理办法；规定了指标体系、分组分类目录、综合数据报表及数据的工作表单格式、交换格式、工作流程，明确各种角色和规则，形成制度体系并以制度化实施，强化了工程化、项目化管理规范，也进一步推动了从软件规范化开始的统计信息化建设标准化进程。关于制度修订与数据版本的管理。

三、建设过程 • （三）数据库软件的开发 • 3.1 总体设计 • 1、软件设计需求 • 总体架构模块化。逻辑上集中统一，实施中模块化部署，便于升级维护； • 规范开发模式。功能组件采用迭代式开发，增量交付，分期分级逐步添加；遵循J2EE标准，提高组件复用率，降低个人依赖性； • 软件系统与运行平台无关。适应统计系统特点，规范可靠、充分利旧； • 数据安全保障。规划、存储、分发、发布，分层、分级设防； • 管理维护简便。减少工作量、降低难度、降低成本； • 用户界面友好。更加方便，版本、模块之间的协调一致； • 降低综合成本。传承发展、便于推广。 • 2、制约因素与对策 • 投入不足与“借鸡生蛋”、“套裁”开发； • 外包开发与以我为主、产权掌控； • 积习成弊与项目管理、项目监理； • 期望升温与小步快走、分步实施。

三、建设过程 3.2 下一步规划建设内容在国家统计数据库升级版软件基本构成体系基础上，提出集中统一、体系科学、功能健全、流程合理的总体规划设计。比如，增加高级查询，结合智能终端、移动互联网应用，丰富定制推送等功能；嵌入马克威分析系统，拓展查询结果的应用深度；开发指标-综合数据报表视图子系统和发布数据审核编辑子系统，完善访问控制、增加数据库加固等安全管理系统，进一步强化数据库系统管理功能；开始原始数据库、主题数据库开发研究。

三、建设过程 • （四）组织实施 • 1、加大领导力度，转变思想观念。 • 领导动员、建章立制、督察督办； • 社会公众是真正的甲方，局内各方都是乙方；消除专业壁垒、树立数据公有的观念； • 联谊互动、凝聚士气、演示汇报、释放热情； • 2、优化数据整理提交过程，强化数据质量审核。 • 试点先行、典型示范、“模板”化推进； • 多阶段、多重点的交叉审核，确保数据质量； • 3、完善流程设计，严格项目管理。 • 用流程的科学合理保证工作的质量与效率； • 制定项目管理规程，明确工作对象、工作流程及角色划分； • 强化版本管理和变更管理，每个指标、每张数据表、每个数据项的每次更改都要有签批记录、备案存查。

三、建设过程 • （五）实施策略 1、数据整理：由近及远、分期加载，先易后难、逐步加细，重在整理、流程衔接； 2、工作制度：融合创新、发展传承，规范完善、纳入常态；一数一源一次整理提交，多点（库）多次控制发布； 3、软件功能：边开发、边应用、边完善，由点连线、由线到面；按安全等级部署，细分用户、差异化服务； 4、组织配套：全面动员、明确任务、落实职责，加强关键岗位配置、加大投入，统筹兼顾、保证可持续发展； 5、总体策略：稳扎稳打、小步快走，逐步拓展、成龙配套。

三、建设过程 （六）共识与以往统计数据库建设比较，本次公共数据库建设与试运行之后，大家形成普遍共识： 1、以数据库形式支撑的统计数据公开，要持续地进行下去，不要再被逆转，也不再可能逆转。 2、统计数据库开发建设的核心是整理数据、组织数据的过程，统计数据库可持续运行的关键是把建设阶段工作制度化、常态化；统计数据库是统计业务工作不可分割的组成部分，而不是通用的、予取予求的平台软件。 3、2008年12月26日确定新的工作流程和职责分工。

三、建设过程 国家统计数据库升级版系统结构与新的工作流程

四、发展规划 （一）关于统计数据资源建设 1、数据资源属性。传统的统计工作主要服务于为宏观调控，统计数据共享应用与公共服务较为薄弱，尚未形成资源。统计数据只有经过统一的规划设计、规范的整理校正、集中的管理维护，即有规划、成体系、具规模、又准确，才能形成资源。统计数据资源是一种带有政府公共财产属性的战略资源，是政府信息资源的重要（主体）组成部分，是统计事业可持续发展的基石。 2、统计数据资源建设。在健全法规、制度、手段和投入保障情况下，在业务方面，要根据共享应用与公共服务的社会需求梳理指标体系，工程化地规范分组分类、设计数据制度、整理历史数据（包括口径调整，缺报、错报数据记录的插补校正）、制定相关工作规章；在技术-业务方面，要统一名录元数据，统一进行制度元数据、数据元数据整理描述，迁移加载整理好的历史数据；在技术方面，设计建设有效的数据库组织管理系统、分析挖掘工具、网络传播与安全管理系统，使统计数据资源的重要属性得到彰显和保证。

四、发展规划 3、动力机制。以统计数据库体系支撑的统计数据公开与共享服务，是以统计数据资源建设为基础，电子政务建设项目为保证，并通过逐步形成的稳定的社会需求和有效的社会监督，提供综合的可持续发展动力。 4、一份耕耘一份收获。综合发布数据库，特别是公共数据库的率先建设，可以较快见到成效，获得领导方面的支持，统一关于统计数据资源建设和统计数据库体系的思想认识，进而带动专业原始数据资源建设，支撑专业原始数据库的建设应用。实践表明，平台软件可以奉行拿来主义，但是，统计数据库建设能够“拿来”的只是软件本身，无论是指标体系、还是数据内容都要经历数据库建设单位全组织艰苦的整理工作过程，没有捷径可循。因此，有条件做的尽量做，能早做的不要晚做，能主动做的不要被动地做。 5、融合发展的体制机制建设。国家统计数据库的初步建成表明，相关工作制度的建立、流程的整合还只是统计工作的局部，还存在着制约因素，统计改革与统计信息化的融合发展，特别是关于体制机制建设，还需要宏观层面的大智慧、大设计、大工程。

四、发展规划 （二）打造三条“数据总线”，支撑数据资源建设借用计算机科学关于总线的概念，根据信息化基本规律和统计实践内在规律，必须通过打造三条科学、合理的“数据总线”，使统计调查制度、整理交换、发布渠道有所依靠、有所遵循，为统计数据资源建设提供强力支撑。 1、发布指标目录体系。国家统计数据库（发布库）已经初步建立起发布指标的目录体系。目前，正在修订相关体系框架，形成“枝干”；根据相关规则设计的几百种数据组织报表，就是“树叶”。有“枝”、有“叶”，以及相关维护管理制度，形成发布指标的目录体系的基本框架。 2、调查指标目录体系。需求，四大工程再提基础数据资源建设需求；法规，相关法规的归档要求、数据资源建设要求；借鉴，发布指标目录体系已见雏形。这是用“数据总线”战略改造传统统计、打造现代统计的第二战役。 3、工作指标目录体系。抓两头、带中间，以规范、发展的需求为引导，循序渐进，水到渠成。这是用“数据总线”战略打造现代统计的第三战役。 4、关系与作用。传导、共享、有序、相关；以数据资源为中心，软件系统、制度规范、岗位责任，三位一体地为新型统计工作模式提供战略支撑。

四、发展规划 （三）国家统计数据库体系的构成国家统计数据库体系以国家统计总体数据规划为核心，由统计数据库软件体系、综合-主题化统计指标目录体系、统计数据组织制度体系、统计数据质量管理体系及统计数据安全保障体系基本构成，由中央和地方统计数据库系统共同组成。国家统计数据库软件体系由专业原始数据库、专业工作数据库、综合应用数据库和基础支撑数据库等功能子系统初步构成；国家统计数据库指标目录体系包括专业调查指标目录、主题化统计指标目录和综合发布统计指标目录。以规范统一的核心数据资源，支持宏观调控和公共服务的二元服务体系，拓展部门共享应用。

四、发展规划 数总体数据规划，SDP,Strat-egy Data Planning,指运用信息组织技术，建立全组织范围的、稳定、完备和安全的数据模型和数据库体系。综合-主题化统计指标目录体系及元数据管理系统统计数据组织制度及业务流程规范国家统计总体数据规划国家统计数据库软件体系统计数据质量及安全保障体系国家统计数据库体系构成要素

服务协同 展现层系统管理安全管理外网网站专网网站密网网站手机/PDA 电话/传真 ... 身份配置认证门户平台管理 PKI 信息发布管理栏目频道管理 / 个性化定制/推送单点登录 ... 授权远程管理管理应用系统 PMI 数据协同数据处理系统登录应用业金宏专业公共管理专网务加密名录管理数据报送数据审核共享工作发布子库子库子库子库汇总制表综合分析整理维护性能数据交流程协同制度协同监控换安全应用支撑层 -协同平台（ CA 系统监控中心专业原始文件柜综合数据文件柜数据分发管理网络网络指标体系数据组织制度用户管理安全监控网络基础层电子政务法律、法规、标准、规范体系四、发展规划统计数据库应用解决方案

四、发展规划 （四）国家统计数据库体系的总体考虑建设目标。通过未来3-5年的规划建设，在国家统计局初步建成国家统计数据库体系；在国家统计局机关和省级调查总队建立起面向基础调查数据管理的数据文件柜系统；在有条件的省级统计部门建立起面向公共服务的综合发布数据库和面向基础调查数据管理的数据文件柜系统。建设原则。以“统筹考虑、统一规划、分期建设、分步实施”为指导，以“统一设计、分级建设、同构互联、局队共建”为建设原则。建设思路。统计指标只有经过科学、规范、认真、艰苦的整理，经常的、制度性的管理维护，才能形成体系，形成支撑统计数据库体系需要的指标目录体系；统计数据只有经过统一的规划设计、规范的整理校正、集中的管理维护，才能形成资源，形成支撑统计数据库体系需要的数据来源。国家统计数据库体系的建设将紧扣统计数据规划与工作流程，完善网络系统和应用系统的管理，针对不同类型用户，通过不同安全级别的网络信息系统和安全策略、对应的主题数据库和不同的服务功能组合，提供差异化的优质服务。

四、发展规划 （五）地方同类统计数据库的建设指导 1、建设目标。建立“统一设计、同构互联”的地方统计数据库体系；支持省级统计数据库建设过程中的局队共建。 2、工作重点。地方同类统计数据库建设的相关工作重点如下：（1）组织保证。成立领导小组、工作小组，明确关于统计数据库相关工作的职能机构、职责、权益，促成新的业务流程；（2）数据制度保证，在集中统一、规范同构前提下，进行指标体系、分组分类和综合数据报表本地化修订，避免专业化、内需化倾向，保证按指标查询的可查性；（3）考核。建设应用成效与职能机构工作的双重考核；（4）其他考虑。 3、工作策略。软件搭台、制度为本、数据唱戏；做到巩固一个桥头堡，推进两个延伸。其中：桥头堡是指综合统计数据库；两个延伸，一个是指，做好基础统计数据的统一归档管理；另一个是指，做好综合统计数据库的延伸应用，如与马克威统计分析系统的嵌套衔接、智能终端发布等。

结语统计信息化建设，特别是统计数据资源和数据库体系的建设，是百年大计工程，是服务型政府的代表性工程，同时又是信息时代的统计工作的基础性建设，是统计工作水平的综合体现。要立体地延长统计生产流程，整体地强化统计数据资源规划工作，历史地把数据资源建设和现代信息服务纳入到统计生产流程中来，规范、有序地推进统计数据资源建设、统计数据库体系建设，推进可持续运行机制的建设。

谢谢

统计数据库建设 的背景与发展