550 likes | 633 Views
污普数据分析平台介绍. 联盈同创信息技术有限公司 崔 磊 2008 年 12 月. 目 录. 概述. 1. 数据分析流程. 2. 平台主要功能. 3. 分析成果展示. 4. 演示. 5. 公司介绍. 联盈同创 是专注于数字决策领域的软件公司,致力于为政府组织、大中型企业的数据采集、处理、分析及应用等业务,提供完整的产品、解决方案、咨询与服务,为政府决策提供信息来源和数据支撑。. 成功案例. 普查相关经验. 经普、 1% 人口调查、残疾人调查、农普数据处理软件的开发和实施支持 经普、 1% 人口调查、残疾人调查、农普的后期资料开发,普查年鉴制作
E N D
污普数据分析平台介绍 联盈同创信息技术有限公司 崔 磊 2008年12月
目 录 概述 1 数据分析流程 2 平台主要功能 3 分析成果展示 4 演示 5 2|56
公司介绍 • 联盈同创 是专注于数字决策领域的软件公司,致力于为政府组织、大中型企业的数据采集、处理、分析及应用等业务,提供完整的产品、解决方案、咨询与服务,为政府决策提供信息来源和数据支撑。 3|56
成功案例 4|56
普查相关经验 经普、1%人口调查、残疾人调查、农普数据处理软件的开发和实施支持 经普、1%人口调查、残疾人调查、农普的后期资料开发,普查年鉴制作 深入了解普查后期资料开发的流程和业务组织 形成了一整套关于调查、统计、分析的知识库 五年来所有大型普查的数据处理和数据分析任务的承揽 5|56
本次污普参与工作 • 承担了污普数据处理软件的开发和实施工作。 6|56
审核 本次污普参与工作 安装软件/新建项目/装载制度/权限 准备 数据录入/查询/复录/比对 录入 审核/修改 数据上报/接收 上报 7|56
污普数据分析和成果开发目标 • 完成基于分行业、分流域、分地区、分规模等按各要素分类的污染源普查指标的统计分析,并提交普查成果; • 建立重点污染源档案和污染源信息数据库; • 对污染源的分布和规模等情况开展系统的分析研究,准确了解各类污染物的产生排放及处理情况。 8|56
平台建设目标 • 在污染源普查数据分析与处理方案的基础上,在污染源信息数据库基础上,完成基于分行业、分地区、分规模等按各要素分类的污染源普查指标的统计分析; • 帮助完成第一次全国污染源普查年鉴; • 基于环境统计数据,完成主要分组数据的对比分析工作; • 帮助完成污染源普查数据分析与处理报告; • 为环境数据深度分析研究提供基础数据。 污染源普查数据分析与处理平台 9|56
与数据处理软件的关系 • 系统管理 • 数据处理 • 制度管理 数据处理软件 二次开发 数据处理 污普制度库 污普数据库 数据分析开发平台 抽取应用 10|56
环境信息化平台的重要组成 电子政务 协同平台 … 环境应急 管理 环境信息化平台 数据分析 开发平台 污染源 动态监管 …… 11|56
目 录 概述 1 数据分析流程 2 平台主要功能 3 分析成果展示 4 演示 5 12|56
数据分析流程 制定 方案 整理 数据 建立主题 分析数据 成果 发布 13|56
1 制定数据分析方案 • 参照数据分析和成果开发的技术要求,通过与环保业务专家的沟通,共同制定污染源普查数据分析方案,基本确定主要的分析主题、分析角度(维度)、分析指标(度量),初步确定主要分析表格内容图例表现形式。 14|56
1 制定数据分析方案 • 确定数据分析内容 • 工业污染源普查数据处理和分析 • 工业污染源基本特征分析 • 工业污染源资源消耗情况分析 • 工业污染源水资源消耗情况分析 • 工业污染源能源消耗情况分析 • … • 农业污染源普查数据处理和分析 • 生活污染源数据处理和分析 • 集中式污染治理设施污染源普查数据处理和分析 • 机动车污染数据处理和分析 • 放射性污染源及特殊污染物数据处理和分析 • 污染源普查数据的综合分析 15|56
1 制定数据分析方案 • 工业污染源基本维度 维度就是进行分析时分析数据的角度,比如行业、流域、行政区划、企业规模等都是常见的维度。维度是对计算数据进行分组的变量。 16|56
1 制定数据分析方案 • 工业污染源水耗相关维度 17|56
1 制定数据分析方案 • 工业污染源水耗相关指标 指标也叫度量,是用于计算的数据。如用水量、工业总产值、综合能源消耗量等。 指标分为标准指标(如取水总量)和计算指标(如用水强度)。 18|56
1 制定数据分析方案 • 工业污染源基本特征分析 按行业分布、地域分布、流域分布等统计分析工业污染源数量和规模的分布情况并利用图表进行比较和排序分析。 [维度]行业、地域、流域、企业规模 [指标] 工业污染源数量 [表现形式] 图表进行比较和排序分析 • 企业数量by地域 • 企业数量by行业 • 企业数量by流域 • 企业数量by企业规模 • 企业数量by地域x企业规模 • 企业数量by行业x企业规模 • 企业数量by流域x企业规模 • 企业数量by地域x行业 • … 19|56
1 制定数据分析方案 • 工业污染源水资源消耗情况分析 [维度]行业、地域、流域 [指标]用水总量、用水强度、工业用水重复利用率 [表现形式]图表利用图表对地域/流域平均规模的比较/排序分析 • 用水总量by行业 • 用水总量by地域 • 用水总量by流域 • 用水总量+工业生产总值+用水强度by行业 • 用水总量+工业生产总值+用水强度by地域 • 用水总量+工业生产总值+用水强度by流域 • 取水总量+自来水取水量+自备水取水量by行业 • 取水总量+自来水取水量+自备水取水量by地域 • 取水总量+自来水取水量+自备水取水量by流域 • 工业用水重复利用率by行业 • 工业用水重复利用率by地域 • 工业用水重复利用率by流域 • … 20|56
2 污普数据整理转换 • 利用ETL子系统,按照制定好的污染源普查数据分析方案,对污染源普查原始数据库的数据结构进行深入分析,对指标变量、目录等数据字段进行全面的梳理,制定满足数据分析方案要求的ETL 策略,对原始数据字段进行适当的合并、拆解、计算、转化等工作,最终完成污普数据整理转换,形成数据分析数据库。 ETL是对污普原始数据库进行整理的过程。 是抽取(Extract)、转换(Transform)、装载(Load)英文首字母的缩写。 污普原始 数据库 数据分析 数据库 21|56
2 污普数据整理转换 • 计算生成SO2产生量指标 22|56
3 建立分析主题数据库 • 在污普分析数据库基础上,按照事先制定的数据分析方案,建立不同的分析主题。 • 将不同维度和度量指标,依照数据分析方案打包到各个分析主题,形成可供分析的主题数据包和多维数据立方体,为进行污普数据分析和成果开发做好最后的准备。 23|56
3 建立分析主题数据库 • 整理好的维度和指标 24|56
4 数据分析 • 利用污普数据智能分析系统完成污染源普查数据的分析工作,通过鼠标的拖拽可完成设计固定格式报表、固定格式报表展示、固定格式报表定时生成、设计灵活分析报表模板、灵活分析报表展示。此外多维分析报表还支持切片、切块、向下钻取、向上钻取、旋转等功能,可在制定多维分析报表时做相关设定。 25|56
4 数据分析 • 设计分析表格界面 26|56
4 数据分析 • 数据分析成果列表 27|56
5 成果发布 • 利用信息发布系统,将污普数据分析的成果发布到指定的门户web界面。 28|56
目 录 概述 1 数据分析开发流程 2 平台主要功能 3 分析成果展示 4 演示 5 29|56
主要功能 30|56
数据ETL子系统 • 数据源管理 污普数据源的定义、修改和删除。 • 数据ETL 建设基础的分析数据库,供BI产品方便使用 定义抽取规则、定义抽取数据范围 执行数据抽取、显示噪声数据 • 数据清洗 对噪声数据的清洗 定义清洗规则,定义数据范围、执行清洗 • 基础分析库查询 查询基础分析库数据,了解数据结构及业务含义 提供表格和表样两种方式展示 31|56
主题库建设子系统 • 主题库定义 • 定义主题模型框架,提供基础的分析主题库模型; • 定义四大源、机动车、放射性及特殊污染源主题库。 • 专题库建模 • 设计专题模型、专题模型发布; • 定制污染物基本特征分析、污染物资源消耗、污染物产生与排放、污染物处理处置、污染物控制措施等专题。 • 多维分析模型定义 • 设计多维分析模型; • 多维模型的发布。 32|56
决策分析子系统 • 分析报表 • 定制样式固定的报表,可以按任务定制自动生成和发布; • 设计报表、报表展示、报表定时生成。 • 灵活分析 • 设计分析模板、分析结果展示; • 保存分析模板、分析结果输出。 • 多维分析 在专题立方体基础之上,支持切片、切块、下钻、上钻、旋转等多维度分析与跨维度分析功能,从任意角度观察和研究数据。 33|56
信息发布子系统 • Web发布 将分析结果生成网页,通过网站来发布普查分析成果 • 信息组织 对发布的资料的管理,整理归类 • 信息查询、检索 按类别、关键字等信息对资料进行查询检索和展示 34|56
目 录 概述 1 数据分析开发流程 2 平台主要功能 3 分析成果展示 4 演示 5 35|56
工业污染源企业基本情况 • 工业污染源基本特征分析:按行业分布、地域分布、流域分布等统计分析工业污染源数量和规模的分布情况并利用图表进行比较和排序分析。 • 各省工业源企业数 36|56
工业污染源企业基本情况 • 各省工业企业数及工业总产值 37|56
工业污染源资源消耗情况 • 工业污染源资源消耗情况分析,重点分析工业污染源水耗和能耗情况(包括用水总量、用水强度、工业用水重复利用率、工业源的能源消费结构、单位能耗、能耗总量、能耗强度、燃料燃烧方式比例等)及行业、地域、流域分布情况,利用图表对地域/流域平均规模的比较/排序分析。 38|56
工业污染源资源消耗情况 • 各省能源消费排名 39|56
工业污染源资源消耗情况 • 某区域各类能源消费量排名 40|56
工业污染源资源消耗情况 • 各省能源消费排名及全国各类能源消费量排名 41|56
工业污染源污染物产生与排放情况分析 • 工业污染源污染物产生与排放情况分析,按行业、地域、流域分析各类污染物产生量、排放量及分布情况、排放去向的总体结构,统计分析污染物排放对环境质量的影响。 42|56
工业污染源污染物产生与排放情况分析 • 工业源废水排放情况分析 43|56
工业污染源污染物产生与排放情况分析 • 工业源废水排放情况分析(受纳水体) 44|56
工业污染源污染物产生与排放情况分析 • 工业源废水排放情况分析(受纳水体) 45|56
工业污染源污染物产生与排放情况分析 • 工业污染源COD产生排放情况 46|56
工业污染源污染物产生与排放情况分析 • 工业污染源制造业COD产生排放情况 47|56
工业污染源污染物产生与排放情况分析 • 工业污染源COD产生排放情况 48|56
工业污染源污染物产生与排放情况分析 • 废气燃烧过程产生量 49|56
工业污染源污染物产生与排放情况分析 • 废气工艺过程产生量 50|56