一、 需求分析

目前很多高校已经构建并完成了共享数据平台的建设，并整合了多个系统资源，接入了数百张数据表，不仅确立了学校独特的数据标准化管理体系，还极大地促进了校内各部门间的数据共享与高效交换。然而，随着教育信息化浪潮的不断涌进，单纯的数据交换功能已难以满足学校日益增长的多元化需求。

当前，我们亟需深化对数据中心内各部门数据资产的全面洞察。同时，为了进一步提升服务效能，需要打造一个开放、灵活的数据服务生态，为全校师生及各业务系统提供便捷的数据申请渠道，涵盖文件数据、API接口数据、定制化视图数据等多种类型，确保数据资源的最大化利用与价值释放。

此外，为了保障数据中心的数据质量，需要从数据一致性、完整性、有效性、完备性和及时性等方面，构建一套科学严谨的数据质量检测体系。这一举措将有效提升数据治理水平，为学校的决策支持、教学科研及日常运营提供坚实可靠的数据基础。

综上所述，我校正积极应对信息化发展的新挑战，通过不断优化共享数据平台的功能与服务，推动数据资产的高效管理与利用，旨在从数据标准建设、多源采集、智能治理、共享传输、数据资产管理及运营、数据智能分析、数据全方位监测等方面构建教育数据中台，为教育数据从采集、治理、管理、分析、应用、安全等方面提供综合能力体系，为教育数据资产化、智能化构建良性生态闭环，为学校的长远发展注入强劲动力。

二、 建设内容

(一) 智能检测中心

智能检测中心包括全方位检测、组件库和检测任务三个功能模块，采用可视化、零编码的方式实现流程化、智能化的数据治理。

1. 全方位检测

全方位检测支持对检测对象进行业务系统统计、检测表统计、检测总量统计，原始数据正常数据/异常数据统计，进行完整性、唯一性、一致性、准确性、规范性、及时性等多维度数据质量评分，数据质量划分为极优、优、良、一般、差五个等级。

2. 组件库

组件库提供通用检测组件，组件提供多种检测项，包含空值、只允许为空、只允许数字类型数据、数据类型、最大/小字符串长度、最大/小值、开始/结束字符串，不允许/允许开始字符串，不允许/允许正则表达式，允许的值。

3. 检测任务

检测任务是对检测任务进行查看，支持查看检测记录、检测日志、检测报告，对检测数据进行质量趋势统计。

(二) 数据服务中心

数据服务中心包括数据集市、数据服务目录、API数据共享、视图数据共享、文件数据共享和审批管理六个功能模块，采用分布式搜索、接口式共享方式，打通大数据中台与业务应用系统数据往来。

1. 数据集市

数据集市是根据业务场景对数据进行分类管理，可对数据分类进行维护管理，实现数据表的创建、编辑、删除以及查看数据表的字段数据信息等。

2. 数据服务目录

数据服务目录支持对接口/视图/文件集分类进行维护管理；支持通过分类对接口、视图、文件集进行分类管理。

3. API数据共享

API数据共享可对接口自定义新增，数据信息对接口返回结果数据、请求参数说明、返回字段列表、返回示例进行定义，其中接口返回数据可通过快捷创建和自定义SQL两种方式进行生成，并可对SQL语句语法以及查询结果进行校验。对接口进行发布操作，发布后的接口用户才能进行申请。

4. 视图数据共享

视图数据共享支持新增视图。视图数据通过自定义SQL语句来创建，可对SQL语句进行语法验证，对结果数据进行数据脱敏设置，对视图进行发布，用户对发布后的视图可进行申请使用。

5. 文件数据共享

文件数据共享支持自定义新增静态文件集和动态文件集，自定义内容包含文件集的基本信息以及文件数据的新增、删除等，对文件集进行发布，用户可对发布后的静态文件集进行申请，对已增加的静态文件集、动态文件集进行维护、编辑和删除等操作。

6. 审批管理

审批管理支持新增审批，提供数据共享申请的审批流程；支持对已存在的审批申请进行查询；支持对审批申请进行通过或者驳回。

(三) 数据服务门户

数据服务门户包括首页、大数据应用、数据服务、数据标准、个人中心五个功能模块，可为有数据需求的用户提供统一集中获取数据服务的门户，数据服务门户支持校园网和互联网两种部署和使用方式。

1. 首页

首页提供数据中台整体数据情况统计，以及数据流向图等数据统计展示。

2. 大数据应用

大数据应用支持查看依据大数据衍生的所有应用，可点击进入查看大数据应用内容。

3. 数据服务

数据服务支持对未发布的数据服务进行申请，支持对已经发布的接口、视图、文件集进行搜索、详情查看、申请访问。

4. 数据标准

数据标准支持数据标准的代码集、数据集根据分类目录和名称查询。

5. 个人中心

个人中心可对我的数据进行查询，查看数据申请历史，支持对接口调用的有效ip地址进行设置。

(四) 数据资产中心

数据资产中心包括数据总览、资源目录、元数据检索、数据地图和我的数据五个功能模块，为管理侧、运营侧、研发侧提供全域数据精细化管理能力、智能化血缘分析能力、高效化数据开发能力。

1. 数据总览

数据总览对原始数据、标准数据、集市数据进行统计，包含表数量、数据量、今日新增表数量、今日新增数据量、有效表占比情况；对文件数据进行统计，包含文件夹数量、文件数量、有效文件夹占比情况。

2. 资源目录

资源目录支持对原始数据、标准数据进行查看，可根据业务系统分类查询。

3. 元数据检索

元数据检索支持对库表和文件进行全文检索，查看最近使用的10条检索关键字和最近查看的10条检索记录；检索结果包含数据名称、来源数据层、所属部门和创建时间等，点击数据名称查看数据详情。

4. 数据地图

数据地图提供图形化数据关系管理工具，业务使用、数据管理、开发运维不同应用场景的图形查询和辅助分析需求。

5. 我的数据

我的数据可统一展示用户创建的和负责的库表数据和非结构化库文件。支持数据库表变更记录查看，表数据、字段信息、全链路分析、血缘分析、影响分析浏览。

(五) 数据智能中心

数据智能中心包括大屏目录、数据集、数据连接和大屏权限四个功能模块，提供实时有效的数据分析结果，提供教育智能决策支撑。

1. 大屏目录

大屏目录支持对已经发布的大屏进行查看；支持对大屏进行自定义分类管理，包含大屏分类的新增、重命名和删除操作。

2. 数据集

数据集支持根据数据业务主题进行数据引入并以数据集进行管理，作为看板图表的源数据使用。

3. 数据连接

数据连接能实现自定义管理数据集引用的数据连接，主流数据库的连接，提供数据库连接名称、访问地址、端口号、认证信息即可连接。

4. 大屏权限

大屏权限管理包括共享权限和外链权限管理。共享权限支持对自己创建且已经共享的看板进行共享授权管理。外链权限支持以链接的方式对看板进行分享，可自定义设置访问密码。

(六) 数据运维中心

数据运维中心包括服务器监控、任务监控、接口监控、消息管理和系统管理五个功能模块，提供高粒度、多维度的数据全生命周期监测能力。

1. 服务器监控

服务器监控提供服务器监控功能，针对服务的数量、资源使用情况进行监控分析，并进行资源预警。

2. 任务监控

任务监控提供任务监控功能，对系统中存在的任务、运行中的任务数、执行任务情况等进行监控分析。

3. 接口监控

接口监控能对接口情况（接口数量、请求用户数量、请求数量、请求失败数量）进行检测监控并以图表形式进行展示，对接口的请求平均耗时和每分钟请求数进行图表监控，对接口访问次数和用户访问次数进行排名统计。

4. 消息管理

消息管理模块能够实现实时接收各个类型的站内消息，包含已读消息和未读消息；提供消息筛选、标记为已读、删除等功能。

5. 系统管理

系统管理是对组织新增、编辑、删除，为组织批量添加用户，为组织设置多个数据负责人，组织树形结构展示，以及通过节点查询当前节点下所有组织。支持对用户信息进行查看、管理；支持对用户权限进行查看、管理等功能。

三、 数据治理服务

(一) 建设思路

在数据治理的策略上，采用先“理”后“治”的方案，实现数据标准化、流程规范化、治理常态化、价值可视化、监管智能化的数据治理。数据治理中，“理”指的是统筹规划，“治”指的是贯彻执行。在整个数据学校数据治理的过程中，结合我公司的相关的经验，在“理”和“治”的方面建议采用以下步骤：

1. 数据治理中的“理”

学校的数据繁杂且多样化，理清各种数据之间的关系与关联，是做好数据治理的第一步，其整个“理”的过程如图所示：

1、理系统

梳理学校已有业务系统、文件资料等信息，明确各系统的归属部门、业务系统所属业务域、业务系统运行的状态等相关的内容，为后期业务应用系统的迭代更新提供基础；

2、理数据

发掘各业务数据表、文件、视频、图片等数据，描述数据的结构信息，适当评估各应用系统的数据质量及各业务应用系统有具体使用状态；

3、理关系

分析表与表、文件与文件、系统与系统等关系，形成各业务应用系统之间数据之间的关系，明确相关的数据流向；

4、理标准

结合国家、教育部、行业及学校的相关要求，对学校业务数据代码、术语、规则等形成标准规范，为第二阶段的“理”奠定基础；

5、理流程

规范上报数据、转换清洗、标准变更流程、数据使用等流程的规范性，构建学校一套标准的数据处理与使用的流程；

6、理目录

整理资产清单，按照业务、技术等维度制定目录，方便后期数据检索与使用的便捷性，进而全面构建学校的数据资产目录。

2. 数据治理中的“治”

  经过数据治理一阶段的工作，己对学校的整体业务应用系统的相关数据有一个整体感知，为了让数据在后期的使用过程中能够做到权威、标准、高效，数据治理中的“治”便成为本次建设的核心，目的在于形成学校有效、有价值数据资产。结合公司的建设经验，整个数据“治”的过程如图所示：

1、治汇聚

监管采集流程，整合多源数据，统一各业务数据存储，构建大数据中台的原始库；

2、治质量

对标信息标准及数据，基于数据标准对数据进行校核，生成问题库，形成质量报告；

3、治清洗

根据数据清洗策略，去除重复数据、补充不完整数据、修正错误数据，形成基于标准库主题数据；

4、治加工

发掘数据价值，转化数据为信息，对数据进行标签处理，形成数据洞察；

5、治安全

识别敏感数据，明确责任人及权限，对数据进行分类分级，形成安全策略；

6、治共享

构筑数据共享通道，提供数据访问统一入口，形成自服务的数据共享平台。

治的目的是为数据共享，在此阶段为数据标准进行数据治理且形成学校有效、有价值数据资产。

(二) 数据治理内容与成果输出

一、从数据应用、技术检测、用户反馈三个方面形成完善的数据治理服务体系

1、数据看板应用治理

针对师生、业务部门、领导构建数据看板服务，以展示分析推动数据的治理服务。实际展示内容以调研为准，并可以随时根据需求调整。

（1）师生数据一张表

学生数据中心包括但不限于基础信息、校园消费、课程学习、经济资助、图书借阅、奖惩信息。

教师数据中心包括但不限于基本信息、学术交流、历届考核与总结、教育教学、个人经历、荣誉证书、科研成果、科研项目。

（2）部门数据看板

学生处：招生统计分析新生的性别、年龄、籍贯，全面了解每年学校生源情况，为招生宣传提供参考；以图形化展示学校近三年录取、报到、分数线变化等情况。就业分析主要针对学校每年应届毕业生数据，统计毕业生就业率、毕业去向、就业地点、 薪酬及专业对口率等，为校内指导就业工作提供依据；在校生异动统计分析、学生生源分析，学生就业分析，就业去向等。

图书馆：主要从图书馆的馆藏资源分布状况、图书经费使用状况、各类型图书的利用情况、各学院借阅图书书单、热门图书借阅情况以及图书借阅特征和学生成绩几点关联分析等方面，全面描绘学校的图书馆资源状况，资源被利用状况，为学校的图书馆及时补充热门的利用率高的图书文献提供了很好的参考。

资产部门：以报表的形式统计学校现有总固定资产数量、总值，按资产科目、使用部门分类汇总学校各类资产数量、总值，大件资产的数量、价格；以图形化的形式展示学校年度资产变化情况，各二级学院资产占比等详细信息。

教务处：教学分析可按课程门数、课程门次、上课人数、总课时、创新活动、计算机大赛、英语竞赛、体育竞赛、社会活动、考试成绩、补考人次、重修人次、计算机水平考试、外语等级考试、普通话考试、精品课程、实验课程、学生评教、教学事故、教学成果、教学工作量、实验室清单、实习基地等教学行为进行分析。

科研处：科研分析可按所属院系、立项时间、结项时间、项目类别、项目级别、项目状态、所属学科、到账时间、经费来源、支出时间、具体科目等进行分析；按论文数量、著作数量、研究报告、专利数量、著作权数量、科研获奖数量等进行分析；按第一作者类型、所属院系、年份、学科、论文类型、著作类别、专利类型、专利范围、著作权类型、获奖级别、成果形式等对教师科研情况进行分析。

（3）领导数据看板

学生总数、年级分布、性别比例、生源地分布、毕业生的升学率、就业率、教室利用率、教育经费、科研成果（如论文发表、专利申请、科研项目获奖等）、固定资产总值、占地面积、教师结构（学历、师生比、职称等）教学设备使用情况、图书管理藏书量、退学率、转学率等异常变动分析。

2、技术检测

技术检测是指通过我校数据中台的数据质量检查模块工具，对业务系统数据进行全部或抽样的扫描，找出不符合质量要求的数据，形成月度数据质量报告，提供给部门参考。

（1）全量数据表字段空值率检测

人事系统、教务系统、站群系统、融合门户、一卡通、学工、图书、财务、宿管、迎新、实验实训、科研、资产、雨课堂、质量工程系统、企业微信、招生系统、第二课堂

（2）定向、定时数据字段检测服务

对业务数据表中的字段可以设置自定义定时检测，规则包括但不限于单字段唯一性检查、空表检查、空字段检查、空值检查、记录数量检查、标准代码检查、比照表检查、数值范围检查、字符串格式检查、字符串长度检查等。

3、用户反馈

融合门户创建数据问题反馈填报入口，收集的数据统一放入数据治理报告中。