- DOI：
10.13738/j.cnki.acc.qklw60536
- 专辑：
科学Ⅰ辑;信息科技
- 专题：
信息、科学;综合科技
- 分类号：
G90;N92
一、 数据仓库数据处理技术架构
根据所内现状以及后续数据仓库发展考虑，设计如上架构。由于所内目前数据量较小，且已经使用赛思平台建设了数据仓库系统，因此保留“数据开发平台1”系统，同时目前数据依旧采用Oracle数据库进行存储。后续数据仓库内的数据量会逐渐增大，当数据量上亿后，oralce数据库本身的计算会出现瓶颈，因此需要扩展部署大数据平台开发及存储架构。
l HDFS：以文件存储的方式实现大数据存储；
l Spark/hadoop：进行大数据计算，可以选择部署其中的一个，也可以选择两个都进行部署。
l Hive：进行数据查询。通过任务设定，可以实现将大数据处理的结果插入到Oracle中，以及从oracle中抽取数据插入到HDFS中进行存储。
l 数据开发平台2：该平台为数据仓库的数据开发、管理的平台。可以实现sql的实时计算、任务的创建（抽取、推送）、权限设置等功能。
l 数据开发平台1：目前赛思系统开发平台。
二、 数据仓库系统架构
l 数据层：存储从其他业务系统抽取的业务数据。其中源数据模型存储的是从源系统抽取到数据仓库且没有经过任何处理的原始数据；实体模型存储的是源数据模型经过数据标准化处理后的数据；主数据和数据字典存储的是数据仓库中用到的公共数据。
l 开发层：该层负责数据源链接管理、ETL任务的设置管理、定时任务管理、接口管理等。通过数据抽取，将业务系统的的数据抽取到数据仓库；通过数据推送，可将数据仓库中的数据推送至决策分析系统。
l 表现层：该层是数据仓库管理员进行平台管理的操作界面。其中数据目录展示数据仓库中已存在的所有数据以及该数据的来源系统；血缘分析展示各类数据实体之间的关系，通过血缘分析，可以追溯某个数据的来源；接口监控是平台监控数据仓库与其他业务系统的接口数量、执行情况等信息；ETL任务监控是平台监控ETL任务的数量、执行情况等信息；数据增量监控是平台监控数据抽取的增量、全量情况；数据源监控是平台监测数据源的数量、连通情况等信息；数据检索是平台提供数据快速查询功能；日志管理是展示平台的登录、操作日志等信息。
三、 数据仓库表现层界面设计
l 首页：包括接口监控，ETL任务监控，数据增量监控、数据源监控；
l 数据目录：包括各类数据的所属类别和目录层级，所有从源系统抽取到数据仓库的数据以及在数据仓库中标准化后的数据均在数据目录中进行展示，在输入框中输入数据类别后，界面将直接定位到该数据及所属目录结构；
l 血缘分析：展示主要数据的血缘关系，同时可以通过数据检索功能查询某类数据实体的血缘关系，在输入框中输入数据类别后，界面将直接显示该数据的血缘关系图；
l 日志管理：展示系统的日志信息；
相关文献推荐
- 节点文献
- 读者推荐
- 相关基金文献
- 关联作者
- 相关视频
- 批量下載
