admin管理员组文章数量:1530839
2024年7月15日发(作者：)
1 数据处理和存储系统建设方案
1.1 设计方案
通过采用成熟的数据库技术、元数据技术和数据存储技术，建立
数据资源管理服务平台，满足海量数据的存储管理要求；整合系统资
源，避免或减少重复建设，降低数据管理成本；整合数据资源，保证
数据的完整性和一致性；通过安全机制及数据备份，保证数据的安全
性。
数据是系统的核心和灵魂。按照数据组织结构的不同可分为结构
化数据和非结构化数据；从数据的时间属性看，数据分为实时数据和
非实时数据；按照数据生命周期的角度数据可归于：数据采集区、数
据存储区、数据管理区和数据服务区几个数据分区。通过对本项目总
体建设内容的深入分析和理解，对本项目数据库总体数据架构设计如
下图所示：
服务对象
业务人员、管理人员、运维人员以及参保人、参保单位、专家等
业务人员、管理人员、运维人员以及参保人、参保单位、专家等
数据服务区
数据综合
查询
数据分类
共享
数据跟踪
反馈
统计分析
服务
……
数据管理区
数据权限
管理
数据更新
元数据
管理
数据备份数据监控……
数据存储区
基础数据库
业务数据库业务管理库分析数据库系统管理库
数据采集区
访问授权数据收集数据处理数据存储数据交换……
本系统数据库体系结构主要由数据采集区、数据存储区、数据管
理区、数据服务区等组成。
1、数据采集区
主要包括：访问授权、数据收集、数据处理、数据存储、数据交
换…
2、数据存储区
主要包括：基础数据库、业务数据库、业务管理库、分析数据库、
系统管理库。
3、数据管理区
主要包括：数据权限管理、数据更新、元数据管理、数据备份、
数据监控。
4、数据服务区
主要包括：数据综合查询、数据分类共享、数据跟踪反馈、统计
分析服务。
1.2 存储资源规划
1、核心oracle数据库服务器
用于金保内网运行工伤保险核心业务系统，为了保证性能及数据
安全，需要做双机RAC以及数据库备份。需要服务器三台，存储一
台。
以煤炭社保为例，当前参保约10万人，15年数据文件约为3G，
19年为20G，年增长4.25G；全区12个盟市，参保人数以4.5倍煤炭
计算，每个盟市当前基础数据约为：90G；当前存量数据约为：
12*90+20=1100G；全区每年增量数据约为：4.25+12*4.25*4.5=234G，
未来三年数据将达到：1100G+234*3=1.8T.以上为纯数据文件，考虑到
索引文件，存储数据库备份文件，至少应分配5T硬盘空间。
硬件要求：
（1）CPU：4颗IntelXeonE7-4830V4系列处理器；
（2）内存：32GBDDR4RDIMM内存；
（3）网络控制器：4个千兆网卡（电口），1个双端口万兆网卡
（光口）SAS硬盘2块（300G/块）；
（4）缓存：128GB，集群模式最大支持512GB缓存；
（5）硬盘：SAS硬盘5TB，至少能扩展到30T；
（6）最大支持硬盘数量≥3000；
（7）主机接口：配置8个1GbISCSI接口，配置8个8GbFC接
口控最大可扩展32个主机接口；
2、征缴数据同步前置机oracle
用于同各盟市当前的征缴系统做数据对接。
各盟市将征缴数据通过goldengate同步至该数据库，然后同步程
序读取该数据库；不同盟市创建不同用户，要求内存不能少于64GB。
硬件要求：
（1）CPU：4颗IntelXeonE7-4830V4系列处理器；
（2）内存：64GBDDR4RDIMM内存；
（3）网络控制器：4个千兆网卡（电口），1个双端口万兆网卡
（光口）
（4）硬盘：SAS硬盘1TB，至少能扩展到5T；
3、网报oracle数据库服务器
用于提供外网运行的应用的数据存储，为了保证性能及数据安全，
需要做双机RAC以及数据库备份。需要服务器三台，存储一台。
操作系统占用1GB内存，数据库管理系统约占用1GB，数据库
SGA分配为1GB，联机事务处理消耗约占用1.2GB。一个数据库实
例系统所需内存容量为：1GB＋1GB＋1GB＋约1.2GB≈4.2GB。加上
操作系统等所需要的内存，内存总需求在14G左右。
硬件要求：
（1）CPU：4颗IntelXeonE7-4830V4系列处理器；
（2）内存：32GBDDR4RDIMM内存；
（3）网络控制器：4个千兆网卡（电口），1个双端口万兆网卡
（光口）SAS硬盘2块（300G/块）；
4、另备一台用于备份数据库，同其他系统对接，支持其他程序
等。
硬件要求：
（1）CPU：4颗IntelXeonE7-4830V4系列处理器；
（2）内存：32GBDDR4RDIMM内存；
（3）网络控制器：4个千兆网卡（电口），1个双端口万兆网卡
（光口）
（4）硬盘：SAS硬盘5TB，至少能扩展到30T；
5、电子档案服务器
用于存放业务产生的电子档案。
当前煤炭电子材料约为0.9T，每年增长约为0.1T，以上面得出的
4.5倍关系计算，当前各盟市存量电子材料约为：0.9*4.5*12+0.9=49.5，
考虑到未来三年增量数据：49.5+0.1*4.5*13=55.35T。
硬件要求：
（1）CPU：E5-2603V4*2
（2）内存：16GBDDR4RDIMM内存
（3）硬盘：60TSSD，要求能随时扩展
6、电子档案服务器备份机器
用于电子档案物理文件的备份。
当前煤炭电子材料约为0.9T，每年增长约为0.1T，以上面得出的
4.5倍关系计算，当前各盟市存量电子材料约为：0.9*4.5*12+0.9=49.5，
考虑到未来三年增量数据：49.5+0.1*4.5*13=55.35T。
硬件要求：
（1）CPU：E5-2603V4*2
（2）内存：16GBDDR4RDIMM内存
（3）硬盘：60T，要求随时能扩展
版权声明：本文标题：数据处理和存储系统建设方案 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dongtai/1721049378a858080.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论