恒生电子股份有限公司 LightDB dbPaaS 运维手册说明书

admin管理员组

文章数量:1531792

2024年7月3日发(作者：)

恒生电子股份有限公司

LightDB dbPaaS

运维手册

恒生研究院

2022年4月

文档修改记录

版本

1.0.0.0

修订人

修订说明

初稿

批准人

发布日期

20220418

说 明

本文档中所包含的信息属于商业机密信息，如无恒生电子股份有限公司的书面许可，

任何人都无权复制或利用。

模板版本信息

编辑部门：EPG

批准日期：2018/9/26

目 录

目 录 ........................................................................................................................................... 2

1 引言 ..................................................................................................................................... 3

2 LightDB dbPaaS简介 ......................................................................................................... 3

3 3

3.1 LightDB Agent 支持的平台 ................................................................................... 3

3.2 LightDB Agent参数 ................................................................................................ 4

3.3 LightDB Agent启动停止 ........................................................................................ 8

3.4 LightDB Agent和LightDB EM需要公用一个Redis ........................................... 9

3.5 网络详情页为空并且后台报-bash: lsof: command not found ............................... 9

3.6 EM磁盘活动数据展示都为-1，监控采集需要安装sysstat ................................ 9

3.7 Agent采集数据保留多久 ....................................................................................... 9

4 LightDB EM ...................................................................................................................... 10

4.1 LightDB EM 支持的平台 .................................................................................... 10

4.2 LightDB EM参数 ................................................................................................. 10

4.3 LightDB安装EM报错Redis连接失败怎么办？ ............................................. 14

4.4 LightDB安装EM组件启动或重启顺序 ............................................................ 14

4.5 Lightdb EM组件配置文件和日志对应的路径 ................................................... 14

4.6 LightDB EM启动失败常见问题 ......................................................................... 15

4.7 LightDB EM java日志处理 .................................................................................. 15

1 引言

本文档为恒生电子股份有限公司LightDB dbPaaS日常运维手册，主要介绍日常运维常

用操作的指南。

2 LightDB dbPaaS简介

LightDB dbPaaS分为LightDB Agent和LightDB EM。LightDB dbPaaS系统架构如下

3 LightDB Agent

LightDB Agent用于监控主机和数据库实例，通过定时任务采集主机和数据库实例信息

并入库到LightDB EM数据库中。目前仅支持：一台主机部署一个数据库实例和一个Agent

的情况。

3.1 LightDB Agent 支持的平台

LightDB Agent是一个Java应用，通过LightDB EM界面进行安装，同时依赖LightDB EM

安装的Redis服务。环境依赖与LightDB EM保持一致，参见4.1 LightDB EM支持的平台。

3.2 LightDB Agent参数

agent配置文件为：agent/config/ ties；

参数名 运维调整

情况

n

无需调整

无需调整

无需调整

无需调整

无需调整

应用名称，默认em

应用别名，默认lightdb em

应用版本号，每次发版会把版本号调整好

应用组，每次发版会把组调整好

应用端口，系统安装成功后，端口就已指定，

一般为17334。

如果从安装包拷贝部署，需要替换

${agent_port}为提供服务的端口

ogUrls

无需调整 不记录日志URL，每次发版会把URL值调

整好

无需调整 应用web路径，一般是ip:port/em，安

装会把值设置好。

如果从安装包拷贝部署，需要替换

${agent_host}为当前服务器IP，替换

${agent_port}为，/em保持不变

无需调整 应用域名或IP,一般安装会把值设置好。

如果从安装包拷贝部署，需要替换

${agent_host}为当前服务器IP。

根据实际

调整

Agent实际安装路径，Linux下通过Agent

根目录执行pwd的结果即是实际安装路径，

需确保安装路径正确。

如果从安装包拷贝部署，需要替换

${install_path}为当前安装目录

无需调整 日志配置文件路径，默认

classpath:。运维可以根据实际情

参数值说明

况调整数据日志的等级、路径及日志文件拆

分规则。日志配置参考

/fz/article/de

tails/81214773

根据需要

调整

thm

首次部署

调整

首次部署

调整

Locations

iasesPackage

Location

ckage

entScan

rityUrls

urces[0].name

urces[0].driverC

lassName

urces[0].url

根据实际

调整

对应em数据库jdbc url地址。如果从安装

包拷贝部署，需要替换${lightdb_host}为em

数据库IP，替换${lightdb_port}为em数据库

PORT，替换${lightdb_pwd}为数据库用户

lightdb的密码

urces[0].userna

me

urces[0].passwo

rd

根据实际

调整

根据实际

调整

对应em数据库密码，如果从安装包拷贝部

署，需要替换${lightdb_pwd}为em数据库的

密码

对应em数据库用户名

不能调整

不能调整

不能调整

不能调整

不能调整

不能调整

不能调整

无需调整

无需调整

登录验证码开关。默认false不开始，如果

需要开始登录数字验证码，设置为true即可

密码加密算法默为 MD5，如有国密需求可

以设置为SM。

加密盐值，如果需要设置特殊的加密盐值，

运维需要在首次部署就要规划好

Mybatis mapper xml路径

Mybatis对象对应的包路径

Mybatis 配置路径

Mybatis基础包路径

数据库类型，目前走oracle分支

扫描路径

不需要登录校验URL

默认值default，对应em数据库信息

数据库驱动

urces[0].maxAct

ive

urces[0].maxWa

it

根据实际

调整

根据实际

调整

默认300，对应em数据库连接池中的最大

连接数

默认500ms，从em数据库连接池中获取连

接的最大等待时间，单位ms，默认-1，即会

一直等待下去。运维可以根据实际调整优化

urces[0].maxIdl

e

urces[0].remove

Abandoned

urces[0].remove

AbandonedTimeout

urces[0].logAba

ndoned

urces[1].name

根据实际

调整

无需调整

默认10，对应em数据库最大空闲连接数

默认true，超过时间限制是否回收

根据实际

调整

无需调整

默认600s，超过时间限制多长

默认true。指定发生removeabandoned的

时候，是否记录当前线程的堆栈信息到日志中

无需调整 默认postgres，对应被监控数据库信息。运

维不需要调整

urces[1].driverC

lassName

urces[1].url

不能调整 数据库驱动

根据实际

调整

对应被监控数据库url地址，运维需确保这

个是被监控数据库的url信息并正确。如果

从安装包拷贝部署，需要替换

${monitored_db_host}为被监控数据库IP，

替换${monitored_db_port}为被监控数据库

端口

urces[1].userna

me

根据实际

调整

对应被监控数据库用户名，运维需确保这个

是被监控数据库的用户名并正确。如果从安

装包拷贝部署，需要替换

${monitored_db_user}为被监控数据库的用

户名

urces[1].passwo

根据实际对应被监控数据库密码，运维需确保这个是

rd

调整 被监控数据库的密码并正确。如果从安装包

拷贝部署，需要替换${monitored_db_pwd}

为被监控数据库的密码

urces[1].maxAct

ive

urces[1].maxWa

it

根据实际

调整

根据实际

调整

对应被监控数据库最大连接数，默认300

默认500ms，从被监控数据库连接池中获取

连接的最大等待时间，单位ms，默认-1，即

会一直等待下去

urces[1].maxIdl

e

urces[1].remove

Abandoned

urces[1].remove

AbandonedTimeout

urces[1].logAba

ndoned

根据实际

调整

无需调整

默认10，对应被监控数据库最大空闲连接数

默认true，被监控数据库超过时间限制是否

回收

根据实际

调整

无需调整

默认600s，对应被监控数据库

超过时间限制多长

默认true。指定发生removeabandoned的

时候，是否记录当前线程的堆栈信息到日志中

根据实际

调整

被监控主机IP。如果从安装包拷贝部署，需

要替换${monitored_db_host}为主机IP

被监控主机名

me

根据实际

调整

根据实际

调整

被监控主机用户名

根据实际

调整

被监控主机密码

根据实际

调整

被监控数据库URL。如果从安装包拷贝部

署，需要替换${monitored_db_host}为被监控

数据库IP，替换${monitored_db_port}为被

监控数据库端口

me

根据实际被监控数据库名称

调整

根据实际

调整

n

根据实际

调整

根据实际

调整

根据实际

调整

根据实际

调整

数据库部署类型，0 单实例 1 集群 2分布

式。如果从安装包拷贝部署，需要替换

${cluster_mode}，0 单实例 1 集群 2分布

式

pe

根据实际

调整

se

无需调整

根据实际

调整

根据实际

调整

rd

根据实际

调整

t

根据实际

调整

redis库序号，默认0

redis主机ip。如果从安装包拷贝部署，需要

替换${em_host}为当前服务器IP

redis端口port。如果从安装包拷贝部署，需

要替换${redis_port}为redis提供服务的端口

redis密码。如果从安装包拷贝部署，需要替

换${redis_password}为redis配置的密码

redis超时时间，默认30000

数据库节点类型，默认1主节点

数据库类型1:lightdb 2:postgresql

数据库VIP，集群模式下才有此字段

被监控数据库版本号

被监控数据库密码

3.3 LightDB Agent启动停止

LightDB Agent安装目录下面有一个script文件夹，里面有2个启动脚本：agent_

用于启动Agent，agent_用于停止Agent。

3.4 LightDB Agent和LightDB EM需要共享缓存Redis

LightDB Agent和LightDB EM需要共用一个Redis作为缓存。

3.5 网络详情页为空并且后台报 -bash: lsof: command not found

网络详情页是通过访问LightDB Agent服务执行命令获取数据。操作系统没有安装lsof

命令，需要人工安装。ReHat/CentOS下执行yum install lsof 。

3.6 EM磁盘活动数据展示都为 -1，监控采集需要安装sysstat

EM磁盘活动数据展示都为-1，EM监控采集需要安装sysstat，操作系统如果没有安装

需要人工安装。ReHat/CentOS下执行yum install sysstat。

3.7 Agent采集数据保留多久

Agent采集的数据放到各自的业务数据表中，然后有一个定时清理的任务对

采集的数据进行清理。

清理数据的定时任务配置在表lem_clean_job中，默认保留15天的数据，

可以通过脚本调整保留N天的数据。

调整业务数据保留时间脚本例子：

update lem_clean_job set clean_job='-10 day' where id=29

3.8 Agent 安装前准备

3.8.1 更改/var/log/messages默认权限

在需安装 agent 的主机，修改

/etc/logrotate.d/syslog

文件，将原有

/var/log/messages

一行改为：

然后执行如下命令，使设置生效。

/var/log/messages

{

create 0644

postrotate

/bin/kill -HUP `cat /var/run/ 2> /dev/null` 2> /dev/null || true

endscript

}

logrotate --force /etc/logrotate.d/syslog

4 LightDB EM

LightDB EM负责展示LightDB Agent采集的数据，主机和数据库实例实时数据及系统

配置相关数据。

4.1 LightDB EM 支持的平台

LightDB EM单独安装会生成jdk、LightDB Agent安装文件、LightDB EM运行文件、

Nginx和Redis（nginx和redis不支持跨平台）。

目前支持的平台如下：

1. x86_64, CentOS/RHEL >= 7.6

2. x86_64（海光处理器），Kylin高级服务器V10

3. aarch64，CentOS/RHEL >= 7.6

4. aarch64，Kylin高级服务器V10SP2

4.2 LightDB EM参数

配置文件为： em/config/ ties。

参数名

运维调整

无需调整

无需调整

参数值说明

应用名称，默认em

应用别名，默认lightdb em

n

无需调整 应用版本号，每次发版会把版

本号调整好

无需调整

无需调整

应用组，每次发版会把组调整

应用端口，系统安装成功后，

端口就已指定

ogUrls

无需调整 不记录日志URL，每次发版

会把URL值调整好

无需调整 应用web路径，一般是

ip:port/em，安装会把值

设置好。

无需调整 应用域名或IP,一般安装会把

值设置好

根据实际调

整

EM实际安装路径，Linux下

通过EM根目录执行pwd的

结果即是实际安装路径，需确

保安装路径正确

无需调整 日志配置文件路径，默认

classpath:。运维可

以根据实际情况调整数据日

志的等级、路径及日志文件拆

分规则。日志配置参考

/fz1376888

4254/article/details/81214773

登录验证码开关。默认false

不开始，如果需要开始登录数

字验证码，设置为true即可

根据需要调

整

thm

首次部署调

整

密码加密算法，默认MD5，

也可设为SM满足国密需求。

加密盐值，如果需要设置特殊

的加密盐值，运维需要在首次

部署就要规划好

首次部署调

整

Locations

iasesPackage

Location

ckage

不能调整

不能调整

不能调整

不能调整

不能调整

Mybatis mapper xml路径

Mybatis对象对应的包路径

Mybatis 配置路径

Mybatis基础包路径

数据库类型，目前走oracle分

支

entScan

rityUrls

urces[0].name

urces[0].driverClassName

不能调整

不能调整

无需调整

无需调整

扫描路径

不需要登录校验URL

数据源名称，默认default

数据库驱动

urces[0].url

根据实际调

整

urces[0].username

根据实际调

整

urces[0].password

根据实际调

整

urces[0].maxActive

根据实际调

整

urces[0].maxWait

根据实际调

整

默认300，对应em数据库连

接池中的最大连接数

默认500ms，从em数据库连

接池中获取连接的最大等待

时间，单位ms，默认-1，即

会一直等待下去。运维可以根

据实际调整优化

urces[0].maxIdle

根据实际调

整

urces[0].removeAbandoned

无需调整

默认10，对应em数据库最大

空闲连接数

默认true，超过时间限制是否

回收

urces[0].removeAbandoned

根据实际调默认600s，超过时间限制多长

对应em数据库密码

对应em数据库用户名

对应em数据库jdbc url地址

Timeout

urces[0].logAbandoned

整

无需调整

默认true。指定发生

removeabandoned的时候，

是否记录当前线程的堆栈信息

到日志中

urces[1].name

urces[1].driverClassName

无需调整

不能调整

数据源名称，默认postgres

数据库驱动

urces[1].url

根据实际调

整

urces[1].username

根据实际调

整

urces[1].password

根据实际调

整

urces[1].maxActive

根据实际调

整

urces[1].maxWait

根据实际调

整

数据库连接串jdbc url，运维

需要确保jdbc url串正确

数据库用户名，运维需要确保

用户名正确

数据库密码，运维需要确保密

码正确

默认300，连接池中的最大连

接数

默认500ms，从连接池中获取

连接的最大等待时间，单位

ms，默认-1，即会一直等待下

去

urces[1].maxIdle

根据实际调

整

urces[1].removeAbandoned

无需调整 默认true，超过时间限制是否

回收

urces[1].removeAbandoned

Timeout

根据实际调

整

默认600s，超过时间限制多

长，运维可以根据实际调整优

化

urces[1].logAbandoned

无需调整

默认true。指定发生

默认10，最大空闲连接数

removeabandoned的时候，

是否记录当前线程的堆栈信息

到日志中，运维无需调整

根据实际调

整

数据库类型

2:postgresql

1:lightdb

根据实际调

整

gotty命令行工具端口

4.3 LightDB安装EM报错Redis连接失败怎么办？

确保Redis启动正常

Redis默认安装目录$PGHOME/../../em/redis，默认端口是18331。确认Redis是否正常，

通过Redis安装目录$PGHOME/../../em/redis中的redis-cli来访问服务是否正常，执行命令

$PGHOME/../../em/redis/redis-cli -h Redis的IP -p 18331，成功后执行auth Redis的密码(无密

码可以跳过此步)，再执行keys *既可以看到数据，以上步骤都成功则说明Redis正常，否则

要通过$PGHOME/../../em/redis/查看Redis产生了哪些错误，针对性解决。

确保em访问Redis配置正常

em访问Redis的配置文件在$PGHOME/../../em/config/ties，对应

前缀的配置。重点关注IP()、端口()和密码

(rd)，确保配置跟第1步中Redis的配置一致。

4.4 LightDB安装EM组件启动或重启顺序

首先确保LightDB数据库正常，然后一次启动或重启以下服务：

启动Redis，如果Redis服务存在，先执行$PGHOME/../../em/scripts/redis_，不存

在跳过此步，然后执行执行命令$PGHOME/../../em/scripts/redis_。通过ps -ef|grep redis

查看EM的Redis进程是否存在。

启动Nginx，如果Nginx服务存在，先执行$PGHOME/../../em/scripts/nginx_，不

存在跳过此步，然后执行执行命令$PGHOME/../../em/scripts/nginx_。通过ps -ef|grep

nginx查看EM的Nginx进程是否存在

启动EM java服务，如果EM java服务存在，先执行$PGHOME/../../em/scripts/em_，

不存在跳过此步，然后执行执行命令$PGHOME/../../em/scripts/em_。通过ps -ef|grep

/em/查看EM的进程是否存在

4.5 Lightdb EM组件配置文件和日志对应的路径

Redis配置文件路径：$PGHOME/../../em/

Redis日志路径：$PGHOME/../../em/

Nginx配置文件路径：$PGHOME/../../em/nginx/conf/

Nginx日志路径：$PGHOME/../../em/nginx/logs

EM java配置文件路径：$PGHOME/../../em/config ties ties

4.6 LightDB EM启动失败常见问题

1、 Swap交换区没有设置，设置方法参考《LightDB数据库安装手册.pdf》中3.11 开

启

Swap交换区

2、服务器内存空间不够，推荐给em java应用至少8G内存，配置详见

$PGHOME/em/scripts/em_中app_Xms项的值

4.7 LightDB EM java日志处理

EM java日志放在$PGHOME/em/logs中，就是日志文件。日志对应的配

置在$PGHOME/em/config/ties中对应配置项

=classpath:指定日志的配置文件，然后在

$PGHOME/em/config/ties配置日志分割规则。目前的日志配置规

则基本都满足要求，如果有特殊的要求可以参考

/fz/article/details/81214773

本文标签： 数据库需要调整安装默认