如何利用hermes 解决 PMM空间满问题

郑全 · 发表于 7 天前

本帖最后由郑全于 2026-5-18 16:11 编辑

问题：
zg,xg那个环境的监控服务器盘满了，这个目录下的可以清理吗？
/var/lib/docker/volumes/pmm-data/_data/clickhouse/store/95d

正在开会，漂了一眼，我的个乖乖，直接删除文件呀，还没有这样干过，不过我的直觉告诉我，这个应该是CLICKHOUSE的数据文件，不能直接从操作系统上删除，要从数据库中删除，但怎么删除呢，我不会呢，不是有爱马仕 AGENT吗，让他试试！
正好测试一下爱马仕的能力。

我把这个问题抛给爱马仕：

登录/注册后可看大图

郑全 · 发表于 7 天前

我针对爱马仕给的提问，查了一下

[root@5x7pavbj ~]# ls -la /var/lib/docker/volumes/pmm-data/_data/clickhouse/store/95d/
total 4
drwxr-x---  3 1000 root 50 Apr 12 10:30 .
drwxr-x--- 18 1000 1000  182 Apr 12 10:30 ..
drwxr-x--- 40 1000 root 4096 May 18 12:58 95dffa9f-e695-4518-9d39-76333d617851
[root@5x7pavbj ~]#
[root@5x7pavbj ~]#
[root@5x7pavbj ~]# du -sh /var/lib/docker/volumes/pmm-data/_data/clickhouse/store/95d/
33G    /var/lib/docker/volumes/pmm-data/_data/clickhouse/store/95d/

郑全 · 发表于 7 天前

看来不能直接删除

我进入服务器看了一下操作系统空间情况

[root@5x7pavbj ~]# df -h
Filesystem    Size  Used Avail Use% Mounted on
devtmpfs       3.9G    0  3.9G 0% /dev
tmpfs          3.9G    0  3.9G 0% /dev/shm
tmpfs          3.9G  440M  3.4G  12% /run
tmpfs          3.9G    0  3.9G 0% /sys/fs/cgroup
/dev/vda1       50G 50G 20K 100% /
/dev/vdb1       99G 61M 94G 1% /data
overlay       50G 50G 20K 100% /var/lib/docker/overlay2/f66d3c8db41995efb92f34bd1e8efd22fc32e3b161acfe88e27a8b20875aabc1/merged
overlay       50G 50G 20K 100% /var/lib/docker/overlay2/77c3ed335375c3fc8d64f1cc94ab80ccd30ff790cf789e0d4802700cd73b388f/merged
tmpfs          783M    0  783M 0% /run/user/0

看空间满了呀，

[root@5x7pavbj ~]# docker ps
CONTAINER ID IMAGE                COMMAND                CREATED    STATUS                PORTS                                              NAMES
14dd0b17dbdd percona/watchtower    "/watchtower --clean…" 5 weeks ago Up 5 weeks (unhealthy) 8080/tcp                                           watchtower
8e5906189f19 percona/pmm-server:3 "/opt/entrypoint.sh"    5 weeks ago Up 5 weeks (unhealthy) 8080/tcp, 0.0.0.0:443->8443/tcp, :::443->8443/tcp pmm-server
[root@5x7pavbj ~]# docker exec -it 8e5906189f19 /bin/bash
failed to create runc console socket: mkdir /tmp/pty1048349728: no space left on device: unknown

进入容器都不行了，怎么办，直接给爱马仕吧

郑全 · 发表于 7 天前

郑全发表于 2026-5-18 16:19
看来不能直接删除

我进入服务器看了一下操作系统空间情况

登录/注册后可看大图

郑全 · 发表于 7 天前

郑全发表于 2026-5-18 16:22

登录/注册后可看大图

郑全 · 发表于 7 天前

[root@5x7pavbj ~]# docker system df
TYPE          TOTAL    ACTIVE SIZE    RECLAIMABLE
Images       4       3       5.674GB 8.442MB (0%)
Containers    3       2       783.4MB 783.3MB (99%)
Local Volumes 2       1       40.59GB 178.7MB (0%)
Build Cache    0       0       0B       0B
[root@5x7pavbj ~]# docker system prune -f
Deleted Containers:
551fc775d95bc78c739c4f5afd216b5138b9be3d024aeecbce1896b7edd7da27

Total reclaimed space: 783.3MB
[root@5x7pavbj ~]# docker system df
TYPE          TOTAL    ACTIVE SIZE    RECLAIMABLE
Images       4       2       5.674GB 2.983GB (52%)
Containers    2       2       18.87kB 0B (0%)
Local Volumes 2       1       40.64GB 178.7MB (0%)
Build Cache    0       0       0B       0B

[root@5x7pavbj ~]# docker volume prune -f
Total reclaimed space: 0B
[root@5x7pavbj ~]# df -h
Filesystem    Size  Used Avail Use% Mounted on
devtmpfs       3.9G    0  3.9G 0% /dev
tmpfs          3.9G    0  3.9G 0% /dev/shm
tmpfs          3.9G  440M  3.4G  12% /run
tmpfs          3.9G    0  3.9G 0% /sys/fs/cgroup
/dev/vda1       50G 50G  494M 100% /
/dev/vdb1       99G 61M 94G 1% /data
overlay       50G 50G  494M 100% /var/lib/docker/overlay2/f66d3c8db41995efb92f34bd1e8efd22fc32e3b161acfe88e27a8b20875aabc1/merged
overlay       50G 50G  494M 100% /var/lib/docker/overlay2/77c3ed335375c3fc8d64f1cc94ab80ccd30ff790cf789e0d4802700cd73b388f/merged
tmpfs          783M    0  783M 0% /run/user/0
[root@5x7pavbj ~]# docker exec -it 8e5906189f19 /bin/bash

可以进入了

郑全 · 发表于 7 天前

进入容器后，看看 /srv 已经满了

[pmm@8e5906189f19 opt] # df -h
Filesystem    Size  Used Avail Use% Mounted on
overlay       50G 50G  191M 100% /
tmpfs          64M    0 64M 0% /dev
tmpfs          3.9G    0  3.9G 0% /sys/fs/cgroup
shm             64M    0 64M 0% /dev/shm
/dev/vda1       50G 50G  191M 100% /srv
tmpfs          3.9G    0  3.9G 0% /proc/acpi
tmpfs          3.9G    0  3.9G 0% /proc/scsi
tmpfs          3.9G    0  3.9G 0% /sys/firmware

如何清理clickhouse 空间，还是继续问爱马仕

郑全 · 发表于 7 天前

郑全发表于 2026-5-18 16:37
进入容器后，看看 /srv 已经满了

# df -h

登录/注册后可看大图

her4.png (282.98 KB, 下载次数: 1)

下载附件

7 天前上传

先看看大小
SELECT
database,
`table`,
formatReadableSize(sum(bytes_on_disk)) AS size
FROM system.parts
GROUP BY
database,
`table`
ORDER BY sum(bytes_on_disk) DESC
LIMIT 20

Query id: 93aa3553-194f-40eb-95fe-743b58e1a118

→ Progress: 0.00 rows, 0.00 B (0.00 rows/s., 0.00 B/s.)
↓ Progress: 369.00 rows, 16.44 KB (19.03 thousand rows/s., 847.81 KB/s.)                            (0.0 CPU, 19.18 KB RAM)
┌─database─┬─table─────────────────────┬─size───────┐
1. │ system │ trace_log                │ 32.64 GiB  │
2. │ system │ metric_log             │ 653.60 MiB │
3. │ system │ asynchronous_metric_log │ 278.06 MiB │
4. │ pmm    │ metrics                │ 16.58 MiB  │
5. │ system │ processors_profile_log │ 12.60 MiB  │
6. │ system │ query_log                │ 9.86 MiB │
7. │ system │ part_log                │ 3.57 MiB │
8. │ system │ metric_log_0             │ 298.55 KiB │
9. │ system │ asynchronous_metric_log_0 │ 276.21 KiB │
10. │ system │ query_log_0             │ 56.46 KiB  │
11. │ system │ trace_log_0             │ 39.85 KiB  │
12. │ system │ part_log_0             │ 10.06 KiB  │
└──────────┴───────────────────────────┴────────────┘

12 rows in set. Elapsed: 0.020 sec.

8e5906189f19 :) ALTER TABLE prometheus DELETE WHERE timestamp < now() - INTERVAL 7 DAY;

ALTER TABLE prometheus
(DELETE WHERE timestamp < (now() - toIntervalDay(7)))

Query id: 83d4ff90-4550-4983-9851-0df82838f1be

Elapsed: 0.005 sec.

Received exception from server (version 25.3.6):
Code: 60. DB::Exception: Received from localhost:9000. DB::Exception: Could not find table: prometheus. (UNKNOWN_TABLE)

郑全 · 发表于 7 天前

郑全发表于 2026-5-18 16:44
先看看大小
SELECT
database,

登录/注册后可看大图

郑全 · 发表于 7 天前

找到问题了：system.trace_log 占了 32.6 GiB，这是 ClickHouse 内部的执行追踪日志，不是 PMM 指标数据。
直接清空这个表，腾出 32GB：

按爱马仕的提示，初步判断，这个日志可以删除。

8e5906189f19 :) TRUNCATE TABLE system.trace_log;

TRUNCATE TABLE system.trace_log

Query id: a214c798-38fd-4cbb-8d75-55cf38c1a621

Ok.

0 rows in set. Elapsed: 0.559 sec.

8e5906189f19 :) exit
Bye.
[pmm@8e5906189f19 95dffa9f-e695-4518-9d39-76333d617851] # df -h
Filesystem    Size  Used Avail Use% Mounted on
overlay       50G 17G 33G  35% /
tmpfs          64M    0 64M 0% /dev
tmpfs          3.9G    0  3.9G 0% /sys/fs/cgroup
shm             64M    0 64M 0% /dev/shm
/dev/vda1       50G 17G 33G  35% /srv
tmpfs          3.9G    0  3.9G 0% /proc/acpi
tmpfs          3.9G    0  3.9G 0% /proc/scsi
tmpfs          3.9G    0  3.9G 0% /sys/firmware

删除后，空间空出来了

帐号		自动登录	找回密码
密码			注册