her1.png (254.09 KB, 下载次数: 0)
7 天前 上传
作者: 郑全 时间: 7 天前
我针对爱马仕给的提问，查了一下
[root@5x7pavbj ~]# ls -la /var/lib/docker/volumes/pmm-data/_data/clickhouse/store/95d/
total 4
drwxr-x--- 3 1000 root 50 Apr 12 10:30 .
drwxr-x--- 18 1000 1000 182 Apr 12 10:30 ..
drwxr-x--- 40 1000 root 4096 May 18 12:58 95dffa9f-e695-4518-9d39-76333d617851
[root@5x7pavbj ~]#
[root@5x7pavbj ~]#
[root@5x7pavbj ~]# du -sh /var/lib/docker/volumes/pmm-data/_data/clickhouse/store/95d/
33G /var/lib/docker/volumes/pmm-data/_data/clickhouse/store/95d/
作者: 郑全 时间: 7 天前
看来不能直接删除
我进入服务器看了一下操作系统空间情况
[root@5x7pavbj ~]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 3.9G 0 3.9G 0% /dev
tmpfs 3.9G 0 3.9G 0% /dev/shm
tmpfs 3.9G 440M 3.4G 12% /run
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
/dev/vda1 50G 50G 20K 100% /
/dev/vdb1 99G 61M 94G 1% /data
overlay 50G 50G 20K 100% /var/lib/docker/overlay2/f66d3c8db41995efb92f34bd1e8efd22fc32e3b161acfe88e27a8b20875aabc1/merged
overlay 50G 50G 20K 100% /var/lib/docker/overlay2/77c3ed335375c3fc8d64f1cc94ab80ccd30ff790cf789e0d4802700cd73b388f/merged
tmpfs 783M 0 783M 0% /run/user/0
看空间满了呀，
[root@5x7pavbj ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
14dd0b17dbdd percona/watchtower "/watchtower --clean…" 5 weeks ago Up 5 weeks (unhealthy) 8080/tcp watchtower
8e5906189f19 percona/pmm-server:3 "/opt/entrypoint.sh" 5 weeks ago Up 5 weeks (unhealthy) 8080/tcp, 0.0.0.0:443->8443/tcp, :::443->8443/tcp pmm-server
[root@5x7pavbj ~]# docker exec -it 8e5906189f19 /bin/bash
failed to create runc console socket: mkdir /tmp/pty1048349728: no space left on device: unknown
进入容器都不行了，怎么办，直接给爱马仕吧
作者: 郑全 时间: 7 天前
郑全 发表于 2026-5-18 16:19
看来不能直接删除
我进入服务器看了一下操作系统空间情况
her2.png (296.45 KB, 下载次数: 1)
7 天前 上传
作者: 郑全 时间: 7 天前
her3.png (221.33 KB, 下载次数: 1)
7 天前 上传
作者: 郑全 时间: 7 天前
[root@5x7pavbj ~]# docker system df
TYPE TOTAL ACTIVE SIZE RECLAIMABLE
Images 4 3 5.674GB 8.442MB (0%)
Containers 3 2 783.4MB 783.3MB (99%)
Local Volumes 2 1 40.59GB 178.7MB (0%)
Build Cache 0 0 0B 0B
[root@5x7pavbj ~]# docker system prune -f
Deleted Containers:
551fc775d95bc78c739c4f5afd216b5138b9be3d024aeecbce1896b7edd7da27
Total reclaimed space: 783.3MB
[root@5x7pavbj ~]# docker system df
TYPE TOTAL ACTIVE SIZE RECLAIMABLE
Images 4 2 5.674GB 2.983GB (52%)
Containers 2 2 18.87kB 0B (0%)
Local Volumes 2 1 40.64GB 178.7MB (0%)
Build Cache 0 0 0B 0B
[root@5x7pavbj ~]# docker volume prune -f
Total reclaimed space: 0B
[root@5x7pavbj ~]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 3.9G 0 3.9G 0% /dev
tmpfs 3.9G 0 3.9G 0% /dev/shm
tmpfs 3.9G 440M 3.4G 12% /run
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
/dev/vda1 50G 50G 494M 100% /
/dev/vdb1 99G 61M 94G 1% /data
overlay 50G 50G 494M 100% /var/lib/docker/overlay2/f66d3c8db41995efb92f34bd1e8efd22fc32e3b161acfe88e27a8b20875aabc1/merged
overlay 50G 50G 494M 100% /var/lib/docker/overlay2/77c3ed335375c3fc8d64f1cc94ab80ccd30ff790cf789e0d4802700cd73b388f/merged
tmpfs 783M 0 783M 0% /run/user/0
[root@5x7pavbj ~]# docker exec -it 8e5906189f19 /bin/bash
可以进入了
作者: 郑全 时间: 7 天前
进入容器后，看看 /srv 已经满了
[pmm@8e5906189f19 opt] # df -h
Filesystem Size Used Avail Use% Mounted on
overlay 50G 50G 191M 100% /
tmpfs 64M 0 64M 0% /dev
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
shm 64M 0 64M 0% /dev/shm
/dev/vda1 50G 50G 191M 100% /srv
tmpfs 3.9G 0 3.9G 0% /proc/acpi
tmpfs 3.9G 0 3.9G 0% /proc/scsi
tmpfs 3.9G 0 3.9G 0% /sys/firmware
如何清理clickhouse 空间 ，还是继续问爱马仕
作者: 郑全 时间: 7 天前
郑全 发表于 2026-5-18 16:37
进入容器后，看看 /srv 已经满了
# df -h
her4.png (282.98 KB, 下载次数: 0)
7 天前 上传
先看看大小
SELECT
database,
`table`,
formatReadableSize(sum(bytes_on_disk)) AS size
FROM system.parts
GROUP BY
database,
`table`
ORDER BY sum(bytes_on_disk) DESC
LIMIT 20
Query id: 93aa3553-194f-40eb-95fe-743b58e1a118
→ Progress: 0.00 rows, 0.00 B (0.00 rows/s., 0.00 B/s.)
↓ Progress: 369.00 rows, 16.44 KB (19.03 thousand rows/s., 847.81 KB/s.) (0.0 CPU, 19.18 KB RAM)
┌─database─┬─table─────────────────────┬─size───────┐
1. │ system │ trace_log │ 32.64 GiB │
2. │ system │ metric_log │ 653.60 MiB │
3. │ system │ asynchronous_metric_log │ 278.06 MiB │
4. │ pmm │ metrics │ 16.58 MiB │
5. │ system │ processors_profile_log │ 12.60 MiB │
6. │ system │ query_log │ 9.86 MiB │
7. │ system │ part_log │ 3.57 MiB │
8. │ system │ metric_log_0 │ 298.55 KiB │
9. │ system │ asynchronous_metric_log_0 │ 276.21 KiB │
10. │ system │ query_log_0 │ 56.46 KiB │
11. │ system │ trace_log_0 │ 39.85 KiB │
12. │ system │ part_log_0 │ 10.06 KiB │
└──────────┴───────────────────────────┴────────────┘
12 rows in set. Elapsed: 0.020 sec.
8e5906189f19 :) ALTER TABLE prometheus DELETE WHERE timestamp < now() - INTERVAL 7 DAY;
ALTER TABLE prometheus
(DELETE WHERE timestamp < (now() - toIntervalDay(7)))
Query id: 83d4ff90-4550-4983-9851-0df82838f1be
Elapsed: 0.005 sec.
Received exception from server (version 25.3.6):
Code: 60. DB::Exception: Received from localhost:9000. DB::Exception: Could not find table: prometheus. (UNKNOWN_TABLE)
作者: 郑全 时间: 7 天前
郑全 发表于 2026-5-18 16:44
先看看大小
SELECT
database,
her5.png (177.67 KB, 下载次数: 0)
7 天前 上传
作者: 郑全 时间: 7 天前
找到问题了：system.trace_log 占了 32.6 GiB，这是 ClickHouse 内部的执行追踪日志，不是 PMM 指标数据。
直接清空这个表，腾出 32GB：
按爱马仕的提示，初步判断，这个日志可以删除。
8e5906189f19 :) TRUNCATE TABLE system.trace_log;
TRUNCATE TABLE system.trace_log
Query id: a214c798-38fd-4cbb-8d75-55cf38c1a621
Ok.
0 rows in set. Elapsed: 0.559 sec.
8e5906189f19 :) exit
Bye.
[pmm@8e5906189f19 95dffa9f-e695-4518-9d39-76333d617851] # df -h
Filesystem Size Used Avail Use% Mounted on
overlay 50G 17G 33G 35% /
tmpfs 64M 0 64M 0% /dev
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
shm 64M 0 64M 0% /dev/shm
/dev/vda1 50G 17G 33G 35% /srv
tmpfs 3.9G 0 3.9G 0% /proc/acpi
tmpfs 3.9G 0 3.9G 0% /proc/scsi
tmpfs 3.9G 0 3.9G 0% /sys/firmware
删除后，空间空出来了
作者: 郑全 时间: 7 天前
郑全 发表于 2026-5-18 16:49
找到问题了：system.trace_log 占了 32.6 GiB，这是 ClickHouse 内部的执行追踪日志，不是 PMM 指标数据。
...
her6.png (238.09 KB, 下载次数: 0)
7 天前 上传
作者: 郑全 时间: 7 天前
按提示重启PMM，问题解决：
root@5x7pavbj ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
14dd0b17dbdd percona/watchtower "/watchtower --clean…" 5 weeks ago Up 5 weeks (healthy) 8080/tcp watchtower
8e5906189f19 percona/pmm-server:3 "/opt/entrypoint.sh" 5 weeks ago Up 5 weeks (unhealthy) 8080/tcp, 0.0.0.0:443->8443/tcp, :::443->8443/tcp pmm-server
[root@5x7pavbj ~]# docker restart pmm-server
pmm-server
[root@5x7pavbj ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
14dd0b17dbdd percona/watchtower "/watchtower --clean…" 5 weeks ago Up 5 weeks (healthy) 8080/tcp watchtower
8e5906189f19 percona/pmm-server:3 "/opt/entrypoint.sh" 5 weeks ago Up 2 seconds (health: starting) 8080/tcp, 0.0.0.0:443->8443/tcp, :::443->8443/tcp pmm-server
[root@5x7pavbj ~]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 3.9G 0 3.9G 0% /dev
tmpfs 3.9G 0 3.9G 0% /dev/shm
tmpfs 3.9G 440M 3.4G 12% /run
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
/dev/vda1 50G 17G 33G 35% /
/dev/vdb1 99G 61M 94G 1% /data
overlay 50G 17G 33G 35% /var/lib/docker/overlay2/f66d3c8db41995efb92f34bd1e8efd22fc32e3b161acfe88e27a8b20875aabc1/merged
overlay 50G 17G 33G 35% /var/lib/docker/overlay2/77c3ed335375c3fc8d64f1cc94ab80ccd30ff790cf789e0d4802700cd73b388f/merged
tmpfs 783M 0 783M 0% /run/user/0
作者: 郑全 时间: 7 天前
通过这个爱马仕的使用，还是要进行一些判断。
| 欢迎光临 重庆思庄Oracle、KingBase、PostgreSQL、Redhat认证学习论坛 (http://bbs.cqsztech.com/) | Powered by Discuz! X3.2 |