如何解决限制 PostgreSQL 的最小时间间隔的结果行
背景:我正在运行 TeslaMate/Grafana 来监控我的汽车状态,其中一个仪表绘制了从数据库中获取的电池电量。我的服务器位于远程并在旧 NAS 的 Dock 中运行,因此查询性能和网络开销都很重要。
我发现 koisk 页面经常挂起,经调查,这可能是由查询引起的 - 其中两个图从数据库返回 10~100k 行结果。我想限制 SQL 查询返回的行数,因为对于绘制如此详细的间隔,这些图肯定没有那么高的精度。
我尝试按照this answer,使用row_number()
只弹出第100行结果,但出现了更复杂的问题,即行之间的时间间隔不一致。
汽车有四种状态,驾驶/在线/睡眠/离线。
- 如果汽车处于行驶状态,时间间隔可能小于 200 毫秒,因为汽车在有新数据时推送状态。
- 如果汽车处于在线状态,时间间隔可能是几分钟,因为系统会主动从汽车中获取状态。
- 更糟糕的是,如果系统认为汽车即将进入睡眠状态并需要停止获取状态(以避免阻止汽车进入睡眠状态),则间隔最长可能为 40 分钟,具体取决于设置。
- 如果汽车处于睡眠/离线状态,则根本不会记录任何数据。
这显然让跳过第 n 行成为一个坏主意,对于上面的案例 2-4,可能会丢失大量数据点,因此 Grafana 无法以令人满意的精度绘制代表电池电量的正确图表。
我想知道是否有可能按时间间隔从日期时间字段而不是 row_number() 跳过行而不会产生太多查询开销?即,从前一行获取最少 1000 毫秒的每一行。
例如,我在表中有以下数据,我希望返回的行是第 1、4 和 5 行。
row date
[1] 1610000001000
[2] 1610000001100
[3] 1610000001200
[4] 1610000002000
[5] 1610000005000
我目前使用的(有问题的)方法如下:
SELECT $__time(t.date),t.battery_level AS "SOC [%]"
FROM (
SELECT date,battery_level,row_number() OVER(ORDER BY date ASC) AS row
FROM (
SELECT battery_level,date
FROM positions
WHERE car_id = $car_id AND $__timeFilter(date)
UNION ALL
SELECT battery_level,date
FROM charges c
JOIN charging_processes p ON p.id = c.charging_process_id
WHERE $__timeFilter(date) AND p.car_id = $car_id) AS data
ORDER BY date ASC) as t
WHERE t.row % 100 = 0;
这种方法显然存在只返回替代行而不是我想要的(假设最后一行读取t.row % 2 = 0
)的问题
PS:请忽略示例代码中的表格结构和 UNION
,我对表格的挖掘不够深入,这些表格可能是其他调整,但无论如何与此问题无关。
提前致谢!
解决方法
您可以使用递归 CTE:
WITH RECURSIVE rec(cur_row,cur_date) AS (
(
SELECT row,date
FROM t
ORDER BY date
LIMIT 1
)
UNION ALL
(
SELECT row,date
FROM t
JOIN rec
ON t.date >= cur_date + 1000
ORDER BY t.date
LIMIT 1
)
)
SELECT *
FROM rec;
cur_row | cur_date |
---|---|
1 | 1610000001000 |
4 | 1610000002000 |
5 | 1610000005000 |
改用函数可能会更快:
CREATE OR REPLACE FUNCTION f() RETURNS SETOF t AS
$$
DECLARE
row t%ROWTYPE;
cur_date BIGINT;
BEGIN
FOR row IN
SELECT *
FROM t
ORDER BY date
LOOP
IF row.date >= cur_date + 1000 OR cur_date IS NULL
THEN
cur_date := row.date;
RETURN NEXT row;
END IF;
END LOOP;
END;
$$ LANGUAGE plpgsql;
SELECT *
FROM f();
行 | 日期 |
---|---|
1 | 1610000001000 |
4 | 1610000002000 |
5 | 1610000005000 |
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。