龙空技术网

那些年我们踩过的一些坑之 ClickHouse

程序员小陶 621

前言:

如今朋友们对“clickhouse 分页查询 limit”大概比较关切,大家都需要学习一些“clickhouse 分页查询 limit”的相关内容。那么小编在网上汇集了一些有关“clickhouse 分页查询 limit””的相关知识,希望兄弟们能喜欢,我们一起来学习一下吧!

摘要:

ClickHouse 挺好用的,但是这些坑防不胜防,用过的才懂。本篇文章将持续更新...

1.内存限制

2.写数据失败

3.删除数据

4.Join 关联默认值

现在用不到没关系,先收藏,防止后面找不到哦。

#大数据# #大数据学习#

1、group by 使用内存限制

错误信息如下:

Code: 241.DB::Exception: Memory limit (for query) exceeded:would use 9.37 GiB (attempt to allocate chunk of 134217760 bytes), maximum: 9.31 GiB.

定位到该查询中的 SQL 中使用了 group by ,默认的配置中没有对 group by 做内存限制。

解决方案:

执行 SQL 之前,在客户端进行如下设置

set max_memory_usage=32000000000;set max_bytes_before_external_group_by=16000000000;-- 下面是 sql 内容

在进行group by的时候,内存使用量已经达到了max_bytes_before_external_group_by的时候就进行写磁盘(基于磁盘的group by相对于基于磁盘的order by性能损耗要好很多的),一般max_bytes_before_external_group_by设置为max_memory_usage / 2,原因是在clickhouse中聚合分两个阶段:查询并且建立中间数据;合并中间数据 写磁盘在第一个阶段,如果无须写磁盘,clickhouse在第一个和第二个阶段需要使用相同的内存。

2、写入数据失败

1.错误信息如下:

Too many parts (300). Merges are processing significantly slower than inserts...

使用 Flink 实时消费 Kafka 的数据,Sink 到 ClickHouse ,策略是一条一条插入,任务上线一段时间之后,ClickHouse 扛不住数据插入的压力了(

是因为MergeTree的merge的速度跟不上 data part 生成的速度。),就报错了上述的报错信息。

解决方案:

优化 FLink ClickHouse Sink逻辑, 根据时间和数据量做触发,满足其一才会执行插入操作。

2.错误信息如下

Code: 252, e.displayText() = DB::Exception: Too many partitionsfor single INSERT block (more than 100). 

大概意思就是单次插入的数据分区太多了,超过默认配置的 100 个了。

解决方案:

1.合理设置分区字段 2.修改这个 max_partitions_per_insert_block 参数,调大这个值。

3、删除数据失败

错误信息如下:

Code: 359,e.displayText()=DB::Exception: Table or Partition in xxx was not dropped.Reason:1. Size (158.40 GB) is greater than max_[table/partition]_size_to_drop (50.00 GB)2. File '/data/clickhouse/clickhouse-server/flags/force_drop_table' intended to force DROP doesn't exist

从报错信息中的原因 1 可以看到,删除的数据实际大小已经超过了配置的大小。原因 2 说明是可以跳过配置检查,进行强制删除的,但是没找到这个文件 /data/clickhouse/clickhouse-server/flags/force_drop_table,所以不能跳过检查,也就是不能强制删除。

根据错误提示2 ,在所在的节点执行:

sudo touch '/data/clickhouse/clickhouse-server/flags/force_drop_table' && sudo chmod 666 '/data/clickhouse/clickhouse-server/flags/force_drop_table' 

然后再次执行 删除操作就可以了。

需要注意的是,这个标识文件有效期只有一次,执行删除完毕之后,这个文件就会消失。

4、Join 误用

关联两张表,对于未关联的行,使用该字段的默认值填充,而不是使用 null 填充。

在 system.settings 表中可以找到参数 join_use_nulls

这和我们在 Mysql 或者 Hive 等使用习惯上不一致,如果想要改成一样的,需要修改这个参数 join_use_nulls 为 1。

准备数据

-- 建表 1create table st_center.test_join_1(    id String,    name String) engine = MergeTree() order by tuple() SETTINGS index_granularity = 8192;-- 建表 2create table st_center.test_join_2(    id String,    name String) engine = MergeTree() order by tuple() SETTINGS index_granularity = 8192;-- 插入测试数据insert into test_join_1(id, name) values ('1','大数据学习指南');insert into test_join_1(id, name) values ('2','大数据进阶之路');insert into test_join_2(id, name) values ('1','大数据学习指南');

数据准备好了,下面我们测试一下。

select * from st_center.test_join_1  as t1all left join st_center.test_join_2  as t2on t1.id = t2.id

关联结果如下,未连接的行使用默认值填充的。String类型就填充空字符串,数值类型就填充 0

修改参数,在 SQL 最后加入 settings join_use_nulls = 1

select * from st_center.test_join_1  as t1all left join st_center.test_join_2  as t2on t1.id = t2.idsettings join_use_nulls = 1

关联结果如下,和我们在 mysql 等中的使用习惯一样了。

如果对你有帮助,欢迎点赞收藏转发,关注我,不迷路,带你学习大数据!

标签: #clickhouse 分页查询 limit