前言:
如今朋友们对“clickhouse 分页查询 limit”大概比较关切,大家都需要学习一些“clickhouse 分页查询 limit”的相关内容。那么小编在网上汇集了一些有关“clickhouse 分页查询 limit””的相关知识,希望兄弟们能喜欢,我们一起来学习一下吧!摘要:
ClickHouse 挺好用的,但是这些坑防不胜防,用过的才懂。本篇文章将持续更新...
1.内存限制
2.写数据失败
3.删除数据
4.Join 关联默认值
现在用不到没关系,先收藏,防止后面找不到哦。
#大数据# #大数据学习#
1、group by 使用内存限制
错误信息如下:
Code: 241.DB::Exception: Memory limit (for query) exceeded:would use 9.37 GiB (attempt to allocate chunk of 134217760 bytes), maximum: 9.31 GiB.
定位到该查询中的 SQL 中使用了 group by ,默认的配置中没有对 group by 做内存限制。
解决方案:
执行 SQL 之前,在客户端进行如下设置
set max_memory_usage=32000000000;set max_bytes_before_external_group_by=16000000000;-- 下面是 sql 内容
在进行group by的时候,内存使用量已经达到了max_bytes_before_external_group_by的时候就进行写磁盘(基于磁盘的group by相对于基于磁盘的order by性能损耗要好很多的),一般max_bytes_before_external_group_by设置为max_memory_usage / 2,原因是在clickhouse中聚合分两个阶段:查询并且建立中间数据;合并中间数据 写磁盘在第一个阶段,如果无须写磁盘,clickhouse在第一个和第二个阶段需要使用相同的内存。
2、写入数据失败
1.错误信息如下:
Too many parts (300). Merges are processing significantly slower than inserts...
使用 Flink 实时消费 Kafka 的数据,Sink 到 ClickHouse ,策略是一条一条插入,任务上线一段时间之后,ClickHouse 扛不住数据插入的压力了(
是因为MergeTree的merge的速度跟不上 data part 生成的速度。),就报错了上述的报错信息。
解决方案:
优化 FLink ClickHouse Sink逻辑, 根据时间和数据量做触发,满足其一才会执行插入操作。
2.错误信息如下
Code: 252, e.displayText() = DB::Exception: Too many partitionsfor single INSERT block (more than 100).
大概意思就是单次插入的数据分区太多了,超过默认配置的 100 个了。
解决方案:
1.合理设置分区字段 2.修改这个 max_partitions_per_insert_block 参数,调大这个值。
3、删除数据失败
错误信息如下:
Code: 359,e.displayText()=DB::Exception: Table or Partition in xxx was not dropped.Reason:1. Size (158.40 GB) is greater than max_[table/partition]_size_to_drop (50.00 GB)2. File '/data/clickhouse/clickhouse-server/flags/force_drop_table' intended to force DROP doesn't exist
从报错信息中的原因 1 可以看到,删除的数据实际大小已经超过了配置的大小。原因 2 说明是可以跳过配置检查,进行强制删除的,但是没找到这个文件 /data/clickhouse/clickhouse-server/flags/force_drop_table,所以不能跳过检查,也就是不能强制删除。
根据错误提示2 ,在所在的节点执行:
sudo touch '/data/clickhouse/clickhouse-server/flags/force_drop_table' && sudo chmod 666 '/data/clickhouse/clickhouse-server/flags/force_drop_table'
然后再次执行 删除操作就可以了。
需要注意的是,这个标识文件有效期只有一次,执行删除完毕之后,这个文件就会消失。
4、Join 误用
关联两张表,对于未关联的行,使用该字段的默认值填充,而不是使用 null 填充。
在 system.settings 表中可以找到参数 join_use_nulls
这和我们在 Mysql 或者 Hive 等使用习惯上不一致,如果想要改成一样的,需要修改这个参数 join_use_nulls 为 1。
准备数据
-- 建表 1create table st_center.test_join_1( id String, name String) engine = MergeTree() order by tuple() SETTINGS index_granularity = 8192;-- 建表 2create table st_center.test_join_2( id String, name String) engine = MergeTree() order by tuple() SETTINGS index_granularity = 8192;-- 插入测试数据insert into test_join_1(id, name) values ('1','大数据学习指南');insert into test_join_1(id, name) values ('2','大数据进阶之路');insert into test_join_2(id, name) values ('1','大数据学习指南');
数据准备好了,下面我们测试一下。
select * from st_center.test_join_1 as t1all left join st_center.test_join_2 as t2on t1.id = t2.id
关联结果如下,未连接的行使用默认值填充的。String类型就填充空字符串,数值类型就填充 0
修改参数,在 SQL 最后加入 settings join_use_nulls = 1
select * from st_center.test_join_1 as t1all left join st_center.test_join_2 as t2on t1.id = t2.idsettings join_use_nulls = 1
关联结果如下,和我们在 mysql 等中的使用习惯一样了。
如果对你有帮助,欢迎点赞收藏转发,关注我,不迷路,带你学习大数据!