龙空技术网

海量数据展示

gis开发 466

前言:

目前你们对“redispython”可能比较关注,我们都想要分析一些“redispython”的相关文章。那么小编同时在网络上收集了一些对于“redispython””的相关知识,希望你们能喜欢,朋友们一起来学习一下吧!

背景

    现在我们的数据量越来越来越大,往往会有短时间渲染大量数据的要求,但是往往这些数据过大难以实时处理,整体切片花费时间又过长。在这里提出一种缓存加实时处理的方案。

准备

    软件环境,PostGIS(3.0.0rc2 r17909)和 PostgreSQL( 12.0, compiled by Visual C++ build 1914, 64-bit),数据是微软开源的房屋数据。PostGIS3.0相对与PostGIS 2.5大幅度提升矢量切片性能,并行环境表现更好。

预处理

    预处理就是将3级到12级的矢量切片事先切好。首先获取数据12级的最大最小xyz,通过这个范围生成网格,然后和数据相交得到一一对应的关系表a。

    接下来就是使用四叉树键(quadkey),四叉树有一些有意思的特性。第一,四叉树键的长度等于该瓦片所对应的图像级别;第二,每个瓦片的四叉树键的前几位和其父瓦片(上一图像级别所对应的瓦片)的四叉树键相同,下图中,第1级的 '瓦片2' 是第2级的 '瓦片20' 至 '瓦片23' 的父瓦片,第2级的 '瓦片13' 是 第3级的 '瓦片130' 至 '瓦片133' 的父瓦片。通过四叉树的这个特性把3到11级的xyz和11级的xyz建立对应关系表b,最终a和b关联可以得到三到十一级和数据的对应关系。

    根据上述内容,我们就可以生成行矢量切片了,借助golang并发,千万级面数据预处理(加上gzip压缩)大概需要16分钟。

后台服务

    预处理矢量切片生成完以后,使用golang把矢量切片全部加载进程序中,并且建立键值对,能够快速的判断请求的xyz在3-11级是否有数据并且存在数据时能快速获取。当数据请求大于十一级时候,我们使用数据库查询方式获取矢量切片。后台编写时候遇到问题,后端向前端传输大的矢量切片速度过慢。我通过数据切割方式解决这个问题。打个比方,吃一个西瓜,你一口吃不下。那我们是不是切成块吃就可以?切块就是数据分割这样能较快的传输又不影响数据完整性。

渲染

    前台渲染使用mapbox gl加载自定义矢量切片

总结

    本文方案中使用缓存少量层级提升整体渲染速度,实际前端浏览中能较为流畅。由于数据限制,方案的测试数据较为单一,可能不具有代表性。本方案预处理切片层级不宜过大,超过12级预处理性能会急剧降低。

参考资料:

标签: #redispython