龙空技术网

「开源资讯」Apache Arrow 1.0.0 发布,内存数据交换格式

程序员前沿 2121

前言:

而今姐妹们对“apache arrow java”大体比较重视,各位老铁们都需要知道一些“apache arrow java”的相关知识。那么小编也在网摘上收集了一些对于“apache arrow java””的相关知识,希望各位老铁们能喜欢,小伙伴们快快来学习一下吧!

来源:

Apache Arrow 1.0.0 现已发布。官方表示,此版本是 Apache Arrow 的第 18 个主要版本,标志着 columnar format 向二进制稳定性的过渡,以及 Arrow 软件库向语义版本控制的过渡。

Apache Arrow 是 Apache 基金会的顶级项目之一,目的是作为一个跨平台的数据层来加快大数据分析项目的运行速度。它包含一组规范的内存中的平面和分层数据表示,以及多种语言绑定以进行结构操作。 它还提供低架构流式传输和批量消息传递,零拷贝进程间通信(IPC)和矢量化的内存分析库。

columnar format 的一些更改内容如下:

metadata 版本被更改为新版本 V5,表明 Union 类型的缓冲区布局发生了不兼容的更改。Dictionary indices 现在允许是无符号整数,而不是只有符号整数。由于Java支持不佳,仍然不鼓励使用UInt64。添加了一个新的“Feature”枚举。在 IPC 格式中增加了使用 LZ4 或 ZStandard 的可选缓冲区压缩。Decimal types 获得了一个可选的“bitWidth”字段,默认为 128。根据团队的说法,这将使它们将来支持其他 decimal widths,例如 32 位和 64 位。有效性位图缓冲区已删除。

此外,该团队还扩展了集成测试,以测试扩展类型和嵌套词典;并更新了对 C ++、Java、Python、R、Ruby、C GLib 以及 Rust 的支持。

更多详细内容可查看官方发布说明:

标签: #apache arrow java