Apache CarbonData 1.1.0,提高 20-50% 扫描性能

Apache CarbonData 1.1.0 发布了,CarbonData 是一个为了更快的交互查询而生的 Hadoop 原生文件格式,用于大数据的快速分析和多维度查询 hadoop 本地数据存储设计。

image

该版本亮点包括:

  • 推出名为 V3 的新数据格式,以提高扫描性能(〜20〜50%)。

  • 改变表格支持。 (针对 Spark 2.1)

  • 支持批量排序以提高数据加载性能。

  • 通过升级到最新的 netty 框架并为每次加载启动 dictionary 客户端,改进了单次传递负载。

  • 支持将范围内的 filter 进行组合,以提高 filter 性能。

  • 在大集群上进行了多处改进,特别是在查询处理中。

  • 此版本中有 160 多个错误和大量改进。

发行日志

下载地址:

https://cwiki.apache.org/confluence/display/CARBONDATA/Apache+CarbonData+1.1.0+Release

>>>【全民狂欢,评论有礼】5月15日-31日评论每日更新的“新闻资讯和软件更新资讯”,评论点赞数超过 20 的可登上每周更新的“源资讯”和“软件周刊”两大栏目,点赞数超过 50 的还将获得 5 活跃积分奖励和开源中国定制好礼。详情

See the original post: 

Apache CarbonData 1.1.0,提高 20-50% 扫描性能