- 主题:vertica导出query结果到parquet文件
用python读vertica再写入parquet文件太慢。
官方的vsql导出csv文件速度还可以,但是csv格式不如parquet好用。
官方有导出parquet功能,但是是server去写文件,有目录权限问题,如果vsql能支持client端导出为parquet就好了,咋办
--
FROM 68.196.98.*
太重型了,来个轻量的
【 在 qlogic 的大作中提到: 】
: try seatunnel
:
--
FROM 68.196.98.*
不是,我要导出到本地ssd上
【 在 qlogic 的大作中提到: 】
: 你的parquet文件不是在hdfs吗?在的话,这个就算最轻量的吧。
: 或者用pyspark
: read.format("jdbc")... wirte.format("parquet")
: ...................
--
FROM 68.196.98.*