水木社区手机版
首页
|版面-数据库技术(Database)|
新版wap站已上线
返回
1/1
|
转到
主题:vertica导出query结果到parquet文件
1楼
|
qlogic
|
2022-12-28 14:48:30
|
展开
try seatunnel
【 在 CrTn 的大作中提到: 】
: 用python读vertica再写入parquet文件太慢。
: 官方的vsql导出csv文件速度还可以,但是csv格式不如parquet好用。
: 官方有导出parquet功能,但是是server去写文件,有目录权限问题,如果vsql能支持
: client端导出为parquet就好了,咋办
: ...................
--
FROM 119.139.199.*
3楼
|
qlogic
|
2022-12-28 16:33:19
|
展开
你的parquet文件不是在hdfs吗?在的话,这个就算最轻量的吧。
或者用pyspark
read.format("jdbc")... wirte.format("parquet")
【 在 CrTn 的大作中提到: 】
: 太重型了,来个轻量的
--
FROM 119.139.199.*
1/1
|
转到
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版