我也碰到这个问题，我的解决办法如下：
（1）数据分类；
（2）日志存在txt；
（3）需要查询管理的结构化数据存在数据库（DB2/mysql）；
（4）非结构化数据：目前还是单个文件目录保存查询，未进对象数据库；
（5）数据湖技术还在学习；
请大牛们指正！
【 在 dengdengdeng (dengdengdeng) 的大作中提到: 】
: 有海量历史数据，每天有新数据产生，
: 存在数据库里？
: 还是存在txt文件里?
: ...................
--
FROM 101.224.107.*