- 主题:大数据解析得活，有点难度
我们自己写了一个解析脚本，速度有点慢，需要优化。需要将加密的报文解密后按照预先设定的规则过滤后落库。亿级别的数据单机跑需要好几天。需要优化到单机半天内跑完。有想挑战得同学站内联系下我。
发自「今日水木 on HLK-AL00」
--
FROM 221.223.197.*
脚本和入库都是问题？
【 在 juda (juda) 的大作中提到: 】
: 我们自己写了一个解析脚本，速度有点慢，需要优化。需要将加密的报文解密后按照预先设定的规则过滤后落库。亿级别的数据单机跑需要好几天。需要优化到单机半天内跑完。有想挑战得同学站内联系下我。
: 发自「今日水木 on HLK-AL00」
--
FROM 123.112.69.*
看看
【 在 juda 的大作中提到: 】
: 我们自己写了一个解析脚本，速度有点慢，需要优化。需要将加密的报文解密后按照预先设定的规则过滤后落库。亿级别的数据单机跑需要好几天。需要优化到单机半天内跑完。有想挑战得同学站内联系下我。
:
: 发自「今日水木 on HLK-AL00」
--
FROM 117.136.50.*
核心是国密sm2解密算法，网上找的慢
【 在 RAV4 的大作中提到: 】
: 脚本和入库都是问题？
:
--
FROM 123.118.102.*
耗cpu呗。那就单独把解密拿出来处理试试
【 在 juda 的大作中提到: 】
: 我们自己写了一个解析脚本，速度有点慢，需要优化。需要将加密的报文解密后按照预先设定的规则过滤后落库。亿级别的数据单机跑需要好几天。需要优化到单机半天内跑完。有想挑战得同学站内联系下我。
:
: 发自「今日水木 on HLK-AL00」
: --
:
发自「今日水木 on iPhone 2022」
--
FROM 223.104.39.*
把现在的脚本和样本数据脱敏打个包放出来看看, 给个指标.
【 在 juda 的大作中提到: 】
: 我们自己写了一个解析脚本，速度有点慢，需要优化。需要将加密的报文解密后按照预先设定的规则过滤后落库。亿级别的数据单机跑需要好几天。需要优化到单机半天内跑完。有想挑战得同学站内联系下我。
: 发自「今日水木 on HLK-AL00」
--
FROM 42.198.110.*
解决了吗？
【 在 juda 的大作中提到: 】
: 我们自己写了一个解析脚本，速度有点慢，需要优化。需要将加密的报文解密后按照预先设定的规则过滤后落库。亿级别的数据单机跑需要好几天。需要优化到单机半天内跑完。有想挑战得同学站内联系下我。
: 发自「今日水木 on HLK-AL00」
--
FROM 120.242.238.*
没有啊，你有办法么
【 在 feng321 的大作中提到: 】
:
: 解决了吗？
: --
:
发自「今日水木 on V2178A」
--
FROM 114.254.1.*
啥语言写的
【 在 juda 的大作中提到: 】
: 我们自己写了一个解析脚本，速度有点慢，需要优化。需要将加密的报文解密后按照预先设定的规则过滤后落库。亿级别的数据单机跑需要好几天。需要优化到单机半天内跑完。有想挑战得同学站内联系下我。
:
: 发自「今日水木 on HLK-AL00」
: --
:
发自「今日水木 on iPhone 11」
--
FROM 61.148.243.*
聊一下？看看哪里慢的
--
FROM 223.72.18.*