- 主题:请教几个问题
1.有个网站数据量很大,我抓包后发现他们的id都是用6位或7位小数(字符串格式)表示,有的最后一位还是0,为什么不用整数表示?
2.一个程序功能需要分3步实现,每一步的输入是上一步的输出,放在一个文件里程序很长(350行),但很方便,因为一些全局变量可以共享,这样写合适吗?还是需要分成几个文件比较好?
3.想抓取数据后保存下来随时访问,数据不是很多,是放在excel里然后用pandas读取方便还是放在数据库里方便?
多谢
发自「今日水木 on MI 8」
--
FROM 112.224.145.*
可能就是某两个id用点给串起来
350行真不算长,加个0或许考虑一下
【 在 moon783 的大作中提到: 】
: 1.有个网站数据量很大,我抓包后发现他们的id都是用6位或7位小数(字符串格式)表示,有的最后一位还是0,为什么不用整数表示?
: 2.一个程序功能需要分3步实现,每一步的输入是上一步的输出,放在一个文件里程序很长(350行),但很方便,因为一些全局变量可以共享,这样写合适吗?还是需要分成几个文件比较好?
: 3.想抓取数据后保存下来随时访问,数据不是很多,是放在excel里然后用pandas读取方便还是放在数据库里方便?
: ...................
--
FROM 223.104.159.*
不是用点串起来,全都是0.259356这样的小数(小于1大于0的小数),会不会是个不可能重复的重要参数?
【 在 webhost 的大作中提到: 】
: 可能就是某两个id用点给串起来
: 350行真不算长,加个0或许考虑一下
: --
发自「今日水木 on MI 8」
--
FROM 124.130.70.*
2 用fortran就没烦恼
【 在 moon783 的大作中提到: 】
: 1.有个网站数据量很大,我抓包后发现他们的id都是用6位或7位小数(字符串格式)表示,有的最后一位还是0,为什么不用整数表示?
: 2.一个程序功能需要分3步实现,每一步的输入是上一步的输出,放在一个文件里程序很长(350行),但很方便,因为一些全局变量可以共享,这样写合适吗?还是需要分成几个文件比较好?
: 3.想抓取数据后保存下来随时访问,数据不是很多,是放在excel里然后用pandas读取方便还是放在数据库里方便?
: ...................
--
FROM 61.140.94.*
存成csv
--
FROM 60.1.6.*
第二题,350行算少的了,放一起没问题。这个任务听起来像是脚本抓数据,脚本不用顾及那么多。
第三题,别放excel,读取太慢。我比较过csv和excel的速度,不是一个量级
【 在 moon783 的大作中提到: 】
: 1.有个网站数据量很大,我抓包后发现他们的id都是用6位或7位小数(字符串格式)表示,有的最后一位还是0,为什么不用整数表示?
:
: 2.一个程序功能需要分3步实现,每一步的输入是上一步的输出,放在一个文件里程序很长(350行),但很方便,因为一些全局变量可以共享,这样写合适吗?还是需要分
: ..................
发自「今日水木 on HMA-AL00」
--
FROM 1.90.240.*
2,没什么区别,根本不需要纠结,怎么高兴怎么来,如某部分果功能后续还要经常复用,可以拆分成模块,比较方便。
3,数据量不大的话csv足以应付
【 在 moon783 的大作中提到: 】
: 1.有个网站数据量很大,我抓包后发现他们的id都是用6位或7位小数(字符串格式)表示,有的最后一位还是0,为什么不用整数表示?
:
: 2.一个程序功能需要分3步实现,每一步的输入是上一步的输出,放在一个文件里程序很长(350行),但很方便,因为一些全局变量可以共享,这样写合适吗?还是需要分
: ..................
发自「今日水木 on NOH-AL10」
--
FROM 111.192.96.*
感谢大家的回复,是个抓包并自动生成报表的程序,这样可以节省很多时间。确实没想过csv,数据量不是很大,但表比较多,是不是用数据库查询方便点?pandas用的还不是很顺手。
【 在 moon783 的大作中提到: 】
: 1.有个网站数据量很大,我抓包后发现他们的id都是用6位或7位小数(字符串格式)表示,有的最后一位还是0,为什么不用整数表示?
:
: 2.一个程序功能需要分3步实现,每一步的输入是上一步的输出,放在一个文件里程序很长(350行),但很方便,因为一些全局变量可以共享,这样写合适吗?还是需要分
: ..................
发自「今日水木 on MI 8」
--
FROM 112.224.19.*
保存和查询是两个不同需求
查询也分预设条件一次性的筛选/过滤和需要动态响应的查询
不同的需求对应不同的解决方案
【 在 moon783 的大作中提到: 】
: 感谢大家的回复,是个抓包并自动生成报表的程序,这样可以节省很多时间。确实没想过csv,数据量不是很大,但表比较多,是不是用数据库查询方便点?pandas用的还不是很顺手。
: 发自「今日水木 on MI 8」
--
FROM 116.233.92.*