- 主题:Re: 求解一个爬虫问题,有偿
啥需求这么精确啊,1s内了你还要咋的
--
FROM 120.244.220.*
你这完全没必要
这5000不用花
【 在 xenonor 的大作中提到: 】
: 需求:某网站有公告板块,需要第一时间爬到新的公告。因为公告里带了timestamp,可以计算抓取到和发布的时间差
: 现状:我自己的实现偶尔时间差1s内,但是并不稳定,有很多时候2s以上才能抓取到
: 报酬:5000元。如果能实现稳定1s内抓取,当面转账+代码交付
: ...................
--
FROM 36.7.128.*
你这是实时刷,网站不封你ip吗?每次拿到计算一下timestamp时间差,把误差加进去,留200毫秒延迟即可。
【 在 xenonor 的大作中提到: 】
: 需求:某网站有公告板块,需要第一时间爬到新的公告。因为公告里带了timestamp,可以计算抓取到和发布的时间差
:
: 现状:我自己的实现偶尔时间差1s内,但是并不稳定,有很多时候2s以上才能抓取到
:
: 报酬:5000元。如果能实现稳定1s内抓取,当面转账+代码交付
:
: ..................
发自「今日水木 on iOS」
--
FROM 61.149.221.*
更新了帖子
--
FROM 111.202.148.*
标题里1万,正文里5k,这也太奸诈了!
--
FROM 202.106.126.*
估计是量化交易吧。
想抢时间差
【 在 gowto 的大作中提到: 】
: 啥需求这么精确啊,1s内了你还要咋的
--
FROM 218.65.110.*
租专线,再租目标网站同一网段的服务器。
【 在 xenonor 的大作中提到: 】
: 需求:某网站有公告板块,需要第一时间爬到新的公告。因为公告里带了timestamp,可以计算抓取到和发布的时间差
: 现状:我自己的实现偶尔时间差1s内,但是并不稳定,有很多时候2s以上才能抓取到
: 报酬:5000元。如果能实现稳定1s内抓取,当面转账+代码交付
: ...................
--
FROM 218.65.110.*
听起来是Sever的同步问题
【 在 xenonor 的大作中提到: 】
: 需求:某网站有公告板块,需要第一时间爬到新的公告。因为公告里带了timestamp,可以计算抓取到和发布的时间差
: 现状:我自己的实现偶尔时间差1s内,但是并不稳定,有很多时候2s以上才能抓取到
: 报酬:5000元。如果能实现稳定1s内抓取,当面转账+代码交付
: ...................
--
FROM 76.244.41.131
一个问题,收到响应的timestamp 和 公告timestamp 钟表时间是对齐的吗?
另外,这个http请求,如果是国外的网站,光网络的延迟就很难达到你的标准,而且如果需要用代理出去,延迟更高了。 所以,你还得考虑在AWS上租服务器,找到离目标服务地理位置最近的点去抓取。 此外,还不能通过域名去抓,有可能被DNS解析好几次都是CNAME,你需要找出A记录,然后再去找一个里服务IP最近的点去抓取。而且不能去抓到CDN的节点上,毕竟有更新延迟。
另外,对方服务本身也可能有延迟,这么大功夫费下来,大概率没有楼主的性能好,费这劲干啥。
感觉楼主是不是就想证明自己的方案已经不能再好了,感觉代码并不关键,主要是你得把客户端和服务端最近的两个点找出来。
【 在 xenonor 的大作中提到: 】
--
FROM 106.120.127.*
看私信。
--
FROM 120.245.48.*