求助多线程的办法

水木社区手机版

主题:求助多线程的办法
楼主|illers|2023-07-03 21:33:46|只看此ID
假设需要做100个post请求，url和参数放在一个列表中。最后返回这100和请求的结果。
我现在是顺序执行，for循环获取参数。

怎么写多线程呢，一次跑5个url，这样效率会好很多

--
FROM 39.144.81.*
1楼|capstone|2023-07-04 03:51:49|只看此ID
import concurrent.futures
import urllib.request

URLS = ['http://www.foxnews.com/',
        'http://www.cnn.com/',
        'http://europe.wsj.com/',
        'http://www.bbc.co.uk/',
        'http://nonexistant-subdomain.python.org/']

# Retrieve a single page and report the URL and contents
def load_url(url, timeout):
    with urllib.request.urlopen(url, timeout=timeout) as conn:
        return conn.read()

# We can use a with statement to ensure threads are cleaned up promptly
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    # Start the load operations and mark each future with its URL
    future_to_url = {executor.submit(load_url, url, 60): url for url in URLS}
    for future in concurrent.futures.as_completed(future_to_url):
        url = future_to_url[future]
        try:
            data = future.result()
        except Exception as exc:
            print('%r generated an exception: %s' % (url, exc))
        else:
            print('%r page is %d bytes' % (url, len(data)))
【在 illers 的大作中提到: 】
:  假设需要做100个post请求，url和参数放在一个列表中。最后返回这100和请求的结果。
: 我现在是顺序执行，for循环获取参数。
: 怎么写多线程呢，一次跑5个url，这样效率会好很多
: ...................
--
FROM 111.16.77.*
2楼|illers|2023-07-04 04:38:28|只看此ID
666，我来研究一下

【在 capstone (卫国柱石) 的大作中提到: 】
:  import concurrent.futures
:  import urllib.request
:
:  URLS = ['http://www.foxnews.com/',
--
FROM 223.104.37.*
3楼|CRonaldo31|2023-07-04 09:34:30|只看此ID
chatgpt直接给出代码

【在 illers (不吐槽) 的大作中提到: 】
:   假设需要做100个post请求，url和参数放在一个列表中。最后返回这100和请求的结果。
:  我现在是顺序执行，for循环获取参数。
:
:  怎么写多线程呢，一次跑5个url，这样效率会好很多
--
FROM 114.254.1.*
4楼|prettyPIG|2023-07-04 10:09:07|只看此ID
Claude:

你可以使用threading模块来实现多线程。代码大致如下:

python

import threading

import requests

urls = [...] # 100个URL

params = [...] # 对应的请求参数

results = []

def post_request(url, param):

    response = requests.post(url, data=param)

    results.append(response.text)

threads = []

for i in range(0, len(urls), 5): # 每5个URL创建一个线程

    urls_batch = urls[i:i+5]

    params_batch = params[i:i+5]

    thread = threading.Thread(target=post_request, args=(urls_batch, params_
batch))

    thread.start()

    threads.append(thread)



for thread in threads:

    thread.join()



print(results) # 打印所有请求的结果

这里我们:

1. 使用threading.Thread创建线程,指定post_request函数作为目标

2. 每5个URL创建一个线程,batch请求

3. 启动线程后,将线程对象存储在列表threads中

4. 必须调用join()等待所有线程执行完毕

5. post_request函数会将每个请求的结果添加到results列表中

这样就可以同时并发执行5个请求了,提高效率。

如果URL和参数比较多,可以相应增加线程数,进一步提升速度。

当然,线程数过多也会带来开销,需要根据实际情况进行适当调整。

希望这个例子可以帮助你实现多线程批量发送post请求。如果还有任何问题,欢迎继续与
我交流。

多线程可以大大提升程序的执行效率,但是需要谨慎使用。我们可以一起探讨多线程的好
处和缺点,找出合适的线程结构,实现高效的程序

【在 illers 的大作中提到: 】
: 标  题: 求助多线程的办法
: 发信站: 水木社区 (Mon Jul  3 21:33:46 2023), 站内
:
:  假设需要做100个post请求，url和参数放在一个列表中。最后返回这100和请求的结果。
: 我现在是顺序执行，for循环获取参数。
:
: 怎么写多线程呢，一次跑5个url，这样效率会好很多
:
:
: --
: 发自xsmth (iOS版)
: --
:
: ※ 来源:·水木社区 http://www.mysmth.net·[FROM: 39.144.81.*]
--
FROM 119.254.198.*
5楼|hgoldfish|2023-07-04 11:42:36|只看此ID
用 ThreadPool.map()

    from multiprocessing.pool import ThreadPool

    pool = ThreadPool(10)  # 线程可以多一些，不是大问题。
    urls = range(100)

    def fetch(url):
        return url ** 2

    results = pool.map(fetch, urls)
    print(results)

注意 fetch() 里面不要抛异常。除了 map()，还有 imap(), imap_unordered()，你可以自己看文档。

【在 illers 的大作中提到: 】
:  假设需要做100个post请求，url和参数放在一个列表中。最后返回这100和请求的结果。
: 我现在是顺序执行，for循环获取参数。
: 怎么写多线程呢，一次跑5个url，这样效率会好很多
: ...................
--
修改:hgoldfish FROM 183.253.147.*
FROM 183.253.147.*
6楼|e729|2023-07-06 23:05:39|只看此ID
这段代码唯一的不足是请求与结果之间没有对映关系。
但是ai能写成这样，也真是让人震惊，看来ide里集成ai真的不远了

【在 prettyPIG 的大作中提到: 】
: Claude:
: 你可以使用threading模块来实现多线程。代码大致如下:
: python
: ...................
--
FROM 42.53.64.*
7楼|e729|2023-07-06 23:16:48|只看此ID
对于最近几年的机器，可以试试一次100个线程并发，很轻松

【在 illers 的大作中提到: 】
: 假设需要做100个post请求，url和参数放在一个列表中。最后返回这100和请求的结果。
: 我现在是顺序执行，for循环获取参数。
: 怎么写多线程呢，一次跑5个url，这样效率会好很多
: ...................
--
FROM 42.53.64.*
8楼|hgoldfish|2023-07-06 23:17:27|只看此ID
Python 搞多线程并发比较大的麻烦是 GIL，切换来切换去的，效率很差。

所以强烈建议对于 Python 的话，使用 gevent 搞协程开发。

【在 e729 的大作中提到: 】
: 对于最近几年的机器，可以试试一次100个线程并发，很轻松
--
FROM 110.81.1.*
9楼|e729|2023-07-06 23:29:08|只看此ID
re

【在 hgoldfish 的大作中提到: 】
: Python 搞多线程并发比较大的麻烦是 GIL，切换来切换去的，效率很差。
: 所以强烈建议对于 Python 的话，使用 gevent 搞协程开发。
:
--
FROM 42.53.64.*