numpy矩阵相乘，如果到3000*3000级别就是分钟以上了，我有个3万的矩阵要平方，直接就挂了。

现在在写一个并行计算矩阵相乘的小函数，回头看看会快多少。
--
FROM 219.237.112.*

不是，我的内存是64G，系统总共只占了不到10G的内存

【 在 fanjiyouyi 的大作中提到: 】
: 是内存不足吗
--
修改:Blue FROM 219.237.112.*
FROM 219.237.112.*

和numpy没啥关系，你用matlab应该也一样
它们都是调用底层的blas/mkl

如果你用的是intel cpu，注意一下是不是安装了mkl（intel优化版的blas）；
如果你用的是最新的amd cpu，注意的是某些版本的mkl给amd挖了个坑，默认设置速度会显著下降

详见：https://sites.google.com/a/uci.edu/mingru-yang/programming/mkl-has-bad-performance-on-an-amd-cpu


【 在 Blue 的大作中提到: 】
: numpy矩阵相乘，如果到3000*3000级别就是分钟以上了，我有个3万的矩阵要平方，直接就挂了。
: 现在在写一个并行计算矩阵相乘的小函数，回头看看会快多少。
--
FROM 180.164.88.*

你这不太对劲。
3000*3000才多大数据量，就算是float64类型也不过 72MB，乘一下不是瞬秒么。
数据有1GB，相乘耗时才会到秒级。
所以你是不是把数据读取、预处理的时间给算进去了。

3万的矩阵要平方，如果是3000*3000的，你写个循环，单线程，我估计不到一小时就能算完。
你看看是不是数据读取消耗了时间，想想怎么优化一下。

【 在 Blue 的大作中提到: 】
: numpy矩阵相乘，如果到3000*3000级别就是分钟以上了，我有个3万的矩阵要平方，直接就挂了。
: 现在在写一个并行计算矩阵相乘的小函数，回头看看会快多少。
--
FROM 58.33.81.*

昨天实验了GPU，用cupy来计算，一开始可高兴了，10000*10000矩阵的平方计算结果太快了，不到1秒，于是升级到20000*20000，挂了，out of memory，显存只有6G，两个这样的矩阵直接占用了5G的内存。唉，看来只有用numpy结合cupy，将矩阵掰碎到GPU中计算。

要是再大一个数量级的计算，可能只有去找spark了
--
FROM 114.253.3.*