我的意思就是全球大部分公司都是普通公司。

除非全球top50的公司，或者确实涉政涉军的，搞那么小心翼翼的私有化部署，毫无意义。而且要私有化部署，一定要从机房私有化开始。
【 在 profounder 的大作中提到: 】
: 普通公司，可以理解，没什么值得人搞你的。
: 我司全球的客户管理系统是Saleforce，SaaS平台，也就是核心客户数据全放别人那边，有什么问题嘛？
: 现在哪家企业不是用云？你数据放云上怎么没觉得不安全？
: ...................
--
FROM 220.243.154.*

逻辑不对。
你远程调用别人的模型，别人的模型难道会根据你的代码、表结构、业务进行微调？
放在本地，我想用就用，想怎么用就怎么用。
微调也不是不可能。
而且，对于通用性较强的代码、表结构、业务，未必需要进行微调。
放在本地，至少不用考虑网络，不用考虑用着用着就收费了，或者没有了。


【 在 Xjt 的大作中提到: 】
: 除非你根据自己的代码、表结构、业务做fine-tune，否则本地部署的意义是什么？
--
FROM 119.36.48.*

没打算自己装，只是想了解一下本地部署的效果如何。
【 在 tgfbeta 的大作中提到: 】
: 去github 下载最新llama.cpp
: 然后去huggingface 下载the bloke下面的gguf权重
--
FROM 117.133.52.*

我没带显卡的机器，只有一个公司的笔记本和mac mini。
【 在 tgfbeta 的大作中提到: 】
: 你试试不就了解了
: 反正花不了几个小时如果你网够快的话
--
FROM 117.133.52.*

这个不是关键。关键是想指定本地执行的效果。
【 在 updatedq 的大作中提到: 】
: 防数据泄漏还是代码泄漏？
: 数据部分剥离不行吗？
--
FROM 117.133.52.*