- 主题:英伟达版GPT:Chat with RTX,PC本地部署
英伟达推出了自家版本的ChatGPT,名字很有GPU的味道——
Chat With RTX。
英伟达的这款AI聊天机器人和目前主流的“选手”有所不同。
它并非是在网页或APP中运行,而是需要下载安装到个人电脑中。
这波操作,不仅是在运行效果上会更快,也就意味着Chat With RTX在聊天内容上或许并没有那么多限制。
网友们也纷纷对这一点发出了感慨:
哇~这是本地运行的耶~
那么Chat With RTX的实际效果如何,我们继续往下看。
·英伟达版ChatGPT
首先,值得一提的是,Chat With RTX并非是英伟达自己搞了个大语言模型(LLM)。
它背后所依靠的仍是两款开源LLM,即Mistral和Llama 2,用户在运行的时候可以根据喜好自行选择。
Pick完LLM之后,就可以在Chat With RTX中上传本地文件。
支持的文件类型包括txt,.pdf,.doc/.docx和.xml
然后就可以开始提问了,例如:
Sarah推荐的餐厅名字是什么?
由于是在本地运行,因此Chat With RTX生成答案的速度是极快的,真真儿的是“啪的一下”:
Sarah推荐的餐厅名字叫做The Red Le Bernardin。
除此之外,Chat With RTX另一个亮点功能,就是可以根据在线视频做回答。
例如把一个油管视频的链接“投喂”给它:
然后向Chat With RTX提问:
英伟达在CES 2024上宣布了什么?
Chat With RTX也会以极快的速度根据视频内容作答。
至于其背后用到的技术方面,英伟达官方只是简单提了一句:“用到了检索增强生成 (RAG)、NVIDIA TensorRTLLM软件和NVIDIA RTX等。”
·如何食用?
正如我们刚才提到的,Chat With RTX的用法很简单,只需一个下载安装的动作。
不过在配置上,除了GPU的要求之外,还有一些条件,例如:
系统:Windows 10或Windows 11
RAM:至少16GB
驱动:535.11版本或更新
不过Chat With RTX在大小上并没有很轻量,共计大约35G。
因此在下载它之前,务必需要检查一下Chat With RTX所需要的安装条件。
不然就会出现各种各样的悲剧了
·不过实测被吐槽
The Verge在英伟达发布Chat With RTX之后,立即展开了一波实测。
不过结论却是大跌眼镜。
例如刚才提到的搜索视频功能,在实际测试过程中,它竟然下载了完全不同视频的文字记录。
其次,如果给Chat With RTX“投喂”过多的文件,例如让Chat with RTX为25000个文档编制索引,它就直接“罢工”崩溃了。
以及它也“记不住”上下文,因此后续问题不能基于上一个问题。
最后还有个槽点,就是下载Chat with RTX消耗了测试人员整整半个小时……
不过槽点之外,The Verge也比较中立地肯定了Chat with RTX的优点。
例如搜索电脑上的文档,其速度和精准度是真香。
并且做总结也是Chat with RTX较为擅长的内容:
更重要的是,在本地运行这样的机制,给用户文件的安全性带来了保障。
那么你会pick英伟达版的ChatGPT吗?
来源:量子位
--
FROM 114.249.49.*
实测,确实不支持20系显卡
虽然叫Chat with RTX
但就不支持所有RTX
--
FROM 120.244.234.*
【 在 Acui 的大作中提到: 】
: 英伟达推出了自家版本的ChatGPT,名字很有GPU的味道——
: Chat With RTX。
: 英伟达的这款AI聊天机器人和目前主流的“选手”有所不同。
: ...................
终于装上用起来了, 修改启动脚本 app_launch.bat 才能够连接
huggingface 获取数据。
echo Environment path found: %env_path_found%
call "%localappdata%\NVIDIA\MiniConda\Scripts\activate.bat" %env_path_found%
pip install -U huggingface_hub
set "HF_ENDPOINT=代理网址"
python verify_install.py
python app.py
pause
40行处增加国内能访问的镜像 huggingface_hub, 由于发帖用URL连接会审核不过,
请百度正确的网址替换代理网址。
Gamma-Poisson混合分布
Gamma-Poisson distribution is a probability distribution that is used to model count data. It is a continuous distribution that is defined by two parameters: the shape parameter and the rate parameter. The shape parameter determines the skewness of the distribution, while the rate parameter determines the mean. The Gamma-Poisson distribution is often used in finance, economics, and engineering to model the number of events that occur over a period of time. It is also used in image processing and computer vision to model the number of pixels in an image.
Reference files:
license.txt
show me python code for generating Gamma-Poisson data
Here is a Python code for generating Gamma-Poisson data:
import numpy as np
# Define the shape of the data
n = 100
# Define the shape of the gamma distribution
alpha = 2
# Generate the gamma distribution
gamma = np.random.gamma(alpha, size=n)
# Generate the Poisson distribution
lambda_ = 0.5
poisson = np.random.poisson(lambda_, size=n)
# Combine the gamma and Poisson distributions
gamma_poisson = gamma * poisson
# Print the resulting data
print(gamma_poisson)
In this code, we first import the NumPy library. We then define the shape of the data we want to generate (n), the shape of the gamma distribution (alpha), and the shape of the Poisson distribution (lambda_). We then generate the gamma distribution using the np.random.gamma() function, the Poisson distribution using the np.random.poisson() function, and combine the two distributions by multiplying them together. Finally, we print the resulting data.
Reference files:
starfield-game-ready-driver.txt
--
修改:poggy FROM 115.171.244.*
FROM 115.171.244.*
赞
【 在 poggy 的大作中提到: 】
: 终于装上用起来了, 修改启动脚本 app_launch.bat 才能够连接
: huggingface 获取数据。
: echo Environment path found: %env_path_found%
: ...................
--
FROM 114.249.49.*
需要什么显卡?
【 在 LYMing1986 的大作中提到: 】
: 实测,确实不支持20系显卡
: 虽然叫Chat with RTX
: 但就不支持所有RTX
--
FROM 218.77.45.*
RTX30/40 8G以上
【 在 wlz 的大作中提到: 】
: 标 题: Re: 英伟达版GPT:Chat with RTX,PC本地部署
: 发信站: 水木社区 (Fri Feb 16 11:52:06 2024), 站内
:
: 需要什么显卡?
:
: 【 在 LYMing1986 的大作中提到: 】
: : 实测,确实不支持20系显卡
: : 虽然叫Chat with RTX
: : 但就不支持所有RTX
:
: --
:
: ※ 来源:·水木社区
http://www.mysmth.net·[FROM: 218.77.45.*]
--
FROM 114.249.49.*
30系、40系或同年专业卡,且8G以上显存
【 在 wlz 的大作中提到: 】
: 需要什么显卡?
:
--
FROM 120.244.234.*
需要的本地库大么,老板
【 在 Acui 的大作中提到: 】
: RTX30/40 8G以上
:
--
FROM 111.197.233.*
35G
【 在 DFFT (离散快速傅里叶变换) 的大作中提到: 】
: 需要的本地库大么,老板
: 【 在 Acui 的大作中提到: 】
: : RTX30/40 8G以上
: :
--
FROM 223.72.80.*
不大啊,多谢老板
【 在 Acui 的大作中提到: 】
: 35G
--
FROM 111.197.233.*