卓越飞翔博客卓越飞翔博客

卓越飞翔 - 您值得收藏的技术分享站
技术文章30666本站已运行3722

Python 本地运行轻量级聊天AI,无需网络,无需显卡

AbaAba-AI
“阿巴阿巴AI”是基于RWKV的本地轻量级聊天AI,无需网络完全本地运行,无需显卡纯CPU也可以运行,也就是说配置低的电脑也可以本地运行聊天AI了。

环境配置
推荐Python版本 3.9
需要模块numpy、tokenizers、prompt_toolkit、transformers、flask、flask-socketio、torch  

运行要求
最低4G运行内存(CPU+4G内存,可以运行430m的小模型)
最高不限(最高可运行14b的大模型,聊天质量和效果更好)  

运行设置
根据自己电脑配置在模型网站(https://huggingface.co/RWKV) 下载合适的模型
下载的所有文件放在model文件夹内,并修改main.py第12行代码,将'rwkv-4-world-430m'修改为自己下载的模型文件夹
运行main.py,在浏览器中打开http://172.0.0.1:5000 即可开始对话  

演示效果
该演示环境为CPU+4G运行内存,使用'rwkv-4-world-430m'模型
image
下载(与源码)
代码以及模型打包:https://pan.baidu.com/s/1NhUXFGVCUNr_-oRxqY5mHg 提取码: 52pj
电脑配置高的可以去(https://huggingface.co/RWKV) 下载更大更好的模型,运行效果会更好
开源地址:https://github.com/bilibini/AbaAba-AI
卓越飞翔博客
上一篇: Python 网络设备巡检Python脚本
下一篇: 返回列表
留言与评论(共有 0 条评论)
   
验证码:
隐藏边栏