广场
最新
热门
资讯
我的主页
发布
0xRick0
2026-06-24 02:21:19
关注
一个很有意思的开源项目 AirLLM
优化推理内存使用，让70B的大模型能在单张显存4G的显卡上运行
无量化、蒸馏和剪枝。
8G显存上运行405B的Llama3.1
更想要 GLM 5.2了。岂不是我这40+G的共享显存也能跑 700+B了？
Star🌟 21.3k
此页面可能包含第三方内容，仅供参考（非陈述/保证），不应被视为 Gate 认可其观点表述，也不得被视为财务或专业建议。详见
声明
。
赞赏
点赞
评论
转发
分享
评论
请输入评论内容
请输入评论内容
评论
暂无评论
热门话题
查看更多
#
Gate股票转仓功能上线
53.44万 热度
#
Circle股价重挫17%
416.43万 热度
#
预测世界杯葡萄牙VS克罗地亚
16.37万 热度
#
GateCard上线积分体系
12.02万 热度
#
非农数据倒计时
92.14万 热度
置顶
网站地图
一个很有意思的开源项目 AirLLM
优化推理内存使用，让70B的大模型能在单张显存4G的显卡上运行
无量化、蒸馏和剪枝。
8G显存上运行405B的Llama3.1
更想要 GLM 5.2了。岂不是我这40+G的共享显存也能跑 700+B了？
Star🌟 21.3k