PowerInfer

2080 Ti 显卡就能跑70B大模型，上交大新框架让LLM推理增速11倍 - 币界网

原文来源：量子位 图片来源：由无界 AI生成 原本需要一张16万元的80G A100干的活，现在只需要一张不到2万元的24G 4090就够了！ 上海交大IPADS实验室推出的开源推理框架PowerIn