RK3588边缘部署大模型实战：从算力评估到模型压缩与优化 - CSDN文库
RK3588作为一款定位高端的嵌入式处理器，8核CPU加上算力达6TOPS的NPU，在传统视觉任务上表现亮眼，但面对动辄数十亿参数的大语言模型（LLM）或多模态大模型，很多人心里都在打鼓：这算力，到底够不够用？ 我手头正好有几块RK3588的板子，也折腾过不少AI部署的活儿。 今天咱们就抛开那些模糊的宣传，实实在在地算一笔账，看看在RK3588上跑大模型，从理论算力到实际落地，中间到底隔着多少“坑”，以及我们有哪些切实可行的路径可以走。 无论你是嵌入式开发者、AI应用工程师，还是正在选型的项目负责人，这篇文章都会帮你理清思路，避免盲目投入。 简单来说，RK3588跑大模型，不是“能不能”的问题，而是“怎么跑”、“跑什么样的模型”以及“跑出什么效果”的问题。 直接部署原生的百亿参数模型？
wenku.csdn.net