目前AI大模型在工业现场、智慧安防、智能终端等场景的端侧部署需求越来越大，为缓解云端传输的压力，以及高性能AI芯片平台的发展，轻量级AI应用场景所需的算力模型等都下沉到本地端，RK3588 作为瑞芯微旗舰级高性能芯片型号，凭借其8核多核异构、集成强大的CPU+6TOPS算力NPU，为大语言模型的AI边缘本地部署提供了理想的嵌入式平台。本文将探讨如何将 Deepseek、Qwen 等 AI 大模型移植并部署到定昌的RK3588 嵌入式主板上。

• 多核异构计算架构： RK3588 CPU部分由4个Cortex-A76大核（最高2.4GHz）和4个Cortex-A55小核（最高1.8GHz）组成，兼顾高性能计算与能效。集成Mali-G610 MP4四核GPU，辅助视觉任务。

• NPU核心算力：内置瑞芯微自研的三核NPU架构，算力达到6 TOPS，支持INT4、INT8、INT16、FP16等运算，适配不同精度需求。

• 内存与存储扩展：RK3588支持LPDDR4X/LPDDR5内存，最高32MB的三级缓存，能较好缓解大模型推理的带宽。运行DeepSeek-R1 7B模型时，吞吐量可达每秒12token左右，存储方面可通过PCIe 3.0×4接口连接NVMe SSD，解决大模型的存储需求。

  
  

RK3588旗舰级AI嵌入式开发板搭载6TOPS加速算力NPU，建议移植大模型最小的内存要求是4GB，但是为了保证大模型运行的流畅性，建议选用8GB及以上的规格，需要注意的是跑7B以及以上的大模型，需要16GB内存，否则模型文件都无法加载上去，具体的内存规格可根据大模型的参数规模大小来选择（比如1.5B-16B）。

目前定昌主流RK3588 AI板子型号主要有DC_A588全功能AI开发板、DC_AI588S轻量级RK3588 AI主板、DC_MOB588A嵌入式AI评估板等等。最高均可选配32GB+256GB的内存存储规格。

RK3588板卡支持多种AI大语言模型部署开发包括文心，豆包，通义，DeepSeek等，特别优化支持8B以内端侧高效部署的主流AI大模型，包括语言模型如：

DeepSeek-R1-Distill、Qwen3、Qwen2.5-VL-3B-Instruct、Qwen2-VL、Qwen2-VL-2B-Instruct、LLAMA models、TinyLLAMA models、Qwen models、Phi models、ChatGLM3-6B、Gemma2、Gemma3、InternLM2 models、MiniCPM models、TeleChat models、MiniCPM-V-2_6、Janus-Pro-1B、InternVL2-1B，可开发AI语音交互，AIAG知识库等功能，定昌可为合作客户提供完整的技术部署服务支持，直到项目落地。

下面是部分的Deepseek-R1大模型移植部署到RK3588板端本地的流程示例代码：

1、板端部署主要方案是采用RKLLM量化部署。 若要最大化发挥NPU算力，RKLLM是首选方案。RKLLM方案的优势在于依托NPU硬件加速，推理效率远高于纯CPU方案，由瑞芯微官方提供，包含两大核心组件：

• RKLLM-Toolkit：运行在x86 PC端的模型转换与量化工具，能将Hugging Face或GGUF格式的模型转换为NPU可高效识别的RKLLM专有格式；

• RKLLM Runtime：运行在板端的C/C++推理库，提供API用于加载RKLLM模型并执行推理。

2、搭建PC端大模型推理基础环境以及RKLLM-toolkit大模型转换的量化环境，定昌已经将常见的AI大模型及算法相关文件和开发工具等集成到AI开发包SDK，可直接将开发包rknn-llm拷贝到板端，调用大模型的模型文件。以下网盘是RK已转好的大模型的地址（提取码：rkllm）：

• 模型地址：
  https://meta.box.lenovo.com/v/link/view/ad7482f6712844b48902f07287ed3359

• 模型对应的SDK地址：
  https://meta.zbox.filez.com/v/link/view/32d1fc76de7241a4a3c99f4829c25ac7
  

3、搭建激活RKLLM-Toolkit转换量化conda Python环境，需要注意PC端内存容量最好大于16GB，否则，在转换一些参数量大一点的模型时，会内存溢出。

4、到huggingface官网下载原始大模型，RK3588跑的大模型，不宜高于8B，需要响应速度快并且运行流程的可以选0.5B左右大小。另外huggingface官网下载速度很慢，定昌可提供快速下载的资源，可咨询获取。

5、在PC端使用RKLLM-Toolkit进行大模型量化转换，首先切换目录然后进入RKLLM-Toolkit环境。

(base) root@dev:/jwq/#cd  /jwq/ZTL_Base_AI_SDK_20241105_1416/rknn_model_llm/rknn-llm/rkllm-toolkit/examples/

(base) root@dev:/jwq/ZTL_Base_AI_SDK_20241105_1416/rknn_model_llm/rknn-llm/rkllm-toolkit/examples#conda activate RKLLM-Toolkit

在RKLLM-Toolkit环境中，运行模型转换；

(RKLLM-Toolkit) root@dev:/jwq/ZTL_Base_AI_SDK_20241105_1416/rknn_model_llm/rknn-llm/rkllm-toolkit/examples# python test.py

如果是从huggingface上下载的未量化好的模型，则可以运行以下命令，对模型进行量化成*.rknn模型

cd exportpython generate_data_quant.py -m /path/to/DeepSeek-R1-Distill-Qwen-1.5Bpython export_rkllm.py

详细请联系咨询客服获取官方文档，完整的deepseek板端推理编译过程视频可到定昌官网咨询~

6、部署完成运行大模型推理效果

定昌为 RK3588 平台用户提供全链路开发支持：

• 提供大模型移植包，支持部署本地知识库、行业知识库，用户仅需更新知识库文本即可快速搭建垂直领域本地 AI 应用；

• 提供 DC-LLM-RAG-SDK 开发包与 API 平台工具，集成大模型部署、RAG 检索、算法调用等全流程工具；

• 配套提供算法 DEMO、开发实例源代码、技术 API 文档，AI 工程师全程提供技术指导，大幅降低开发门槛。