安卓原生LLM
AI Skill Hub 推荐使用：安卓原生LLM 是一款优质的AI工具。AI 综合评分 7.5 分，在同类工具中表现稳健。如果你正在寻找可靠的AI工具解决方案，这是一个值得深入了解的选择。
📚 深度解析
**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。
**安装与环境准备**
安卓原生LLM 依赖 Python 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 Python 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。
**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪 安卓原生LLM 的版本更新，及时通知重要功能变化。
📋 工具概览
安卓原生LLM 是一款基于 Python 开发的开源工具，专注于 LLM、安卓、Python 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
📖 中文文档
安卓原生LLM 是一款基于 Python 开发的开源工具，专注于 LLM、安卓、Python 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
# 方式一：pip 安装（推荐）
pip install native-llm-for-android
# 方式二：虚拟环境安装（推荐生产环境）
python -m venv .venv
source .venv/bin/activate # Windows: .venv\Scripts\activate
pip install native-llm-for-android
# 方式三：从源码安装（获取最新功能）
git clone https://github.com/DakeQQ/Native-LLM-for-Android
cd Native-LLM-for-Android
pip install -e .
# 验证安装
python -c "import native_llm_for_android; print('安装成功')"
- 访问 GitHub 仓库页面
- 按照 README 文档完成依赖安装
- 根据系统环境完成初始化配置
- 参考官方示例或文档开始使用
- 遇到问题可在 GitHub Issues 中查找解答
# 命令行使用
native-llm-for-android --help
# 基本用法
native-llm-for-android input_file -o output_file
# Python 代码中调用
import native_llm_for_android
# 示例
result = native_llm_for_android.process("input")
print(result)
# native-llm-for-android 配置文件示例（config.yml） app: name: "native-llm-for-android" debug: false log_level: "INFO" # 运行时指定配置文件 native-llm-for-android --config config.yml # 或通过环境变量配置 export NATIVE_LLM_FOR_ANDROID_API_KEY="your-key" export NATIVE_LLM_FOR_ANDROID_OUTPUT_DIR="./output"
Native-LLM-for-Android
Overview
Demonstration of running a native Large Language Model (LLM) on Android devices. Currently supported models include:
- Qwen3.5: 0.8B, 2B, 4B...
- Qwen3: 0.6B, 1.7B, 4B...
- Qwen3-VL: 2B, 4B...
- Qwen2.5-Instruct: 0.5B, 1.5B, 3B...
- Qwen2.5-VL: 3B
- DeepSeek-R1-Distill-Qwen: 1.5B
- MiniCPM-DPO/SFT: 1B, 2.7B
- Gemma-3-it: 1B, 4B...
- Phi-4-mini-Instruct: 3.8B
- Llama-3.2-Instruct: 1B
- InternVL-Mono: 2B
- InternLM-3: 8B
- Seed-X: PRO-7B, Instruct-7B
- HunYuan: MT2-1.8B/7B
概述
展示在 Android 设备上运行原生大型语言模型 (LLM) 的示范。目前支持的模型包括：
- Qwen3.5: 0.8B, 2B, 4B...
- Qwen3: 0.6B, 1.7B, 4B...
- Qwen3-VL: 2B, 4B...
- Qwen2.5-Instruct: 0.5B, 1.5B, 3B...
- Qwen2.5-VL: 3B
- DeepSeek-R1-Distill-Qwen: 1.5B
- MiniCPM-DPO/SFT: 1B, 2.7B
- Gemma-3-it: 1B, 4B...
- Phi-4-mini-Instruct: 3.8B
- Llama-3.2-Instruct: 1B
- InternVL-Mono: 2B
- InternLM-3: 8B
- Seed-X: PRO-7B, Instruct-7B
- HunYuan: MT2-1.8B/7B
Getting Started
1. Download Models: - Quick Try: Qwen3-1.7B-Android
2. Setup Instructions: - Place the downloaded model files into the assets folder. - Decompress the *.so files stored in the libs/arm64-v8a folder.
3. Model Notes: - Demo models are converted from HuggingFace or ModelScope and optimized for extreme execution speed. - Inputs and outputs may differ slightly from the original models. - For Qwen2VL / Qwen2.5VL, adjust the key variables to match the model parameters. - GLRender.java: Line 37, 38, 39 - project.h: Line 14, 15, 16, 35, 36, 41, 59, 60
4. ONNX Export Considerations: - It is recommended to use dynamic axes and q4f32 quantization.
入门指南
1. 下载模型： - Quick Try: Qwen3-1.7B-Android
2. 设置说明： - 将下载的模型文件放入 assets 文件夹。 - 解压存储在 libs/arm64-v8a 文件夹中的 *.so 文件。
3. 模型说明： - 演示模型是从 HuggingFace 或 ModelScope 转换而来，并针对极限执行速度进行了优化。 - 输入和输出可能与原始模型略有不同。 - 对于Qwen2VL / Qwen2.5VL，请调整关键变量以匹配模型参数。 - GLRender.java: Line 37, 38, 39 - project.h: Line 14, 15, 16, 35, 36, 41, 59, 60
4. ONNX 导出注意事项： - 推荐使用动态轴以及q4f32量化。
Demo Results
QwenVL
| OS | Device | Backend | Model | Inference (1024 Context) |
|---|---|---|---|---|
| Android 13 | Nubia Z50 | 8_Gen2-CPU | QwenVL-2-2B<br>q8f32 | 15 token/s |
| Harmony 4 | P40 | Kirin_990_5G-CPU | QwenVL-2-2B<br>q8f32 | 9 token/s |
| Harmony 4 | P40 | Kirin_990_5G-CPU | QwenVL-2.5-3B<br>q4f32<br>dynamic | 9 token/s |
惑
导出模型
- 进入
Export_ONNX文件夹。 - 按照 Python 脚本中的注释设置文件夹路径。
- 执行
***_Export.py脚本以导出模型。 - 手动量化或优化 ONNX 模型。
高质量的安卓LLM示例
- 需要 Native-LLM-for-Android 解决具体问题的开发者与运营人员
- 先在测试环境跑通最小用例，再接入生产数据
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- Python 依赖冲突：建议用 venv / uv 隔离环境
- 云端托管：可放在 Vercel / Railway / Fly.io 等 PaaS 平台
⚡ 核心功能
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 需要 Native-LLM-for-Android 解决具体问题的开发者与运营人员
- 先在测试环境跑通最小用例，再接入生产数据
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- Python 依赖冲突：建议用 venv / uv 隔离环境
👥 适合人群
🎯 使用场景
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
⚖️ 优点与不足
- +Apache-2.0 协议，可免费商用
- +完全开源免费，无授权费用
- +本地部署，数据完全自主可控
- +开发者社区支持，遇问题可查可问
- −安装和初始配置可能需要一定技术基础
- −功能完整性通常不如成熟商业产品
- −技术支持主要依赖开源社区，响应速度不稳定
AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。
✅ Apache 2.0 — 宽松开源协议，可商用，需保留版权声明和 NOTICE 文件，含专利授权条款。
🔗 相关工具推荐
❓ 常见问题 FAQ
总体来看，安卓原生LLM 是一款质量良好的AI工具，在同类工具中具备一定竞争力。AI Skill Hub 将持续追踪其更新动态，建议收藏备用，结合自身场景选择合适时机引入使用。
| 原始名称 | Native-LLM-for-Android |
| 原始描述 | 开源AI工具：Demonstration of running a native LLM on Android device.。⭐253 · Python |
| Topics | LLM安卓Python |
| GitHub | https://github.com/DakeQQ/Native-LLM-for-Android |
| License | Apache-2.0 |
| 语言 | Python |
收录时间：2026-05-29 · 更新时间：2026-05-30 · License：Apache-2.0 · AI Skill Hub 不对第三方内容的准确性作法律背书。