Squish
AI Skill Hub 推荐使用：Squish 是一款优质的AI工具。AI 综合评分 7.5 分，在同类工具中表现稳健。如果你正在寻找可靠的AI工具解决方案，这是一个值得深入了解的选择。
📚 深度解析
**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。
**安装与环境准备**
Squish 依赖 Python 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 Python 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。
**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪 Squish 的版本更新，及时通知重要功能变化。
📋 工具概览
Squish 是一款基于 Python 开发的开源工具，专注于 apple-silicon、inference-engine、int4 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
📖 中文文档
Squish 是一款基于 Python 开发的开源工具，专注于 apple-silicon、inference-engine、int4 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
# 方式一：pip 安装（推荐）
pip install squish
# 方式二：虚拟环境安装（推荐生产环境）
python -m venv .venv
source .venv/bin/activate # Windows: .venv\Scripts\activate
pip install squish
# 方式三：从源码安装（获取最新功能）
git clone https://github.com/konjoai/squish
cd squish
pip install -e .
# 验证安装
python -c "import squish; print('安装成功')"
- 访问 GitHub 仓库页面
- 按照 README 文档完成依赖安装
- 根据系统环境完成初始化配置
- 参考官方示例或文档开始使用
- 遇到问题可在 GitHub Issues 中查找解答
# 命令行使用
squish --help
# 基本用法
squish input_file -o output_file
# Python 代码中调用
import squish
# 示例
result = squish.process("input")
print(result)
# squish 配置文件示例（config.yml） app: name: "squish" debug: false log_level: "INFO" # 运行时指定配置文件 squish --config config.yml # 或通过环境变量配置 export SQUISH_API_KEY="your-key" export SQUISH_OUTPUT_DIR="./output"
Squish
Local LLM inference for Apple Silicon. Faster end-to-end response on long contexts, less RAM, INT3 support.
<img src="assets/squish-logo-1.png" height="320" alt="Squish Logo"/>
---
Install
Prerequisite (macOS/Homebrew): Xcode Command Line Tools are required. Install them with xcode-select --install. If Homebrew reports "Command Line Tools are too outdated", update from System Settings -> General -> Software Update, or reinstall CLT.
```bash
Example: collect all matching certs (works for many corporate setups)
security find-certificate -a -p -c "TWM" /Library/Keychains/System.keychain > ~/TWM-all.pem ```
Example: specific certificate
security find-certificate -c "TWM-Root" -p > ~/TWM-root.pem
Quick Start
```bash
Optional Performance Enhancements
4x faster quantization - install the Rust extension:
cd squish_quant_rs && python3 -m maturin build --release && pip install .Requirements: macOS 13+, Apple Silicon (M1–M5), Python 3.10+.
---
Start the daemon with both caches enabled (recommended config)
squish run qwen2.5-7b-int4 \ --block-kv-cache ~/.cache/squish/blocks \ --prompt-kv-cache ~/.cache/squish/pkv \ --port 8080
Use it as an OpenAI-compatible client:
Or point any OpenAI / Ollama client at it:
Configuration
| Flag | Purpose |
|---|---|
--block-kv-cache <DIR> | Block-paged KV cache for shifting-prefix workloads (agents, multi-turn). Persists across daemon restarts via .safetensors blocks. |
--prompt-kv-cache <DIR> | Exact-prompt KV cache. Single-digit-millisecond TTFT on verbatim repeats. |
--block-kv-size N | Block size in tokens (default 64). |
--draft-model <MODEL> | Speculative-decode draft model (opt-in; see [v5.2 diagnosis](results/benchmarks_v5_2/SPEC_DECODE_DIAGNOSIS.md) for current status — net-negative on M3 INT4 with the draft models tested, kept off by default). |
--draft-depth N | Speculative decode depth K. |
--no-spec, --no-cache | Disable flags, intended for benchmark controls. |
squish daemon install / uninstall | macOS LaunchAgent integration. |
Picking the right cache for your workload:
- Exact-prompt repeats (cached scripts, fixed templates, automated jobs): --prompt-kv-cache alone. ~9 ms TTFT on a cache hit. - Shifting-prefix workloads (agents, multi-turn conversations): --block-kv-cache alone, or combined config. - General use without knowing the workload: combined config (both caches enabled). Best end-to-end completion time across prompt sizes.
The combined config currently doesn't inherit PKV's fast-hit TTFT due to a lookup ordering issue documented in results/benchmarks_v5_1_1/DIAGNOSIS.md; reordering is tracked as a v5.2 follow-up.
---
Ollama-compatible /api/* endpoints also work
export OLLAMA_HOST=http://localhost:8080
Install the macOS LaunchAgent so the daemon starts at login:
The SquishBar menu-bar app (apps/macos/SquishBar/) ships alongside the daemon — model picker, load progress, and a global hotkey for the chat panel. Build it from Xcode or grab the signed .app from the GitHub release page.
---
高性能本地LLM服务器
- 构建多智能体协作系统的 Agent 开发者
- 本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
- Agent 任务先做 dry-run 验证工具调用链，再开启自主执行
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- 显存不足直接 OOM — 优先降低 context 或换更小的量化模型
- Python 依赖冲突：建议用 venv / uv 隔离环境
- CLI：直接 npm install -g / pip install，命令行调用
- 本地部署：CPU 8GB 起，GPU 推荐 16GB+ 显存
- 云端托管：可放在 Vercel / Railway / Fly.io 等 PaaS 平台
⚡ 核心功能
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 构建多智能体协作系统的 Agent 开发者
- 本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
- Agent 任务先做 dry-run 验证工具调用链，再开启自主执行
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- 显存不足直接 OOM — 优先降低 context 或换更小的量化模型
- Python 依赖冲突：建议用 venv / uv 隔离环境
👥 适合人群
🎯 使用场景
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
⚖️ 优点与不足
- +完全开源免费，无授权费用
- +本地部署，数据完全自主可控
- +开发者社区支持，遇问题可查可问
- −安装和初始配置可能需要一定技术基础
- −功能完整性通常不如成熟商业产品
- −技术支持主要依赖开源社区，响应速度不稳定
该工具使用 NOASSERTION 协议，商用场景请仔细阅读协议条款，必要时咨询法律意见。
AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。
📄 NOASSERTION — 请查阅原始协议条款了解具体使用限制。
🔗 相关工具推荐
❓ 常见问题 FAQ
总体来看，Squish 是一款质量良好的AI工具，在同类工具中具备一定竞争力。AI Skill Hub 将持续追踪其更新动态，建议收藏备用，结合自身场景选择合适时机引入使用。
| 原始名称 | squish |
| 原始描述 | 开源AI工具：🤖🗜️⚡️ Local LLM server for Apple Silicon. 5.4× faster end-to-end on long conte。⭐7 · Python |
| Topics | apple-siliconinference-engineint4kv-cachellama-cpp-alternative |
| GitHub | https://github.com/konjoai/squish |
| License | NOASSERTION |
| 语言 | Python |
收录时间：2026-06-03 · 更新时间：2026-06-08 · License：NOASSERTION · AI Skill Hub 不对第三方内容的准确性作法律背书。