Krasis
Krasis 是 AI Skill Hub 本期精选AI工具之一。综合评分 8.2 分，整体质量较高。我们强烈推荐将其纳入你的 AI 工具库，帮助提升工作效率。
📚 深度解析
**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。
**安装与环境准备**
Krasis 依赖 C++ 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 C++ 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。
**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪 Krasis 的版本更新，及时通知重要功能变化。
📋 工具概览
Krasis 是一款基于 C++ 开发的开源工具，专注于 cpu-inference、gpu-inference、high-performance-inference 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
📖 中文文档
Krasis 是一款基于 C++ 开发的开源工具，专注于 cpu-inference、gpu-inference、high-performance-inference 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
# 克隆仓库 git clone https://github.com/brontoguana/krasis cd krasis # 查看安装说明 cat README.md # 按 README 完成环境依赖安装后即可使用
- 访问 GitHub 仓库页面
- 按照 README 文档完成依赖安装
- 根据系统环境完成初始化配置
- 参考官方示例或文档开始使用
- 遇到问题可在 GitHub Issues 中查找解答
# 查看帮助 krasis --help # 基本运行 krasis [options] <input> # 详细使用说明请查阅文档 # https://github.com/brontoguana/krasis
# krasis 配置说明 # 查看配置选项 krasis --config-example > config.yml # 常见配置项 # output_dir: ./output # log_level: info # workers: 4 # 环境变量（覆盖配置文件） export KRASIS_CONFIG="/path/to/config.yml"
Krasis
Krasis is an LLM runtime for running large MoE models on NVIDIA consumer GPUs. It is built around fast GPU prompt processing, GPU-executed decode, and HCS expert residency management so models much larger than VRAM can still run locally.
The current runtime is no longer the early Python-hot-path prototype. The serving path is Rust/CUDA focused: Python is used for launcher/setup/model loading work, while the performance-sensitive runtime path uses Rust/CUDA orchestration, CUDA kernels, cached quantized weights, and measured VRAM budgeting.
You can contact me here, but for bugs, setup problems, model requests, or feature requests please open a GitHub issue.
If you want to monitor Krasis during runs, check out ktop.
Tradeoffs And Requirements
- Krasis currently targets NVIDIA GPUs with CUDA, including Ampere and newer architectures. The production HQQ attention and compact KV cache modes do not require FP8 support. - Input models should be BF16 safetensors from Hugging Face or another local safetensors source. - First run is slower because Krasis builds optimized local caches. Later runs reuse those caches. - Disk usage must cover the source model plus Krasis cache artifacts under ~/.krasis. - System RAM should be sized for the selected quantized cache and HCS backing store. Larger models need substantial RAM even when GPU VRAM is limited. - Production runs should use quantized INT4/INT8 expert caches and HQQ attention. BF16-heavy modes are validation/debug modes, not normal deployment targets.
Requirements
- Linux, including Ubuntu 24.04+ or WSL2 on Windows
- Native Windows installer builds are available as a preview release target
- Python 3.10+
- NVIDIA GPU with CUDA drivers installed
- Rust is only needed for source builds, not normal wheel installs
- Enough disk/RAM for the source model and generated Krasis caches
2. Install CUDA Dependencies
krasis-setupThis installs runtime CUDA/PyTorch dependencies when needed. It is usually only required once per machine.
1. Install Krasis
Linux/WSL:
curl -sSf https://raw.githubusercontent.com/brontoguana/krasis/main/install.sh | bashThis creates a managed environment at ~/.krasis/venv, installs Krasis, symlinks commands into ~/.local/bin, and updates PATH for the current shell. No sudo is required for the Krasis install itself.
Native Windows preview:
Download KrasisSetup-*-win64.exe from a GitHub release. The installer creates a per-user install under %LOCALAPPDATA%\Programs\Krasis, installs a private Python runtime and Krasis environment, and adds a Start Menu shortcut. The shortcut opens a maximized PowerShell window running the interactive Krasis launcher. Models and caches still live under %USERPROFILE%\.krasis.
The first native Windows target covers the Marlin/FlashAttention sidecar path. FLA/linear-attention models still need a separate native Windows FLA sidecar port before they should be treated as supported on Windows.
Uninstall Krasis, keeping model files
curl -sSf https://raw.githubusercontent.com/brontoguana/krasis/main/install.sh | bash -s -- --uninstall ```
Source Build
For development builds:
git clone https://github.com/brontoguana/krasis.git
cd krasis
./dev build
./dev run qcnThe ./dev entry point handles environment setup and is preferred for local development commands.
Quick Start
Usage
Use saved config
krasis --non-interactive
Use a config file
krasis --config tests/qcn-k4v4-hqq8-int4-benchmark.conf
API
Krasis exposes an OpenAI-compatible chat endpoint:
http://localhost:8012/v1/chat/completionsUseful endpoints:
GET /healthGET /v1/modelsPOST /v1/timing
高性能LLM运行时，支持多种硬件加速
⚡ 核心功能
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
👥 适合人群
🎯 使用场景
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
⚖️ 优点与不足
- +完全开源免费，无授权费用
- +本地部署，数据完全自主可控
- +开发者社区支持，遇问题可查可问
- −安装和初始配置可能需要一定技术基础
- −功能完整性通常不如成熟商业产品
- −技术支持主要依赖开源社区，响应速度不稳定
该工具使用 NOASSERTION 协议，商用场景请仔细阅读协议条款，必要时咨询法律意见。
AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。
📄 NOASSERTION — 请查阅原始协议条款了解具体使用限制。
🔗 相关工具推荐
❓ 常见问题 FAQ
经综合评估，Krasis 在AI工具赛道中表现稳健，质量优秀。如果你已有明确的使用需求，可以直接上手体验；如果还在评估阶段，建议对比同类工具后再做决策。
| 原始名称 | krasis |
| Topics | cpu-inferencegpu-inferencehigh-performance-inferencehybrid-inference |
| GitHub | https://github.com/brontoguana/krasis |
| License | NOASSERTION |
| 语言 | C++ |
收录时间：2026-07-05 · 更新时间：2026-07-05 · License：NOASSERTION · AI Skill Hub 不对第三方内容的准确性作法律背书。