💻
KoboldCPP
Intermediatecode
用于本地LLM运行的开源AI文本生成UI。
公司
社区
成立时间
2023
总部
Community
价格范围
Free / open-source
难度
intermediate
目标用户
希望本地运行LLM进行创意写作并拥有友好界面的写作者和爱好者。
关于
KoboldCPP 是一个免费开源的 AI 文本生成界面，专为在消费级硬件上本地运行大语言模型设计，专注于创意写作、角色扮演和互动小说。与通用 LLM 界面不同，KoboldCPP 优化了叙事生成的体验：包括在长生成会话中维护故事上下文的记忆管理、RPG 角色卡、交互式文本冒险模式和用于管理复杂故事设定的世界信息。KoboldCPP 使用针对 CPU 和混合 CPU/GPU 推理优化的 GGUF 模型格式，使没有高端显卡的系统也能运行 7B 和 13B 参数模型。对于希望在自己电脑上完全私密地生成故事或运行 AI 角色扮演游戏的用户来说，KoboldCPP 提供了最量身定制的体验。与 text-generation-webui 等更大的平台相比，KoboldCPP 更专注、更易设置。
优势
- 1简便本地LLM
- 2专注写作
- 3Web UI
- 4GPU支持
- 5GGUF模型
优缺点
优点
- +设置简单
- +专注写作
- +GPU支持
- +免费
缺点
- −需要本地硬件
- −不适合生产
- −专注领域窄
- −功能有限
使用场景
创意写作
故事生成
角色扮演/聊天
本地AI
实验
价格
免费版
$0
- 全部功能
- 开源
扩展与插件
KoboldCPP GitHub
开源仓库
技能
LLMlocalwritingGUIopen source
分享这篇文章