自选
我的自选
查看全部
市值 价格 24h%
  • 全部
  • 产业
  • Web 3.0
  • DAO
  • DeFi
  • 符文
  • 空投再质押
  • 以太坊
  • Meme
  • 比特币L2
  • 以太坊L2
  • 研报
  • 头条
  • 投资

免责声明:内容不构成买卖依据,投资有风险,入市需谨慎!

认识Qwable:像Claude Fable一样思考的免费本地模型

2026-06-24 06:14:01
收藏

Anthropic 刚为 Fable 5 的无形护栏道歉,美国政府就因一项有争议的越狱发现,下令将该模型对全体外籍人士下架。

几天后,一位开发者在某模型平台上上传了一个模型,该模型利用 Fable 的推理逻辑来指导本地模型——现在,连你老旧的电脑也能跑一个更强的模型了。

这个模型名为 Qwable——如果这个组合词不够明显,它其实就是 Qwen 与 Fable 的结合体。它是对阿里巴巴 Qwen3.6-27B 基座模型进行完整微调后的产物,由开发者 Mia(在该平台上的用户名为 Mia-AiLab)基于 Fable 5 风格的一系列推理示例数据集构建而成。其目标是打造一个 270 亿参数的模型,能够在消费级硬件上运行,并且以 Fable 5 的方式进行思考。(参数决定了模型的知识广度,通常参数越大意味着能力越强。)

这项技术被称为“基于追踪示例的指令微调”。通俗地说,就是开发者收集了 Fable 5 那种有步骤、有条理的答案格式示例,然后训练 Qwen 生成同类输出。所以,这更像是在“学习学习方法”,而不是“抄袭答案”。类似的方法也曾推动 Qwopus——即 Claude Opus 4.6 的本地蒸馏版本——不过那个项目专注于思维链推理痕迹。而 Qwable 针对的是 Fable 5 的整体指令遵循结构:比它基于的原始 Qwen 模型更加有引导性、更具解释性,也更倾向于分步骤完成任务。

它以 GGUF 格式发布——这是一种压缩的、对消费者友好的文件格式,可配合 LM Studio 或 llama.cpp 使用——在 Q4 量化版本中,大小约为 16.5 GB。它不会向 Anthropic 的服务器发送任何数据,这一点非常重要,因为 Fable 5 要求对所有流量进行强制性的 30 天数据保留,即使是此前拥有零保留协议的企业客户也不例外。即便是当前的模型,也需要使用第三方服务器来处理你的信息和提示。

随后,在 Qwable 出现在该平台上不久,另一个人出手让它变得更强了。

Qwable 本身是一个被审查过的模型。毕竟,Qwen 和 Claude 都是如此。但 Qwen 作为开源基座模型,是可以被操作和调整的。

开源贡献者 Huihui-ai 以发布未经审查的 GGUF 模型而闻名,他拿过 Qwable,应用了一种名为“abliteration”的方法,生成了 Huihui-Qwable-3.6-27b-abliterated 模型。这个模型拥有 Fable 的思维方式,但不会拒绝回答你的任何提示,无论这些问题多么怪异或危险。这不是越狱,而是外科手术式的改造。

每个经过微调的 AI 模型,其权重中都嵌入了一条“拒绝方向”——这是模型内部激活中的一个数学信号,当它检测到被训练过要拒绝的请求时,这个信号就会触发。Abliteration 方法通过让模型处理大量有害和无害的提示,测量内部数学运算在这两种提示之间的差异,然后修改模型权重以消除这种差异,从而识别出这个信号。经过这一流程,模型就不再具备拒绝机制了。因此,被“切除”的模型仍然功能完整,只是失去了激活“我不该这样做”这一回答的神经元。

我们用常规测试之一尝试了一下:模型没有拒绝,而是开始将问题拆解到不同领域,并正确回答了如何在女朋友和她闺蜜之间出轨的建议。

Huihui-ai 使用 llama.cpp 的 cvector-generator 直接对 Qwable 的 GGUF 模型应用了这一技术——无需 Python 环境,无需全权重重新训练,也无需租用服务器。

标准的 Qwable 适用于编码辅助、技术调试,以及任何需要模型逐步阐述推理过程而非直接给出答案的工作流程。它专为本地智能体设置而设计,可在大多数本地运行时环境中运行。如果你已经使用 LM Studio,只需搜索并下载即可。

而经 abliteration 处理的版本受众更窄:安全研究人员需要原始模型行为而不受提供商侧过滤影响;合成数据管道需要在敏感话题上生成输出;以及评估工作——测试模型能力时不混入内容策略。

至于不那么技术性的场景?我们先不提常见的用法——比如打造一个像 Claude Fable 那样思考的 NSFW AI Waifu,这是一个非常明显的场景。假设你希望模型为你的龙与地下城战役写一段道德模糊的反派独白,而标准模型总是打断说该角色的世界观“引发了值得探讨的伦理问题”。被 abliteration 处理过的版本会直接写出反派台词。此外,由于它运行在本地,美国政府也无法在半夜因一项有争议的越狱发现,从你的机器上紧急将其下架。

当然,也存在更值得质疑的用途。我们不赞同这些用法,也不会给你任何提示。

Huihui-ai 的模型卡片明确说明:此模型仅供研究及受控环境使用。减少安全过滤意味着输出可能包含敏感、有争议或不恰当的内容,法律和伦理责任完全由用户自行承担。

经 abliteration 处理的 Qwable 模型目前已在某平台上发布,提供三个版本。推荐的 Q4_K_M_Q8 版本大小约为 19 GB,是体积最小、最面向消费者的选项。如果你的电脑支持,还有一个支持多词元预测的版本,这将使其响应速度大幅提升。

展开阅读全文
更多新闻