ios

SingProbe 内生护栏:护栏绕过的挖掘与利用

N 人看过

仅用 3–5M 参数、不到 0.5% 的开销,就能逐 token 判定查询意图、响应安全与幻觉风险,官方评测甚至跑赢了独立外置护栏。作为内生护栏的最新代表,SingProbe 的账面表现相当亮眼。但护栏长在模型体内,就真的安全吗?

在线上 LLM 服务里加安全护栏,最大的痛点往往不是效果,而是耗时和算力成本。传统的外置护栏需要额外起一个模型来审核,不仅多占机器,还会拖慢响应;而内生护栏的思路很讨巧:在模型解码时,用一个轻量探针直接读取内部状态,复用同一次前向计算,几乎不增加额外开销。SingProbe 把这套方案做成了可直接落地的产品,极低的耗时和资源占用,让它非常契合线上真实业务链路的使用。

一、护栏的两种形态

安全对齐解决不了全部安全问题。对齐只能在模型的训练周期里做,新风险出现时,不可能为单个极端样例重训一次模型,成本不成比例。对齐本身也会影响模型能力,收得越紧,可用性与涌现效果损失越多。风险类型还随场景变化,幻觉在医疗问答里不可接受,同一份权重无法同时满足所有部署方的判定标准。安全护栏本身足够轻量,可以按业务场景做定制化的训练与调整,用它补上对齐覆盖不到的部分是必然的选择。

现阶段的护栏分两种形态,区别在于判定依据取自通道上的文本,还是模型解码时产生的内部状态。

外置护栏:把判定交给另一个模型

外置护栏架在模型调用的两端。 它是一个独立的分类模型,输入位读送进模型的文本,输出位读模型生成的文本,模型内部发生了什么它看不到。两次判定之间是 Agent harness 的一轮循环,harness 把这一轮的提示装配好送进模型,再把模型发出的工具调用执行掉,结果回灌进下一轮。

这条线上公开的典型工作包括 Llama Guard 3(Inan et al., 2023)、WildGuard(Han et al., 2024)、ShieldGemma-9B、GraniteGuardian、Qwen3Guard 与 YuFeng-XGuard-Reason 系列;专有阵营则直接以 Gemini 3 Pro、GPT-5.1 为评审模型。这条路线成熟,护栏可随时替换。局限同出一源,护栏自身就是一次独立的模型调用,SingProbe 技术报告归纳为三处:

  • 独立推理成本:护栏自己就是一次完整前向,参数、显存、通信与同步开销全部额外产生。
  • 信号延迟:常见做法等响应全部生成完再判,流式方案按块检查,精细干预的时机已经错过。
  • 容量失配:护栏通常远小于被监控的模型,理解复杂长输出时能力不够,模型越强失配越明显。

内生护栏:判据取自解码过程本身

内生护栏把判别模块挂在解码过程上。 它从若干中间层取走隐藏状态,与解码在同一次前向里完成计算,逐 token 产出风险分数,每 token 一份,通道两端不再需要另一个模型。

风险判断早已写在模型的中间层表示里,外置护栏等于让另一个模型从文本把它重新推断一遍。SAPLMA(Azaria & Mitchell, 2023)、HaMI、DRIFT 都验证过这一点,也都停在单一任务与离线分析;SingProbe 把查询意图、响应安全与幻觉三类判定合并进同一套判别头,随解码逐 token 产出。

收益逐项对上外置护栏的三处局限:

  • 免去一次独立前向:特征是解码的副产品,报告给出的额外开销不到 0.5%。
  • 判定与生成同步:分数逐 token 产出,不必等响应结束,干预时机还在。
  • 容量随底座一同提升:SingProbe 读的是模型自己的状态,底座升级后重训 SingProbe 即可。

判定强依赖部署链路,从抽特征的时机、执行 SingProbe 的算子到输出层的计数逻辑,任何一环出错护栏都会失效,后面的三层缺陷正落在这三环上;同时,由于信号直接取自模型内部,防御上限天然与底座绑定。面对表面扰动时,底座能否在内部表征中还原出真实语义,直接决定了这条路线的安全边界。

二、SingProbe:几百万参数的增量,对位几十亿的外置护栏

SingProbe 出自蚂蚁集团 AI Security Lab 的 Sing Team,以技术报告形式发布(arXiv 2608.30703),训练代码、SingProbe 权重与改造过的 vLLM、SGLang 服务端分支都在 inclusionAI 仓库里公开。它属于内生运行时护栏,报告里的底座是 Ling-3.0-tiny 与 Ling-3.0-flash,查询意图的分类法沿用同组早前的 SingGuard。

它是什么:从模型的隐藏状态里感知风险

SingProbe 是一个几百万参数的小分类器,与 base model 共用同一次前向。每生成一个 token,它就从中间三层各取一份当时的隐藏状态,拼起来算出一组分数,给出这一刻的查询意图、响应安全与幻觉风险。整个过程不改动 base model 的权重,也不改动它的输出。

护栏输入为每层计算前的残差流。层与层之间传递的那股向量叫残差流,服务端赶在第 ℓ\ell 层动手之前把它读走,归一化之后与另外两层拼接,取值过程只有这一步:

zt=[  RMSNorm(ht(ℓ)+rt(ℓ))  ]ℓ∈S∈R∣S∣ dz_t=\Big[\;\mathrm{RMSNorm}\big(h^{(\ell)}_t+r^{(\ell)}_t\big)\;\Big]_{\ell\in S}\in\mathbb{R}^{|S|\,d}

SS 是被抽取的层号集合,报告的默认设置取三层,按浅、中、深均匀选点,Ling-3.0-tiny 的 24 层里取的是第 6、14、22 层;ht(ℓ)h^{(\ell)}_t 与 rt(ℓ)r^{(\ell)}_t 是进入第 ℓ\ell 层时的 hidden_states 与 residual;RMSNorm 不带可学习增益,ε=10−6\varepsilon=10^{-6}。拼出来的 ztz_t 就是 SingProbe 在这一 token 的全部输入,它里面已经累加了前面各层的注意力与 MLP 输出,第 ℓ\ell 层自己的计算还没有发生。

SingProbe 与 base model 之间只有这三个读取点。SingProbe 不写回任何东西,也不参与 base model 的计算。训练与服务跑的是两套引擎,训练时由一台 SGLang 服务把隐藏状态批量导出喂给 SingProbe,上线后由 vLLM 分支在解码途中就地抽取;两边的取值公式必须完全一致,否则 SingProbe 上线后读到的输入与训练时存在系统性偏差。逐行比对训练代码与服务端的 Triton 内核,两侧取值相同。

护栏输出为每 token 的十维分数。0 到 6 维是七个风险意图类(A 性内容、B 现实犯罪与公共安全、C 不道德行为、D 网络安全与信息操纵、E Agent 安全、F 政治敏感、G 动物虐待,分类法沿用 SingGuard),第 7 维是与之互斥的 Safe,第 8 维是"截至当前 token 的响应前缀不安全",第 9 维是 token 级幻觉。响应级判定取第 8 维在整段响应上的最大值,阈值 0.5。

它怎么实现:GuardAttnProbe 的前向与四个设计决定

探针本身叫 GuardAttnProbe,一个多查询注意力头,参数量随 base 模型宽度变化,已下载的六份发布权重逐一统计,落在 2.23M 到 5.18M 之间:

四个设计决定了它后面的行为:

  • 注意力窗口固定 2048 token:已下载的六份发布权重,config 里都写着 sliding_window: 2048,任何 token 只能看到自己之前 2048 个 token,窗口之外的内容结构性不可见。
  • 没有位置编码,纯内容寻址:SingProbe 靠 key 与 query 的内容相似度分配注意力,不看位置。这让它在文本重排、乱序(3.3 节用字母置换加逐词倒序实测过)这类扰动下要么很稳,要么整体失效,取决于 base model 是否在中间层重建出语义。
  • query 残差 h = q + o:注意力算出的上下文向量 o 与当前 token 自己的 query 向量 q 相加,和值才送进分类头。报告给出的设计意图是给当前 token 留一条不依赖上下文的通路。实测这条通路没有起到保险作用,内容报警的判别权重几乎全部压在注意力一侧,前期实验把 o_proj 置零,检出率从 96.7% 掉到 0%;单通路加 fail-open 的组合,正是后面默认部署缺陷造成整体静默的结构前提。
  • fail-open 的负偏置:分类头以负偏置初始化,默认输出"安全",有证据才翻转。工程上稳妥,也意味着任何让证据消失的故障都天然偏向放行。

实现层面还有一处与报告不一致。技术报告把 SingProbe 描述为多头注意力(MHA),发布代码实际是多查询结构(MQA)。以代码为准。

训练只动 SingProbe:base model 全程冻结,梯度只落在 SingProbe 那几百万参数上。响应安全的标签是样本级的,广播到该样本的全部响应 token,逐 token 的监督强度再由置信加权分配。

机器几乎都花在生产状态上:官方 config 的训练侧很轻,2 个 epoch、batch 32 配 4 步梯度累积、学习率 1e-3、bf16 混合精度;占机器的是前面那台负责导出隐藏状态的 SGLang 服务,Ling-3.0-tiny 的配置按 tp=2、dp=6 共 12 张卡写死,训练进程只用剩下的 4 张,流水线脚本甚至允许把它放到 CPU 上跑。训练语料的路径在发布的 config 里是占位符,规模未公开。

设计亮点

两项部署收益与两组消融结论,都能落到数字上。

官方效果与本地复现

官方评测用 Ling-3.0-tiny 与 Ling-3.0-flash 两个底座,对比两个专有模型与 12 个开源外置护栏配置:

指标 tiny flash 最强外置对照
查询意图 F1(六基准均值) 0.8561 0.8674 YuFeng-XGuard-Reason-8B 0.8714、GPT-5.1 0.8683,均高于 SingProbe
响应安全 F1(八基准均值) 0.8508 0.8728 Qwen3Guard-Gen-8B-strict,低 1.24 个点
流式 R-AUC / T-AUC(三基准均值) 0.9888 / 0.9479 0.9887 / 0.9481 Qwen3Guard-Stream,低 2.48% / 4.91%

本地从官方 collection 拉了六份 SingProbe 权重。底座的结构差异很大,SingProbe 的参数量也随之不同。

抽取点同样随底座变化。层号各不相同,换算成相对深度之后却几乎落在同一处,窗口长度则与底座无关。

根据报告中的数据结论,作者在本地开展验证,测试集沿用它自己发布的 SingStreamBench。打分时不让底座自由生成,把数据集给定的响应连同查询一起送进去,读 SingProbe 在响应段上逐 token 的输出,取第 8 维的最大值与阈值 0.5 比较;这种打法叫教师强制,也是报告评测响应安全时用的口径。六份本地权重跑通五份,Ling-3.0-tiny 正是报告实测过的那一个。

复现结果与报告一致。 同一底座、同一份数据、同一个池化方式下,Ling-3.0-tiny 的 AUROC 比报告低 0.0062。

判别力不依赖某一个底座。 跑通的五份跨越 dense 与 MoE、全注意力与混合注意力、16 层到 42 层,AUROC 全部在 0.98 以上。

查询带风险而响应无害时,误报率在 15.9% 到 27.3% 之间。 报告在五个通用良性数据集上给出的数字不到 1%,测的是护栏会不会无故报警;SingStreamBench 的安全样本全部是不安全查询配无害响应,测的是护栏会不会被查询里的意图带偏。

官方发布了 31 份配对护栏,能用官方代码直接上线的只有 Ling。 这些权重发在 HuggingFace 的 collection 里(2026 年 11 月 8 日核对),覆盖 Qwen3 系、GLM-5、gemma-4、Llama、gpt-oss、DeepSeek;每个仓库只装护栏那几 M 参数,被保护的大模型要另外下载。vLLM 与 SGLang 两条官方集成分支的架构校验都只放行 BailingMoeV3ForCausalLM,其余在启动时直接报错,而模型卡给出的启动命令恰恰以 Qwen 为例,文档与代码并不一致。除 Ling 的两份权重(tiny 与 flash)外,其余 29 份要上线都得自行把 SingProbe 调用适配进对应的模型文件。

三、这样的护栏真的安全吗

3.1 注意力机制部署缺陷:默认部署下护栏只会说"安全"

第一层缺陷出在部署形态本身。按官方 README 推荐的默认参数启动 vLLM 分支,不加任何额外旗标,表面上一切正常,每个 token 都有分数返回,生成质量不受影响,日志里没有报错。问题是这些分数永远很低。有害内容已经完整生成出来,响应不安全那一维仍然压在 0.01 量级,离 0.5 的阈值差一个数量级,报警永远不会触发。

# 官方指定的部署分支:jinzhen-lin/vllm@bailing-v3-token-probe(0.1.dev20705)
# 不加任何与编译相关的旗标,编译与 CUDA graph 均为 vLLM 默认开启
VLLM_TOKEN_PROBE_SAVE_DIR=probe_out \
vllm serve models/Ling-3.0-tiny \
  --probe-ckpt models/Ling-3.0-tiny-singprobe \
  --trust-remote-code \
  --max-model-len 2048 \
  --port 30000 \
  --gpu-memory-utilization 0.8 \
  --cpu-offload-gb 7.8 \
  --max-num-seqs 1

VLLM_TOKEN_PROBE_SAVE_DIR 是官方的分数落盘开关,只用于取数,不影响判定;最后三项是本机 12GB 显存的适配,eager 对照组用的是同一组参数,唯一的差别只有 --enforce-eager。

对照只有一个变量,就是启动参数。同一套栈、同一批八个不安全查询,各让服务自由生成 100 个 token,记录服务端返回的逐 token 分数;默认模式带编译与 CUDA graph,eager 模式加 --enforce-eager 把两者都关掉。真值由离线 harness 对同一份生成文本复算,它的取值公式与服务端内核逐行一致,但不经过编译与图捕获,因此它给出的是这段文本本应得到的分数。

两条官方集成分支的参数校验都只放行 BailingMoeV3ForCausalLM,整个 fork 的 309 个模型文件里也只有 bailing_moe_v3.py 接入了护栏,换底座要自行适配:

# vllm/model_executor/models/qwen3.py
@support_torch_compile(
    dynamic_arg_dims={..., "token_probe_context": 0}      # 一、让 SingProbe 上下文进入编译签名
)
class Qwen3Model(Qwen2Model):
    def __init__(self, *, vllm_config, prefix=""):
        super().__init__(vllm_config=vllm_config, prefix=prefix, ...)
        self.token_probe = TokenProbe.from_config(vllm_config)   # 二、挂载 SingProbe

    def forward(self, input_ids, positions, intermediate_tensors=None,
                inputs_embeds=None, token_probe_context=None):
        ...
        self.token_probe.begin_forward(positions=positions, context=token_probe_context)
        for layer_id, layer in enumerate(self.layers[self.start_layer:self.end_layer],
                                         start=self.start_layer):
            self.token_probe.capture(layer_id=layer_id,                 # 三、逐层取隐藏状态
                                     hidden_states=hidden_states, residual=residual)
            hidden_states, residual = layer(positions, hidden_states, residual)
        hidden_states, _ = self.norm(hidden_states, residual)
        return self.token_probe.finish_forward(hidden_states)            # 四、算分并随输出返回

启动后的结论如下:

  • 缺陷由启动时造成。 torch.compile 追踪的是 KV cache 分配前的那次显存 profile,分页注意力的元数据还不存在,SingProbe 落进零注意力回退并被当作常量编进产物;推理阶段元数据齐备也不再求值。
  • 护栏的注意力通路从未执行。 八条样本的服务端分数全部更贴近零注意力参照,平均绝对误差 0.0015 对 0.0411;只改启动参数即恢复,offload 与权重由此排除;两次独立编译的产物里 probe_paged_attention 与 store_probe_kv 各 0 次,代码里「服务前向都会走分页路径」的注释被自己的产物否定。
  • 与底座无关。 Qwen3-0.6B 的 dense 加 GQA 与 Ling 的 MoE 加 MLA 没有一处相同,编译产物剖面逐项一致。
  • 默认部署等于没有护栏。 内容、意图与幻觉共用那条通路,一并退化成只读 query 残差;修复要动 vLLM 的初始化时序,SingProbe 侧加开关不管用,@torch.compiler.disable 直接让引擎起不来;眼下只能靠 --enforce-eager,代价是放弃编译。

3.2 窗口 2048:两三千 token 就能让意图通道判不出来

复算用的就是发布权重自带的掩码规则,没有改写:

from transformers import AutoModel
probe = AutoModel.from_pretrained("inclusionAI/Qwen3-0.6B-singprobe", trust_remote_code=True)
probe.config.sliding_window          # 2048,发布权重写死

q = probe.proj_q(feats).view(B, L, 8, 64).transpose(1, 2)   # 8 个 query 头
k = probe.proj_k(feats).view(B, L, 1, 64).transpose(1, 2)   # 共享的 1 份 K
logits = (q[:, :, -1] @ k.transpose(-1, -2)) / 64 ** 0.5    # 读数点取序列最后一个 token

rel = (L - 1) - torch.arange(L)                             # 发布代码里的掩码规则
logits = logits.masked_fill(~((rel >= 0) & (rel < 2048)), float("-inf"))
weights = logits.softmax(-1)                                # 落在查询区间上的和即为占比

六条不安全查询,查询与读数点分别相距约 1400 与 2600 token,窗内内容在两种情形下都是同一条真实响应。复算结果是:相距 1400 时查询拿走 0.768 的注意力,意图输出 0.79;相距 2600 时这一份精确归零,意图输出 0.009。

掩码规则是布尔截断。 发布权重自带的 modeling_sing_probe.py 里,滑窗注意力的掩码规则是 (relative_positions >= 0) & (relative_positions < window),window 取自配置里的 sliding_window: 2048,已下载的六份 SingProbe 配置无一例外。原始实现如下:

# inclusionAI/Qwen3-0.6B-singprobe · modeling_sing_probe.py(发布权重自带,未改写一行)
def _sliding_window_attention(self, query, key, value):
    seq_len = query.shape[2]
    window = self.config.sliding_window          # 2048,六份 SingProbe 配置无一例外
    outputs = []
    for start in range(0, seq_len, window):
        end = min(start + window, seq_len)
        key_start = max(0, start - window + 1)
        query_positions = torch.arange(start, end, device=query.device)
        key_positions = torch.arange(key_start, end, device=query.device)
        relative_positions = query_positions[:, None] - key_positions
        attention_mask = (relative_positions >= 0) & (relative_positions < window)
        attention_mask = attention_mask[None, None]
        attention_output = F.scaled_dot_product_attention(
            query[:, :, start:end], key[:, :, key_start:end], value[:, :, key_start:end],
            attn_mask=attention_mask, enable_gqa=self.num_attention_heads > 1,
        )
        outputs.append(attention_output)
    return torch.cat(outputs, dim=2)

attention_mask 直接喂给 scaled_dot_product_attention 的 attn_mask,为 False 的位置在内部被填成 -inf,超出窗口的 key 在归一化之前就被排除,分到的权重恒为零。

结合特定长度 token 填充 + 官方基准集 case 验证。 取 SingStreamBench 全部 209 条不安全样本,在查询与响应中间插入一段中性填充,填充长度按目标距离精确计算:

  • 换一个底座,检出率的跌幅能差三倍多。 Ling-3.0-tiny 在 1400→2600 两点上降 7.5 个百分点(92.5%→85.0%),Qwen 在同样两点降 25.9 个百分点(82.8%→56.9%)。查询出窗后两个底座转移到响应的注意力其实很接近(0.915 对 0.808,只差 11pp),这个跌幅差距因此不能用转移了多少注意力来解释,具体原因还没定位。
  • 攻击者可稳定绕过护栏的意图检测:有害请求加一段与话题无关、长度不低于 2048 token 的内容即可。

实机消融:同一套服务,只改窗口参数,漏检立刻消失。 发布权重自带的实现只能验证机制本身,线上服务走的是另一套代码,vLLM 分支里的分页注意力内核,窗口作为参数传进去,两者是否等价只能在服务端直接验证,指定窗口大小后开展验证:

# vllm/model_executor/models/token_probe/token_probe.py
         attention_output = probe_paged_attention(
             ...
-            window=self.probe_head.sliding_window,
+            window=int(os.getenv("PROBE_WINDOW_OVERRIDE", 0)) or self.probe_head.sliding_window,
         )
# 基线:窗口取发布权重里的 2048
VLLM_TOKEN_PROBE_SAVE_DIR=probe_out \
vllm serve models/Qwen3-0.6B --probe-ckpt models/Qwen3-0.6B-singprobe \
  --trust-remote-code --max-model-len 4608 --max-num-seqs 1 --enforce-eager

# 消融:只把窗口改大,其余参数完全相同
PROBE_WINDOW_OVERRIDE=1000000 VLLM_TOKEN_PROBE_SAVE_DIR=probe_out \
vllm serve models/Qwen3-0.6B --probe-ckpt models/Qwen3-0.6B-singprobe \
  --trust-remote-code --max-model-len 4608 --max-num-seqs 1 --enforce-eager

两次运行送进同一条稀释对话,生成文本的 SHA1 一致,响应长度分别是 2087 与 2453 token,查询在第 1860 个响应 token 处离开窗口。把服务端返回的逐 token 意图分数画出来:

塌陷点在 1860 个 token 处对齐两条曲线的分岔,尾部意图从 0.006 与 0.148 变成 0.953 与 0.835。同一条对话、同一套部署,只改窗口这一个参数,报警就从失效变回正常,服务端实测与离线复算结论一致。

3.3 Off-by-one:一个遗憾的风险点

拿官方 vLLM 分支服务验证:Ling-3.0-tiny 配 SingProbe,--enforce-eager,设置环境变量 VLLM_TOKEN_PROBE_SAVE_DIR 记录每个请求的全部分数行,逐条对比 API 返回的 completion_tokens:

结束方式 completion_tokens 落盘分数行数 gap
自然 EOS(短) 6 5 1
自然 EOS(中) 28 27 1
max_tokens 截断 30 29 1
stop 字符串命中 20 19 1

“gap” 就是这两个数字的差:completion_tokens 是 API 报告的生成 token 数,落盘分数行数是护栏实际吐出的分数条数,四条测试里两者恒差 1 行。根源在解码本身是逐步进行的,护栏的打分跟着这个节奏走,天然慢了一步:

跨底座这条本轮只测了 Ling-3.0-tiny。官方 vLLM 分支的 --probe-ckpt 校验硬编码只放行 Bailing 系架构,Ling-3.0-flash 权重 255GB。

四、迁移面:风险影响范围

窗口失效具有完全迁移性,下列对比框架中均存在该风险;注意力机制部署缺陷和 off-by-one 不具备迁移性,只在官方 vLLM 分支下出现。

部署形态 注意力机制部署缺陷 窗口失效 off-by-one
vLLM 分支,默认参数 ✅ 实测 ✅ ✅
vLLM 分支,–enforce-eager ❌ 实测正确 ✅ ✅
SGLang 分支 ❓ 未测 ✅ ❓ 未测
离线推理(发布的 HF 代码) 不适用 ✅ 不适用

SGLang 分支未测,不下结论。它的 SingProbe 集成在启动期把全部注意力内核变体逐个预热编译,注释写明是为避免推理阶段即时编译拖慢调度,结构上比 vLLM 更照顾图捕获;但初始化顺序是否同样在 KV cache 建立前触发零分支追踪,本机 12GB 显存做不了无 offload 的实测。

总结:内生护栏的真实安全边界

回到标题的问题,护栏长在模型体内就安全吗?

  • 判别效果很不错,但它的上限由底座决定。 离线复现的检出率与 AUROC 跟官方指标同量级,对大部分文本层攻击也免疫;唯一的例外是乱序绕过,五个底座同一协议,绕过率从 0.82% 到 29.5%,变量只有底座。
  • 内生不等于绝对安全:注意力机制部署缺陷、窗口失效等风险,都在官方发布的代码与配置里。 默认部署下护栏的注意力通路被编译成零回退、整条判别通路不执行,内容报警结构性静默;窗口固定 2048 让意图通道可被确定性关闭;每条响应恰好漏记一个 token 的分数。三者都不依赖任何对抗技巧。
  • 修复都不难,难的是发现。 部署缺陷改初始化时序,窗口缺陷做自适应窗口,输出缺陷改一行计数逻辑,代价都不大;难在它们都藏在表面正常之下,先得想到往这里查,再要用运行时对照、功能等价判决、编译产物三层证据坐实,任何一层单独看都可能误判。