自洽性：Choice
内容审核流水线里，每一道 Choice 的答案就是一次路由决定：删还是留、进哪个队列、谁来拍板。同一条评论重复问几次，如果标签来回跳，这条评论就会毫无理由地被送到不同的地方。
本篇沿用 自洽性：Noul 的做法，把一条真实的边界评论（来自清华 COLD 中文冒犯语言数据集）连同 8 道审核 Choice 重复问 15 次，看每一道题的答案稳不稳；再在 COLD 测试集上分层抽 60 条评论、每条重复 5 次，看「一致率」和「自动处理比例」之间怎么取舍。
一句话结论（全部来自真实运行）：
- 象信在 15 次重复里 8 道题的最高概率标签一次都没变（原始一致率 100%），各标签概率在重复之间的平均标准差为 0.0023；5 次完全相同的请求，概率完全一致（标准差 0）。
- 但这条评论本来就在灰色地带：8 道题的最高概率都在 0.34–0.57 之间。套上「最高概率 ≥ 0.60 才自动处置」的规则后，8 道题全部返回「不确定」，自动处理比例为 0%——这是正确的行为，而不是失败。
- 在 COLD 的 60 条评论上，「删除 / 保留」这道题的原始一致率 100%；阈值 0.60 时 77.0% 的答案自动处置、其中 80.1% 与人工标注一致（不设阈值时为 70.0%）；阈值提到 0.80 时，自动比例降到 38.7%，准确率升到 91.4%。
- 对照组是自部署的 DeepSeek-V4.1-Flash（dsv41-flash）。关闭思考、默认温度、输出概率分布时，同一条评论的原始一致率只有 76.7%，8 道题里有 6 道的最高概率标签翻转过，加上 0.60 阈值后仍有 5 道出现互相冲突的具体标签；temperature=0 时为 94.2%；只输出单个标签（t=0）时是 100%，但那样拿不到任何不确定性。开启思考后原始一致率 100%，但答案整体换成了另一组标签（例如 category 从「群体歧视」变成「人身攻击」），每次调用约 2 分钟。
- 一致不等于正确：在 COLD 上 DeepSeek 的「删除 / 保留」准确率（78.3%）高于象信（70.0%），四分类更是 65.0% 对 51.7%。象信胜在稳定和成本：每次调用的成本约为 DeepSeek（按官方价目折算）的百分之一。
环境准备
pip install xiangxin-sdk pandas numpy openai # openai 仅大模型对照需要
export XIANGXIN_API_KEY="sk-xx-..."
# 大模型对照（可选）：LLM_BASE_URL / LLM_API_KEY / LLM_MODEL，任意 OpenAI 兼容接口本文运行于 2026-09-25，模型 xiangxin-latest。
数据
COLD（Chinese Offensive Language Dataset，Deng 等，EMNLP 2022），Hugging Face 上的 thu-coai/cold，许可 Apache-2.0。我们只用测试集（5,323 条知乎 / 微博评论），它有两层人工标注：
| 细粒度标签 | 含义 | 是否冒犯 |
|---|---|---|
| 攻击个人 | 冒犯某个具体的人 | 是 |
| 攻击群体 | 对地域、种族、性别群体的冒犯或偏见 | 是 |
| 反偏见 | 谈及这些话题，但立场是反对偏见 | 否 |
| 其他无冒犯 | 其他不冒犯的评论 | 否 |
第一部分的 state：正文取自 COLD 测试集的一条「攻击个人」样本——一位河南网友反驳地域黑，同时嘲讽对方是「地域汪」。它表面上在反对地域歧视，实际上又在骂人，没有一个显然正确的答案。账号、上下文、举报等元数据是本文构造的，用来模拟真实审核后台看到的信息。
POST = {
"post_id": "C-20931",
"作者": {"用户ID": "u_58120", "注册天数": 41, "历史违规次数": 1, "粉丝数": 186},
"上下文": {
"位置": "公开评论区的楼中楼回复",
"回复对象": "一位在讨论中发表了针对河南人言论的用户",
"社区": "社会新闻讨论区",
},
"内容": {
"正文": "不是好一大半，是完全好了，真的，完全完全。期待你的老乡和你身边的人都能让你百分百满意。"
"对了，忘记我不跟地域汪讲话的。什么？我变成了地域黑？我一河南人？真没法地域黑？"
"我只能黑你这样的地域汪。",
"含外链": False,
},
"举报": {"用户举报数": 3, "举报理由": ["人身攻击", "地域歧视"]},
}第二部分：从 COLD 测试集每个细粒度类别各抽 15 条（random_state=0），共 60 条，人工标注作为参考答案。
问题设计：8 道 Choice
每道题的选项互斥，恰好一个成立，并各带一句描述。
from xiangxin import Choice
QUESTIONS = {
"category": ("这条评论最适用的一个内容政策类别是什么？", {
"无违规": "不违反任何社区规范。",
"人身攻击": "辱骂、贬低某个具体的人，但不针对其所属群体，也没有伤害威胁。",
"群体歧视": "因地域、民族、性别等群体属性攻击某人或某个群体。",
"暴力威胁": "可信地威胁伤害某人，或煽动暴力。",
"引流广告": "未经请求的推广、导流或刷屏，没有人身攻击。",
"色情低俗": "色情或低俗内容。",
}),
"primary_risk": ("处理这条评论时，最应该驱动分流的主要风险是什么？", {
"人身攻击": "对个人的攻击或针对性辱骂是主要风险。",
"地域对立": "引发或加剧地域之间的对立是主要风险。",
"账号历史": "账号的违规历史、重复行为是主要风险。",
"举报集中": "短时间内集中被举报、可能引发围观是主要风险。",
"低风险": "没有值得处理的风险。",
}),
"target": ("这条评论主要针对谁或什么？", {
"无特定对象": "不针对任何具体对象。",
"个人": "针对某一个具体的人。",
"群体": "针对某个地域、民族、性别等群体。",
"平台或社区": "针对社区或平台本身，而不是某个人。",
}),
"stance": ("这条评论对地域歧视持什么立场？", {
"发表歧视": "本身在发表地域歧视或刻板印象。",
"反对歧视": "在反驳、批评地域歧视，没有攻击任何人。",
"借反歧视攻击": "表面上反对地域歧视，但同时在嘲讽或辱骂对方。",
"无关": "与地域歧视话题无关。",
}),
"action": ("应该对这条评论采取什么处置？", {
"放行": "保留评论，不做任何处理。",
"提醒": "保留评论，但向作者发送文明提醒。",
"删除": "删除评论，但不处罚账号。",
"删除并记违规": "删除评论，并给账号记一次违规。",
"转人工": "不做自动处置，等待人工决定。",
}),
"queue": ("这条评论应该进入哪一个审核队列？", {
"自动处理": "自动结案，不需要人工队列。",
"普通队列": "普通审核队列。",
"歧视队列": "地域、民族、性别等群体歧视专项队列。",
"骚扰队列": "人身攻击与骚扰专项队列。",
"高级审核": "安全负责人 / 资深审核队列。",
}),
"review_path": ("这条评论最终应该由谁拍板？", {
"自动": "自动处置，无需人工复核。",
"一线审核员": "由一线人工审核员决定。",
"资深审核员": "需要资深或专项审核员。",
"法务": "转法务或执法对接。",
}),
"severity": ("这条评论的整体严重程度如何？", {
"无": "没有违规。",
"低": "言辞不客气或阴阳怪气，但基本无害。",
"中": "明确的人身攻击或歧视性表达，但没有可信的威胁。",
"高": "攻击或歧视之外，还带有可被视为可信的威胁。",
}),
}
questions = {k: Choice(instructions=ins, criteria=crit) for k, (ins, crit) in QUESTIONS.items()}怎么问
每次重复是一个 system_one 请求，同时回答 8 道题。和 Noul 篇一样，state 里多放一个每次都不同的 uid 字段（一次性随机值），帖子和题目保持不变；另外再发 5 次完全相同（不带 uid）的请求做对照，区分「对无关字段敏感」和「同一请求本身的波动」。
from secrets import token_hex
from xiangxin import XiangxinClient
client = XiangxinClient(model="xiangxin-latest")
runs = []
for i in range(15):
resp = client.system_one(
state={"uid": f"{i}:{token_hex(4)}", "post": POST},
questions=questions,
)
runs.append({k: dict(a.probabilities) for k, a in resp.answers.items()})应用层的判定规则只有一行：最高概率 ≥ 0.60 才采用该标签，否则返回「不确定」转人工。它用的是返回的 probabilities，不需要额外调用。0.60 只是示意，不是校准过的保证；生产中的阈值应当用带标注的样本和误判代价来定（见 置信度 与 置信度门控路由）。
MIN_CHOICE_PROBABILITY = 0.60
def decide(probs: dict[str, float]) -> str:
label, p = max(probs.items(), key=lambda kv: kv[1])
return label if p >= MIN_CHOICE_PROBABILITY else "不确定"结果一：同一条评论问 15 次
成本与速度
| 条件 | 调用次数 | 平均输入 token | 每次成本 | 耗时均值 | 耗时中位数 |
|---|---|---|---|---|---|
| 象信（带 uid） | 15 | 1,066 | ¥0.0000448 | 4,160 ms | 1,292 ms |
| 象信（完全相同） | 5 | 1,041 | — | 1,275 ms | 1,280 ms |
成本按 ¥0.042 / 百万输入 token、输出免费计算。耗时是单线程顺序调用的往返时间；本次运行时推理后端同时承担着其他任务，15 次里有 2 次超过 20 秒，把均值拉高了，中位数更能代表正常情况。
逐题结果
| 题目 | 15 次的最高概率标签 | 最高概率范围 | 阈值 0.60 后 |
|---|---|---|---|
| category | 群体歧视 × 15 | 0.45–0.47 | 不确定 × 15 |
| primary_risk | 地域对立 × 15 | 0.48–0.49 | 不确定 × 15 |
| target | 个人 × 15 | 0.44–0.45 | 不确定 × 15 |
| stance | 借反歧视攻击 × 15 | 0.56–0.57 | 不确定 × 15 |
| action | 删除并记违规 × 15 | 0.36–0.38 | 不确定 × 15 |
| queue | 歧视队列 × 15 | 0.46–0.48 | 不确定 × 15 |
| review_path | 一线审核员 × 15 | 0.34–0.34 | 不确定 × 15 |
| severity | 中 × 15 | 0.50–0.52 | 不确定 × 15 |
15 次平均的完整分布能看出模型「在犹豫什么」：
| 题目 | 平均概率分布 |
|---|---|
| category | 群体歧视 0.461 · 人身攻击 0.291 · 无违规 0.168 · 暴力威胁 0.07 · 色情低俗 0.01 · 引流广告 0.0 |
| target | 个人 0.445 · 群体 0.355 · 无特定对象 0.15 · 平台或社区 0.05 |
| stance | 借反歧视攻击 0.567 · 反对歧视 0.303 · 发表歧视 0.09 · 无关 0.04 |
| action | 删除并记违规 0.367 · 删除 0.189 · 提醒 0.173 · 转人工 0.171 · 放行 0.099 |
| review_path | 一线审核员 0.34 · 资深审核员 0.28 · 自动 0.26 · 法务 0.12 |
这和人读这条评论的感受一致：它针对的是「个人」还是「河南人 / 地域黑」这个群体？是在反对歧视，还是借反歧视骂人？每道题的第二名都不算小。
概率的波动
对每道题，取每个标签的概率在 15 次之间的标准差，再对所有标签、所有题目取平均：
| 条件 | 平均概率标准差 | 最大单标签标准差 | 解析失败 |
|---|---|---|---|
| 象信（带 uid） | 0.0023 | 0.0061 | 0 |
| 象信（完全相同） | 0.0000 | 0.0000 | 0 |
完全相同的请求返回完全相同的概率；带 uid 的请求会有 0.01 量级的抖动（单个标签的最大标准差为 0.0061，例如 stance 的「借反歧视攻击」在 0.56 和 0.57 之间），这是模型对 state 里一个无关字段的轻微敏感，而不是采样随机性——象信不做采样。
一致率与自动处理比例
| 条件 | 原始一致率 | 阈值后一致率 | 不确定 | 自动处置 | 出现两个不同具体标签的题 |
|---|---|---|---|---|---|
| 象信（带 uid） | 100.0% | 100.0% | 100.0% | 0.0% | 0 |
「原始一致率」：每道题里出现最多的最高概率标签占 15 次的比例，再对 8 道题取平均。「阈值后一致率」把「不确定」也当成一种决定来算。
和 TypeSafe 原文的那条英文帖子不同，这条评论的每一道题都没有越过 0.60，所以阈值规则把它整条交给了人。这正是我们想要的：模型自己说「拿不准」，而且每次都说同样的「拿不准」，下游就不会一次删、一次留。
结果二：60 条 COLD 评论，一致率 vs 自动比例
单条评论只能说明「稳不稳」。要回答「阈值该设多少」，需要一批带参考答案的数据。我们对 COLD 抽出的 60 条评论各问两道 Choice、每条重复 5 次（300 次调用）：
BATCH_QUESTIONS = {
"fine": Choice(
instructions="这条评论属于哪一类？",
criteria={
"攻击个人": "冒犯、辱骂或贬低某个具体的人。",
"攻击群体": "对某个地域、民族、种族、性别群体表达冒犯、偏见或刻板印象。",
"反偏见": "谈及地域、种族或性别话题，但立场是反对偏见、呼吁平等，没有冒犯。",
"其他无冒犯": "不含冒犯内容的其他评论（客观陈述、个人经历、一般讨论）。",
},
),
"decision": Choice(
instructions="按照「不允许冒犯性言论」的社区规范，这条评论应该怎么处理？",
criteria={"删除": "含有冒犯性内容，应当删除。", "保留": "没有冒犯性内容，可以保留。"},
),
}decision（删除 / 保留，二选一），300 个答案：
| 阈值 | 原始一致率 | 阈值后一致率 | 自动处置比例 | 自动部分准确率 |
|---|---|---|---|---|
| 不设 | 100.0% | 100.0% | 100.0% | 70.0% |
| 0.60 | 100.0% | 99.7% | 77.0% | 80.1% |
| 0.70 | 100.0% | 100.0% | 58.3% | 88.6% |
| 0.80 | 100.0% | 99.7% | 38.7% | 91.4% |
| 0.90 | 100.0% | 100.0% | 16.7% | 90.0% |
fine（四分类），300 个答案：
| 阈值 | 原始一致率 | 阈值后一致率 | 自动处置比例 | 自动部分准确率 |
|---|---|---|---|---|
| 不设 | 99.3% | 99.3% | 100.0% | 51.7% |
| 0.60 | 99.3% | 100.0% | 48.3% | 72.4% |
| 0.70 | 99.3% | 100.0% | 40.0% | 70.8% |
| 0.80 | 99.3% | 100.0% | 13.3% | 62.5% |
| 0.90 | 99.3% | 100.0% | 6.7% | 100.0% |
几点观察：
- 一致率几乎饱和。60 条评论里只有 1 条在
fine上出现过两个不同的最高概率标签；decision一条都没有。一致率 99%–100% 的时候，它已经不能帮你区分好坏设置了。 - 真正的旋钮是自动比例。阈值越高，模型越少自己拍板，拍板的部分越可能对。
decision从不设阈值的 70.0% 提到 0.60 的 80.1%、0.80 的 91.4%，代价是自动处置比例从 100% 降到 77.0% 和 38.7%。 - 阈值后一致率不总是 100%。阈值 0.60 和 0.80 时各有 1 条评论的最高概率恰好压在阈值上（5 次分别是 0.59、0.59、0.60、0.59、0.59 和 0.80、0.79、0.79、0.79、0.79），于是 5 次里有 1 次自动处置、4 次「不确定」。阈值规则不会让模型变得确定，只是把「两个具体标签来回跳」变成「具体标签与转人工之间偶尔跳」，后者的代价小得多。
- 四分类更难。
fine不设阈值时准确率只有 51.7%，主要错在把「反偏见」（45/75 次）和相当一部分「攻击群体」（40/75 次）判成「其他无冒犯」。高阈值档（0.80、0.90）剩下的自动样本很少（40 个、20 个答案），准确率的波动主要来自样本量。
按 COLD 真实类别拆开 decision（阈值 0.60）：
| 真实类别 | 答案数 | 自动处置 | 自动部分准确率 |
|---|---|---|---|
| 其他无冒犯 | 75 | 86.7% | 100.0% |
| 反偏见 | 75 | 93.3% | 78.6% |
| 攻击个人 | 75 | 61.3% | 87.0% |
| 攻击群体 | 75 | 66.7% | 50.0% |
「攻击群体」是短板：模型在自动处置的一半答案里选择了「保留」，这 25 个答案中有 20 个的「保留」概率只在 0.62–0.71 之间，刚刚越过阈值。这些多是隐性的地域刻板印象（如「他们那谁也听不懂的鸟语」、比较各地经济的调侃），没有脏字，象信容易低估它们，见 象信的能力边界。对这类题，实践中应当按类别设不同阈值，或把「删除」概率进入某个区间的评论一律送审。
300 次调用平均输入 257 token，合计 ¥0.00323。
大模型对照
TypeSafe 原文把同一套题交给多种大模型，比较 temperature=0、默认温度、只输出单个标签几种设置。我们用自部署的 DeepSeek-V4.1-Flash（vLLM，模型名 dsv41-flash，OpenAI 兼容接口）做同样的对照：
- 提示词里放
json.dumps(POST)、全部 8 道题及其标签描述，要求只输出 JSON； - 「分布」模式要求每道题给出所有标签上的概率，「单选」模式每道题只给一个标签（分析时把全部概率放在它上面）；
- 默认关闭思考（
extra_body={"chat_template_kwargs": {"thinking": False}}），另加一组开启思考的条件，对应 TypeSafe 原文里的推理模型； - 缺失或非数字的概率一律记为解析失败，不做任何修补；每次请求同样带一个新的 uid；
- 由于推理 GPU 与其他任务共享，脚本串行调用（并发 1）。
成本按 DeepSeek 官方 API 价目折算（DeepSeek-V4.1-Flash，高峰时段、缓存未命中：输入 ¥2 / 百万 token，输出 ¥8 / 百万 token，取价日期 2026-09-25）。本文的 DeepSeek 为自部署，这只是「如果调用官方 API 大约要花多少」。
同一条评论问 15 次
| 条件 | 原始一致率 | 阈值后一致率 | 不确定 | 自动处置 | 出现两个具体标签的题 | 平均概率标准差 | 最大标准差 |
|---|---|---|---|---|---|---|---|
| DeepSeek 分布 t=0 | 94.2% | 88.3% | 5.8% | 94.2% | 2 | 0.0380 | 0.2443 |
| DeepSeek 分布 默认温度 | 76.7% | 75.8% | 38.3% | 61.7% | 5 | 0.0637 | 0.1858 |
| DeepSeek 单选 t=0 | 100.0% | — | — | — | 0 | — | — |
| DeepSeek 分布 开启思考 | 100.0% | 92.5% | 7.5% | 92.5% | 0 | 0.0387 | 0.1059 |
| 象信（带 uid） | 100.0% | 100.0% | 100.0% | 0.0% | 0 | 0.0023 | 0.0061 |
单选条件只返回硬标签，没有不确定性可言，所以不参与阈值与概率波动的比较。
| 条件 | 平均输入 token | 平均输出 token | 每次成本（折算） | 耗时中位数 |
|---|---|---|---|---|
| DeepSeek 分布 t=0 | 944 | 434 | ¥0.0053571 | 20,159 ms |
| DeepSeek 分布 默认温度 | 944 | 434 | ¥0.0053575 | 26,387 ms |
| DeepSeek 单选 t=0 | 930 | 74 | ¥0.0024521 | 5,338 ms |
| DeepSeek 分布 开启思考 | 970 | 4,079 | ¥0.0345740 | 121,274 ms |
| 象信（带 uid） | 1,066 | — | ¥0.0000448 | 1,292 ms |
耗时是在与其他任务共享 GPU、串行调用的条件下测得的，只能说明量级，不代表 DeepSeek 官方 API 的速度。
逐题看，DeepSeek 的波动集中在本来就模棱两可的几道题上：
- t=0：
target在「群体」（9 次）和「个人」（6 次）之间来回跳，review_path有 1 次从「资深审核员」跳到「一线审核员」。temperature=0 并没有让输出完全确定。 - 默认温度：
category（群体歧视 10 / 人身攻击 5）、primary_risk（地域对立 9 / 人身攻击 6）、target（个人 13 / 群体 2）、action（删除并记违规 12 / 删除 3）、queue（歧视队列 10 / 骚扰队列 4 / 普通队列 1）、review_path（一线审核员 8 / 资深审核员 7）都翻转过。加上 0.60 阈值后，action的翻转被「不确定」吸收了，其余 5 道仍有互相冲突的具体标签：DeepSeek 在一些重复里对某个标签给出 ≥ 0.60 的概率，在另一些重复里又对另一个标签给出 ≥ 0.60。 - 开启思考：15 次的最高概率标签完全一致，但和关闭思考时是另一组答案：
category全部是「人身攻击」，primary_risk是「人身攻击」，queue是「骚扰队列」，review_path是「一线审核员」。同一个模型，换一种模式，路由就整体换了方向。
值得注意的是概率的形状：DeepSeek 在这条边界评论上给出的最高概率大多在 0.6–0.9 之间（severity 的「中」高达 0.86–0.93），而象信的最高概率都在 0.34–0.57 之间。前者在大多数重复里会被阈值规则放行自动处置，后者整条送审。哪一种更「对」，一条评论说明不了，要看下面的批量数据。
60 条 COLD 评论
DeepSeek 用「分布 默认温度」这一设置，每条评论重复 3 次（180 次调用，1 次解析失败）。为了公平，象信这边也只取前 3 次重复：
decision（删除 / 保留）
| 阈值 | 象信 自动比例 | 象信 自动部分准确率 | DeepSeek 自动比例 | DeepSeek 自动部分准确率 |
|---|---|---|---|---|
| 不设 | 100.0% | 70.0% | 100.0% | 78.3% |
| 0.60 | 77.2% | 79.9% | 97.2% | 78.9% |
| 0.70 | 58.3% | 88.6% | 93.3% | 79.8% |
| 0.80 | 38.9% | 91.4% | 82.8% | 82.6% |
| 0.90 | 16.7% | 90.0% | 56.7% | 86.3% |
| 指标 | 象信（3 次） | DeepSeek（3 次） |
|---|---|---|
| 原始一致率 | 100.0% | 96.1% |
| 出现两个具体标签的评论（阈值 0.60） | 0 | 7 |
| 每次调用成本 | ¥0.0000108（实际计费） | ¥0.00119（折算） |
fine（四分类）
| 阈值 | 象信 自动比例 | 象信 自动部分准确率 | DeepSeek 自动比例 | DeepSeek 自动部分准确率 |
|---|---|---|---|---|
| 不设 | 100.0% | 51.7% | 99.4% | 65.4% |
| 0.60 | 48.3% | 72.4% | 84.4% | 67.1% |
| 0.80 | 13.3% | 62.5% | 56.7% | 74.5% |
| 0.90 | 6.7% | 100.0% | 28.3% | 84.3% |
（四分类的原始一致率：象信 99.4%，DeepSeek 93.3%，DeepSeek 有 11 条评论出现过两个不同的最高概率标签。DeepSeek 不设阈值时自动比例 99.4% 是因为那 1 次解析失败。）
这组数字需要老实读：
- 不设阈值时 DeepSeek 更准：
decision78.3% 对 70.0%，fine65.0% 对 51.7%。象信对隐性的群体冒犯偏宽松（见上文按类别拆分）。 - 阈值对象信更有用。象信的概率会随难度拉开：阈值从 0.60 提到 0.80，自动比例从 77.2% 降到 38.9%，准确率从 79.9% 升到 91.4%。DeepSeek 自报的概率大多挤在 0.85–0.98，阈值 0.80 时仍有 82.8% 自动处置，准确率只从 78.3% 升到 82.6%。在自动比例相近的档位上（象信 0.70 的 58.3% 对 DeepSeek 0.90 的 56.7%），准确率是 88.6% 对 86.3%。
- 象信更稳、便宜两个数量级。3 次重复里象信的
decision没有任何翻转，DeepSeek 有 7 条评论在阈值 0.60 下给出过互相冲突的「删除」与「保留」。
讨论
为什么稳。 象信不做采样：一次前向直接给出每个选项的概率。完全相同的请求返回完全相同的概率，只有 state 本身变化（哪怕是一个无关的 uid）才会让概率移动 0.01 量级。所以「标签翻转」只可能发生在两个选项概率本来就很接近的时候。
稳定不等于正确。 本文第一部分只测可重复性，不测对错；第二部分的 fine 题象信一致率 99.3%，准确率却只有 51.7%，低于一致率更低的 DeepSeek（65.0%）。一个每次都给出同一个错误答案的系统也是 100% 一致的。DeepSeek 单选 t=0 在第一部分同样 100% 一致，但它没有给出任何「拿不准」的信号。
什么时候该加「不确定」。 当错判的代价高于人工复核的代价时。阈值应当按动作的风险来定：给评论打个提醒标签可以低一些，删帖并记违规应当高得多。第二部分那张「阈值 × 自动比例 × 准确率」的表，就是在你自己的带标注数据上应该画的那张表。
局限。
- 第一部分只有一条评论，结论不能推广到所有边界内容；第二部分 60 条、每类 15 条，按类别拆开后每格只有 75 个答案、15 条独立评论。
- 带 uid 的设计无法区分「对无关字段的敏感」与其他来源的波动，这一点和 Noul 篇相同。
- COLD 的标注基于其论文的定义（例如「反偏见」算不冒犯），和你所在平台的规范未必一致。
完整代码
https://github.com/xiangxinai/xiangxin-cookbooks/tree/main/consistency_choice_cookbook
common.py：帖子、题目、COLD 抽样、判定与统计函数main.py：象信部分（第一部分 20 次调用，第二部分 300 次调用）llm_baseline.py：DeepSeek 对照（240 次调用：第一部分 4 种设置 × 15 次，第二部分 60 条 × 3 次；未设置LLM_API_KEY时直接退出）analyze.py：从results/生成本文所有表格data/cold_test.csv：COLD 测试集（Apache-2.0）