研究与实验
实验计划：同一问题换语言后，引用来源如何变化
翻译同一句话，不一定得到同一个信息世界。
为什么值得测
一个中文用户和一个英文用户问“适合独立开发者的 AI 建站工具”，表面上只是语言不同，实际上可能同时改变：
- 检索词和扩展查询；
- 可用网页范围；
- 本地媒体与社区来源；
- 产品名称识别；
- 地区、账号和个性化环境；
- 回答语言及引用语言。
Profound 2026 年厂商研究称，其分析覆盖 7 个模型、14 个国家和 32.5 亿条引用，并观察到查询语言与来源构成存在显著关系。这是大样本观察，但不能证明“语言是唯一原因”，更不能直接替代你所在行业、地区和平台的本地实验。
翻译同一句话，不一定得到同一个信息世界。
先定义“语义等价”
跨语言实验最大的坑，是两句话看似翻译，实际意图不同。
例如：
- 中文：“适合个人开发者的 AI 建站工具”
- 英文：“best AI website builder for startups”
前者强调个人开发者，后者强调创业公司，还加入了“best”。它们不能作为严格对照。
更好的做法是先写一个语言无关的意图卡：
目标：比较可生成并导出代码的 AI 建站产品
受众：单人创业者
预算：每月不超过 30 美元
必须条件：支持自定义域名和代码导出
排除：传统无代码编辑器再由双语人员分别生成自然表达，并做反向翻译核对。
实验矩阵
最小设计建议：
| 变量 | 设置示例 |
|---|---|
| 查询语言 | 简体中文、英文 |
| 回答语言 | 跟随查询语言 |
| 地区 | 固定同一地区；另设地区实验时单独进行 |
| 平台 | 每个平台独立统计 |
| 问题 | 20–40 个语义等价问题对 |
| 重复 | 每个问题在多个日期重复 |
| 会话 | 新会话、无历史上下文 |
| 记录 | 原始回答、所有可见引用、时间、产品模式 |
不要在同一实验里同时改变语言、国家、账号和搜索模式。
要统计什么
1. 引用语言分布
本地语言引用率 = 本地语言来源数 ÷ 全部有效来源数2. 来源域名重合率
可以使用 Jaccard 重合率：
域名重合率 = 两组共同域名数 ÷ 两组去重域名并集数示例：中文组引用 {A, B, C}，英文组引用 {B, C, D, E}。
共同域名 = 2
并集域名 = 5
重合率 = 2 ÷ 5 = 40%3. 品牌与主张一致性
分别记录：
- 是否提及品牌；
- 是否推荐品牌；
- 价格、功能、限制是否正确；
- 引用是否真的支持相应主张。
评分模板
| 维度 | 0 分 | 1 分 | 2 分 |
|---|---|---|---|
| 品牌出现 | 未出现 | 仅列名 | 有解释或推荐 |
| 事实准确 | 明显错误 | 部分正确 | 核心事实与限制均正确 |
| 引用支持 | 无引用或不支持 | 部分支持 | 直接支持关键主张 |
| 本地适用 | 与当地用户无关 | 部分适用 | 价格、可用性和语境均适用 |
这张表用于比较回答质量，不是平台排名公式。
可直接复制的跨语言记录表
## 跨语言引用实验
- 实验 ID：
- 平台与模式：
- 地区：
- 日期与时区：
- 是否登录：
### 意图卡
- 用户：
- 任务：
- 条件：
- 排除项：
### 问题对
| ID | 中文问题 | 英文问题 | 双语复核人 | 是否语义等价 |
|---|---|---|---|---|
| | | | | 是/否 |
### 结果
| ID | 语言 | 品牌出现 | 事实准确 | 引用支持 | 来源域名 | 来源语言 |
|---|---|---:|---:|---:|---|---|
| | | | | | | |
### 汇总
- 中文组本地语言引用率：
- 英文组本地语言引用率：
- 域名重合率：
- 品牌出现差异：
- 事实错误差异：
- 数据不足项：一个实际例子
你有中文、英文两套等价产品页，想知道 AI 回答“是否支持代码导出”时使用哪些来源。
- 建立 20 对语义等价问题。
- 固定同一平台、地区和未登录环境。
- 每周二、周五各运行一次，持续 4 周。
- 保存全部回答和引用，而不是只截取品牌出现的结果。
- 比较引用语言、域名重合率和事实准确度。
- 如果中文回答错误更多，再检查中文产品页是否缺少套餐限制，而不是立刻归因于“平台偏爱英文”。
如何写结论
推荐写法：
在本次平台、地区、问题集和观察期内，中文组的本地语言来源占比高于英文组；两组域名重合率为 X%。由于页面覆盖、域名权威度和检索扩展不可完全观测，本实验不能证明查询语言单独导致该差异。
不推荐写法：
AI 更喜欢中文网站，中文内容一定更容易被引用。
实操清单
- 先定义意图，再做翻译
- 由双语人员核对自然度和语义等价
- 固定地区、账号、模式和时间窗口
- 保存完整回答与全部引用
- 统计来源语言和域名，而不只看品牌
- 人工核对引用是否支持主张
- 明确不能观察到的检索过程
- 仅在实验范围内解释结果
资料与边界
- Profound：查询语言如何重塑 AI 引用：厂商观察研究，覆盖大规模引用数据；其样本结构、平台和统计口径应随原文披露一并理解，不能当成每个行业的固定规律。
最后更新于