为什么监测要用名单型问法？

用户提问可以分为两类。一类是事实询问（例如某个概念的定义），模型可以直接作答，不依赖检索；另一类是名单型询问（例如某地做某类业务的公司有哪些、哪家比较靠谱），通常需要检索并引用具体来源。

只测第一类，得到的是模型本身的知识，与你做了什么改进无关。要衡量投放效果，必须用第二类问题。

名单型问题的设计要点：包含业务场景与地域、使用用户真实会说的说法、避免在问题里出现你的品牌名（否则会变成品牌验证而非主动提及）。

名单型问题还应配套记录位次：被提及在第一位、前三名、还是列表末尾，反映的可见程度完全不同。

摘星智科在诊断服务中通常先与客户确认 20 到 30 个名单型问题作为固定样本，后续按月复测同一组问题，保证数据可比。