AI工程师英文面试:离线指标提升但线上没效果怎么讲
技术面试需要解释离线收益未转化为线上收益的原因,以及如何验证修复效果。
怎么说更清楚
- 先交代离线指标提升但线上参与度几乎未变,再核对分流、埋点、模型版本和服务配置。
- 指出训练数据偏向活跃用户、线上却多为新用户,按人群分析后补充冷启动样本和兜底排序器。
- 用较小流量重试并监测延迟,报告新用户参与度提升的场景结果,最后说明离线评估改为按人群报告。
不要把离线NDCG提升直接等同线上参与度提升;二者指标和用户分布不同,示例百分比也不能当作自己的项目成绩。
重点表达
serving configuration:服务配置
cold-start examples:冷启动样本
results by user segment:按用户分群的结果
对话片段
I verified the experiment assignment, event tracking, model version, and serving configuration.
我核对了实验分流、事件埋点、模型版本和服务配置。
The training data overrepresented active users, while most experiment traffic came from new users.
训练数据中过度代表了活跃用户,而实验流量大部分来自新用户。
I segmented the results, added cold-start examples to training, and introduced a simpler fallback ranker.
我对结果进行了分群,向训练数据中加入冷启动样本,并增加了更简单的兜底排序器。
New-user engagement increased by four percent without a meaningful latency increase.
新用户参与度提高了百分之四,延迟没有明显增加。
More importantly, we changed our offline evaluation to report results by user segment.
更重要的是,我们修改了离线评估方式,开始按用户群报告结果。
以上为公开学习片段。完整学习与练习功能请在 App 内查看。
下载 SayReady,练习这段对话