SayReady
返回场景库

AI工程师英文面试:离线指标提升但线上没效果怎么讲

技术面试需要解释离线收益未转化为线上收益的原因,以及如何验证修复效果。

怎么说更清楚

  1. 先交代离线指标提升但线上参与度几乎未变,再核对分流、埋点、模型版本和服务配置。
  2. 指出训练数据偏向活跃用户、线上却多为新用户,按人群分析后补充冷启动样本和兜底排序器。
  3. 用较小流量重试并监测延迟,报告新用户参与度提升的场景结果,最后说明离线评估改为按人群报告。

不要把离线NDCG提升直接等同线上参与度提升;二者指标和用户分布不同,示例百分比也不能当作自己的项目成绩。

重点表达

serving configuration:服务配置

cold-start examples:冷启动样本

results by user segment:按用户分群的结果

对话片段

Adrian

I verified the experiment assignment, event tracking, model version, and serving configuration.

我核对了实验分流、事件埋点、模型版本和服务配置。

Adrian

The training data overrepresented active users, while most experiment traffic came from new users.

训练数据中过度代表了活跃用户,而实验流量大部分来自新用户。

Adrian

I segmented the results, added cold-start examples to training, and introduced a simpler fallback ranker.

我对结果进行了分群,向训练数据中加入冷启动样本,并增加了更简单的兜底排序器。

Adrian

New-user engagement increased by four percent without a meaningful latency increase.

新用户参与度提高了百分之四,延迟没有明显增加。

Adrian

More importantly, we changed our offline evaluation to report results by user segment.

更重要的是,我们修改了离线评估方式,开始按用户群报告结果。

以上为公开学习片段。完整学习与练习功能请在 App 内查看。

下载 SayReady,练习这段对话

接着练习