TECHNICAL DEEP DIVE

全站推广技术架构全景

推荐 × 搜索双链路技术方案干货提炼
四路召回 · 三次交互 · 精排混排公式 · 分布对齐
问溪 · 技术方案提炼
全站推广四路召回通道
推荐和搜索共享相同的四路召回架构模型,各路通道独立运作,在精排前合并去重。
1

原有 RankScore 通道

维持现状召回全站推商品,初期保留以保障大盘稳定。长期稳定后可在此通道过滤全站推商品。

自然引擎
2

RankScore 独立通道

独立 HA3 集群,底池限制为全站推商品,以同样的召回条件进行召回和粗排,保障精排 quota。

自然/推荐侧提供
3

eCPM 独立通道

广告自建引擎召回服务,仅返回候选 nid 列表,后续由 RankScore 独立通道做字段对齐与粗排打分。

广告侧提供
4

广告引擎全站推

跟随普通广告一同召回到混排阶段,不进入广告商业化率 PVR 计算。搜索场景走独立 HA3 集群。

广告引擎

Quota 分配规则

独立通道占精排阶段商品数的 20%(推荐/搜索均适用),eCPM 和 RankScore 独立通道各占约 10%。三路数据按比例去重合并:eCPM 优先级最高 > RankScore 独立 > 自然通道,合并后打 recall_src 标记(1=自然,2=RankScore,4=eCPM,累加判断来源)。

推荐侧:自然 ↔ 广告三次交互
推荐侧通过三次接口调用完成推荐与广告引擎的协作,广告引擎部署独立模块提供三次服务。
交互 A · 召回阶段

eCPM 独立通道召回

与推荐召回+粗排并行,调用广告 eCPM 独立通道召回服务获取候选集合,送入自然精排统一打分。广告侧执行推荐侧下发的场景过滤规则(曝光过滤/购买过滤/负向类目/同款过滤)。

HTTP + VIPServer + FB 首猜 timeout: 110ms ND timeout: 95ms
交互 B · 精排阶段

eCPM 预估打分

RankService 调用广告 eCPM 预估服务,对全站推商品(自然召回白名单+广告引擎召回)生成 eCPM 分数。包括广告有效性过滤、CXR 打分校准和出价计算。

HTTP POST + JSON timeout: 40ms 首猜 avg 20ms / p99 30ms
交互 C · 混排结束

计费串生成

TPP 调用广告计费服务,基于本地索引补全字段,生成广告 PV 日志(伪曝光)和计费埋点(曝光/点击)。

HTTP POST + JSON timeout: 30ms

RT 约束汇总

接口 场景 Timeout Avg / P99 目标
eCPM 召回 首猜(非0页 / 0页) 110ms / 90ms 70/110 · 50/92
eCPM 召回 ND(非0页 / 0页) 95ms / 75ms 56/94 · 44/73
eCPM 预估 首猜 40ms avg 20ms / p99 30ms
eCPM 预估 ND 40ms avg 24ms / p99 30ms
计费串 通用 30ms
搜索侧:七大组件联动
搜索链路涉及 WSearch 服务端、SP、HA3、RankService、混排、DUMP、端智能七个组件的协同改造。

WSearch 服务端

透传广告请求串给 SP;调用混排时透传全站推字段;调用计费服务下沉到服务端(30ms timeout);容灾写入时去除全站推标识降级为普通商品。

SP 调度中心

并发请求三路召回通道,按比例去重合并,打 recall_src 标记;自然通道空则中断丢弃全站推结果;RS 异常则仅用自然结果兜底。

HA3 引擎

新建独立全站推召回集群(独立 BS + HA3),每次查询 SP 发送 2 次请求(RankScore 通道 ~50ms / eCPM 通道 ~10ms),增加 User cache 降低二次访问延迟。

RankService

独立全站推 RTP 集群,分机房订阅 eCPM 服务;并行调用大模型 + eCPM 预估;eCPM RT: avg 40ms / timeout 80ms

DUMP

ODPS + Swift 接入广告品,T+1 生效 / 删除实时;dim join 主搜 dump 产出 HA3 表;is_ad=0 做 delete 处理

混排

按混排公式统一排序;计费调用下沉到 WSearch;全站推不参与商业化率控制

端智能

广告/全站推坑位不变,仅调整普通推荐顺序;端上感知全站推广告做打散控制

搜索 eCPM 通道 RT 约束

与主搜 QP + HA3 并行执行,RT 上限必须小于两者累加值。平均 RT ≤ 50ms,P99 RT ≤ 100ms,timeout = 110ms(QP avg 30ms / P99 60ms + HA3 avg 50ms / P99 100ms)。

算法核心:精排与混排公式
推荐和搜索使用统一的公式框架,通过加权系数 α 调控全站推的撬动幅度。
精排公式(精排 → 混排)
rank_score' = rank_score + α × eCPMgl
主要抓手:α_精 调控加权力度
辅助抓手:topN_精 控制单请求竞得上限(精排 quota 的 10%~30%)
截断策略:不做硬截断,超限商品不加权、恢复普通推荐分
混排公式(混排 → 曝光)
final_score = organic_score + α × eCPMqzt
+ β × eCPMord - K × I[普通广告]
α_混β 可统一(一视同仁)或差异化设置
四种卡片:普通推荐 / 推荐引擎全站推 / 广告引擎全站推 / 普通广告

混排五大原则

1

流程不变

广告引擎全站推跟随普通广告处理,推荐引擎全站推跟随普通推荐处理

2

排序分变化

统一混排分公式,全站推商品增加 α × eCPM 加权

3

计费处理

广告引擎全站推跟随广告处理,推荐引擎全站推由推荐 TPP 调用计费

4

不参与 PVR

全站推不参与商业化率控制,通过 α 系数平衡效率和交付

5

去重暂不变

推荐避让广告,首猜/购后重复率 <1%,ND 端上去重

交付稳定性:分布分位点对齐

organic_score 和 eCPM 量纲不同,直接相加会导致撬动幅度不稳定。采用分位点对齐方案:十分钟粒度统计两方累积概率分布,将 eCPM 映射到 organic_score 分布上同分位点的值,使加权后的分数具有可比性。

分位点对齐公式
organic_score' = Fo-1( Fe( eCPM ) )
Fe(x) = eCPM 累积概率分布  ·  Fo(x) = organic_score 累积概率分布
初期 eCPM 向 organic_score 对齐,长期可反向
推荐 vs 搜索:关键差异对比
两条链路共享相同的四路召回和算法框架,但在工程实现上有显著差异。
维度 推荐侧 搜索侧
独立引擎 推荐 TPP 链路调用广告 eCPM 通道 独立 HA3 集群(BS 构建 + 搜索引擎),每次 2 次请求
召回合并 各路独立进入精排,Quota 占比 20% SP 并发三路,按比例去重合并 + recall_src 标记
精排服务 RankService 调用广告 eCPM 预估(timeout 40ms) 独立 RTP 集群,分机房订阅,并行调用大模型 + eCPM(timeout 80ms)
计费调用 TPP 链路在混排结束后调用 下沉到 WSearch 服务端(商品信息补全阶段,30ms timeout)
容灾策略 AB 实验验证,独立通道可独立开关 RS 异常 → 丢弃全站推用自然兜底;eCPM/RankScore 通道可单独关闭
端智能 只调整普通推荐,全站推坑位不变,智能刷新不请求全站推服务 全站推商品当普通自然商品参与 cache/重排,端上感知后做打散控制
数据时效 ODPS + Swift,新增 T+1 生效(x2i 计算),删除实时生效 ODPS + Swift 导出 saromirror,is_ad=0 做 delete,上下架目标秒级
场景优先级 首猜 P0 / ND P0 / 购后 P1 / 好价版 P1 主搜全量接入

计费失败兜底机制

搜索侧计费服务若失败或超时,商品自动降级为普通自然商品(去除 x_qzt_ad 标识),极端情况可能出现广告预算扣完后降级。推荐侧同理,不返回 eCPM 则商品使用自然分参与精排。

商业化率控制策略

全站推前期不参与基于全局阈值 T 的商业化率控制,但需建设独立调控能力并监控 PVR 水位。后期 PVR 升高后,实验判断是通过反馈阈值 T 还是 α 系数调节。单页数量通过 max 个数控制(精排/混排各自可调)。

算法交付目标

确定性

做加权 vs 不加权的撬动幅度不低于 x%(曝光/点击/成交),精排进入混排候选数撬动 ≥ y%,全链路曝光撬动 ≥ z%

稳定性

organic_score 和 eCPM 模型切换/分数逻辑调整前后,全站推撬动幅度交付指标保持稳定,搜推内部 α 系数可近似统一

可控性

各场景场景指标损失可控(成交笔数/IPV 等),通过穿透实验逐阶段验证,全域成交归因保障计费服务调用

数据管道与日志体系
全站推商品的打标、特征同步和日志记录是保障算法迭代和问题排查的基础设施。
商品打标

全站推商品列表

ODPS 天级表(nid + is_ad)+ Swift 实时流。新增 T+1 生效(x2i 计算),删除实时生效(后向过滤 + 倒排清理 T+1)。交付 RankScore 独立通道 BE 和 RankService。

特征同步

广告 ← 推荐商品特征

广告侧同步推荐商品特征(ODPS 天级离线),用于补全 RankService 商品特征。eCPM 召回通道返回首猜/ND 场景字段并集。

日志体系

广告 PV / 曝光 / 点击

Schema 保持与普通广告一致。PV 日志在计费调用时记录,IFS(真实曝光)依赖端上上报,EURL(点击)携带计费串。ND 场景 posid 非最终展示序需注意。

搜索侧 RS 数据时效性

商品新加入全站推时:eCPM 特征实时添加(ecpm 分正常打出),ctr 特征不实时(原来不在则打 0 分)。商品下线时:eCPM 特征实时删除(ecpm 分为 0),ctr 特征不实时删除。两侧异步更新,保障实时性的同时避免模型退化。