演讲:为延迟敏感搜索与推荐扩展 LLM 排序系统
Sundara Raman Ramachandran 分享了 LinkedIn 如何在严格的 P99 延迟 SLA 下将 LLM 排序投入生产。他讨论了把 7B 模型蒸馏到 400M 参数、将职位上下文压缩为单 Token 嵌入……
原文为英文,标题与摘要由机器翻译,完整内容请阅读原文。
本文为自动采集的摘要速览
全文正在由采集器补抓,稍后刷新本页即可看到完整译文;也可先前往来源站点阅读原文。
本文由采集器自动同步
阅读原文 ↗
原文发布于 InfoQ(Presentation: Scaling LLM-Based Ranking Systems for Latency-Critical Search & Recommendation Workloads),标题、摘要与正文由机器翻译,术语按行业惯例统一,未经人工逐句校订。