11-19 更新 实时
首页/ AI 大模型/ 正文

演讲:为延迟敏感搜索与推荐扩展 LLM 排序系统

AI 大模型 来源:InfoQ 2026-11-17 19:00 0 阅读 机器翻译

Sundara Raman Ramachandran 分享了 LinkedIn 如何在严格的 P99 延迟 SLA 下将 LLM 排序投入生产。他讨论了把 7B 模型蒸馏到 400M 参数、将职位上下文压缩为单 Token 嵌入……

原文为英文,标题与摘要由机器翻译,完整内容请阅读原文。

本文为自动采集的摘要速览

全文正在由采集器补抓,稍后刷新本页即可看到完整译文;也可先前往来源站点阅读原文。

本文由采集器自动同步

原文发布于 InfoQ(Presentation: Scaling LLM-Based Ranking Systems for Latency-Critical Search & Recommendation Workloads),标题、摘要与正文由机器翻译,术语按行业惯例统一,未经人工逐句校订。

阅读原文 ↗