從原型到生產:AgentOps加速位元組AI應用落地實踐|QCon北京

2025 年 4 月 10 – 12 日,QCon 全球軟體開發大會 將在北京盛大召開。此次大會以 “智慧融合,引領未來” 為主題,將匯聚各領域技術先鋒與創新者,共同探討行業發展新趨勢。
字節跳動 AI 應用 DevOps 平臺後端技術負責人楊晨已確認出席,並將發表題為《從原型到生產:AgentOps 加速位元組 AI 應用落地實踐》的主題分享。隨著 LLM 的發展,越來越多的業務期望結合大模型能力構建其 AI 應用以智慧化解決場景化問題。AI 應用的開發與傳統工程開發存在眾多開發正規化的變革,AI 應用落地的過程中也存在諸多挑戰。本次演講將探討位元組內應對上述挑戰的實踐,講述 AgentOps 平臺如何助力業務高效開發迭代 AI 應用。
楊晨作為字節跳動 Dev Platform 部門技術專家,AI 應用 DevOps 平臺後端技術負責人。持續關注 AI 應用開發者工具平臺的前沿動態及創新,從 0-1 落地位元組 AI 應用 DevOps 平臺,對 AI 應用落地及效果調優有深入的理解與洞見。本次會議中,他的詳細演講內容如下:
演講提綱
1. 大模型時代的應用開發正規化變革
  • 微服務應用架構 VS AI 應用架構
  • AI 應用開發正規化
  • AI Agent 的演進
2. AI 應用開發中的問題與挑戰
  • 基於大模型的應用開發迭代方式有何不同?如何高效開發?
  • 面對大模型的不確定性,如何高效評測 AI 應用以達到上生產要求?
  • 如何對大模型自主驅動的 Agent / 應用更好進行觀測、運維?
  • 效果不及預期,如何進行推理結果的最佳化提升?
3. 位元組 AgentOps 落地實踐
3.1 AgentOps 平臺的整體架構
  • AI 應用開發的全生命週期
3.2 Prompt 開發:從設計、調優到應用
  • Prompt 除錯最佳化工具與實踐
  • Prompt 版本化管理與生產應用
3.3 效果評測:AI 應用的生存之道
  • 評測標準與流程的建立
  • 評測集與評估器
    • LLM-as-a-Judge
    • Code Evaluator
    • Human-in-the-loop
  • 業務實踐
    • 基於 Golden Set 的效果準出評測
    • 基於線上資料迴流的線上評測
3.4 可觀測:洞察 AI 應用的全鏈路
  • Tracing 資料的採集與消費
  • 開箱即用的會話聚合與指標分析
  • 業務實踐
    • 可觀測在 Coze 和豆包上的實踐
3.5 資料飛輪:AI 應用效果提升的閉環
3.6 落地情況與經驗總結
  • 在位元組內場的落地情況
  • 實踐難點與經驗總結
4. 未來展望
  • AI 應用開發者的核心訴求
  • Agent 元年對 AgentOps 平臺的機會與挑戰
您認為,這樣的技術在實踐過程中有哪些痛點?
  • AI 應用開發的正規化不斷創新與變革,如何尋求 AgentOps 的最佳實踐
演講亮點
  • 字節跳動 AgentOps 的全流程實踐
  • AI 應用效果評測、問題定位、效果迭代最佳化的一手經驗
聽眾收益
  • 深入理解 AI 應用開發過程中會遇到的問題及解法
  • AI 應用落地及效果調優的實踐經驗及最新認知
除此之外,本次大會還策劃了多模態大模型及應用、AI 驅動的工程生產力、面向 AI 的研發基礎設施、不被 AI 取代的工程師、大模型賦能 AIOps、雲成本最佳化、Lakehouse 架構演進、越挫越勇的大前端等專題,屆時將有來自不同行業、不同領域、不同企業的 100+ 資深專家在 QCon 北京現場帶來前沿技術洞察和一線實踐經驗。
現在報名即可以享受 9 折優惠,單張門票立省 680 元,詳情可掃碼或聯絡票務經理 18514549229 諮詢。

相關文章