
2025 年 4 月 10 – 12 日,QCon 全球軟體開發大會 將在北京盛大召開。此次大會以 “智慧融合,引領未來” 為主題,將匯聚各領域技術先鋒與創新者,共同探討行業發展新趨勢。
字節跳動 AI 應用 DevOps 平臺後端技術負責人楊晨已確認出席,並將發表題為《從原型到生產:AgentOps 加速位元組 AI 應用落地實踐》的主題分享。隨著 LLM 的發展,越來越多的業務期望結合大模型能力構建其 AI 應用以智慧化解決場景化問題。AI 應用的開發與傳統工程開發存在眾多開發正規化的變革,AI 應用落地的過程中也存在諸多挑戰。本次演講將探討位元組內應對上述挑戰的實踐,講述 AgentOps 平臺如何助力業務高效開發迭代 AI 應用。

楊晨作為字節跳動 Dev Platform 部門技術專家,AI 應用 DevOps 平臺後端技術負責人。持續關注 AI 應用開發者工具平臺的前沿動態及創新,從 0-1 落地位元組 AI 應用 DevOps 平臺,對 AI 應用落地及效果調優有深入的理解與洞見。本次會議中,他的詳細演講內容如下:
-
微服務應用架構 VS AI 應用架構
-
AI 應用開發正規化
-
AI Agent 的演進
-
基於大模型的應用開發迭代方式有何不同?如何高效開發?
-
面對大模型的不確定性,如何高效評測 AI 應用以達到上生產要求?
-
如何對大模型自主驅動的 Agent / 應用更好進行觀測、運維?
-
效果不及預期,如何進行推理結果的最佳化提升?
-
AI 應用開發的全生命週期
-
Prompt 除錯最佳化工具與實踐
-
Prompt 版本化管理與生產應用
-
評測標準與流程的建立
-
評測集與評估器
-
LLM-as-a-Judge
-
Code Evaluator
-
Human-in-the-loop
-
業務實踐
-
基於 Golden Set 的效果準出評測
-
基於線上資料迴流的線上評測
-
Tracing 資料的採集與消費
-
開箱即用的會話聚合與指標分析
-
業務實踐
-
可觀測在 Coze 和豆包上的實踐
-
在位元組內場的落地情況
-
實踐難點與經驗總結
-
AI 應用開發者的核心訴求
-
Agent 元年對 AgentOps 平臺的機會與挑戰
-
AI 應用開發的正規化不斷創新與變革,如何尋求 AgentOps 的最佳實踐
-
字節跳動 AgentOps 的全流程實踐
-
AI 應用效果評測、問題定位、效果迭代最佳化的一手經驗
-
深入理解 AI 應用開發過程中會遇到的問題及解法
-
AI 應用落地及效果調優的實踐經驗及最新認知
除此之外,本次大會還策劃了多模態大模型及應用、AI 驅動的工程生產力、面向 AI 的研發基礎設施、不被 AI 取代的工程師、大模型賦能 AIOps、雲成本最佳化、Lakehouse 架構演進、越挫越勇的大前端等專題,屆時將有來自不同行業、不同領域、不同企業的 100+ 資深專家在 QCon 北京現場帶來前沿技術洞察和一線實踐經驗。
現在報名即可以享受 9 折優惠,單張門票立省 680 元,詳情可掃碼或聯絡票務經理 18514549229 諮詢。
