阿里妹導讀

本文旨在透過對業務案例、prompt技巧、大模型原理等探討，讓大家能夠更好地在實際業務中應用大模型。

最佳食用順序和方法：

考慮到非技術背景的同學可能較多，以及避免先講原理再案例的枯燥，影響閱讀效果，改成了先業務案例後技術原理的順序。

如果對大模型原理和prompt技巧感興趣，或者有相關背景，可以嘗試從第三部分開始，先了解原理和技巧，再看業務中如何使用的，有助prompt技巧的理解和記憶。

本文主要分為三大部分，每個部分都會在開頭提出兩個問題，每部分的正文都是圍繞問題展開的，閱讀時牢記問題，有助於消化吸收。

一、從語義向量和業務場景瞭解模型能力和應用側重點

1.1、基於語義向量變換角度理解大模型完成任務的能力

• 語義相近的詞語，其向量在空間中距離較近。透過餘弦相似度等方法可計算向量間的語義相似度。
• 語義向量支援加減乘除等數學運算。例如"king – man + woman ≈ queen"這樣的類比推理。

1. 語義向量的對映：語義/內容理解（上下文和世界知識）、情感分析
2. 語義向量的距離計算：近義詞判斷、分類聚類
3. 語義向量的擷取：資訊抽取、實體識別
4. 語義向量的轉換：文生圖/影片（跨模態）、翻譯（跨語種）、古文&詩詞翻譯（跨文體）、風格改寫（跨文風）
5. 語義向量的縮放：文字擴充套件、概括
6. 語義向量的延伸遞進：問答（明確方向的延伸）、評價/對話（模糊方向的延伸）、推理（模糊方向的節點遞進/路徑搜尋）

從向量操作的角度理解大模型完成任務的難度：

• 向量縮放的文字擴充套件，如果需要輸出有創意的長文字，比如小說，也會因輸出過長，而導致上下文遺忘和錯誤累加，影響文字連貫性，難度非常高。但概括只需要理解大意並總結輸出，相對容易。
• 向量轉換中的跨模態，由於需要不同模型的表徵空間對齊，對資料和模型能力要求都很高，對目前的模型來說難度同樣很大。
• 向量延伸遞進中的問答，如果是簡單的知識檢索回答（不需要多步推理），對大模型的難度很小，因為很符合訓練資料和目標。

• 世界知識：世界知識是語義理解的基礎，知道不同的文字應該對映到對應的向量，意味著模型從訓練語料中學到了知識，而內化在隱藏層的神經元連線和權重。
• 上下文/小樣本學習（in-context-learnning）[2]：能夠從指令提供的小樣本中學習到專項任務下的注意力權重，效果類似於隱式微調。簡單理解：給模型打了個樣，於是模型學會了照葫蘆畫瓢。
• 指令遵循（Instruction following） [3]：語義理解+語義向量操作能力應用。模型能夠根據輸入的要求，應用相應的能力，並按要求輸出。簡單理解：模型能夠按照要求的方式和標準完成任務，給模型一個sop，它就能按sop完成任務。
• 工具使用[4]（function calling）：指令遵循的特殊形式，可以在呼叫工具的節點獲得額外資訊輸入。模型可以自主拼接引數呼叫api，並解析返回結果。目前已有視覺感知和互動的能力如computer_use[5]，模擬使用者的操作，來減少對api的入侵改造和api呼叫的知識庫構造成本。

1.2、從業務場景理解大模型應用的側重點

橫軸更偏“編碼器”部分，更多需要模型的知識和理解能力。縱軸更偏“解碼器”部分，更側重模型的生成和推理能力。

• 越通用寬泛，使用者的需求就會偏向長尾，對意圖理解的要求就越高，因此對基座模型的世界知識和語義理解能力提出更高要求。
• 越垂直冷門，行業知識和預訓練的通用知識越不相關，更需要補齊行業知識。透過cpt注入行業知識，或者透過rag掛載外部知識庫。
• 越偏向任務，對模型的推理和指令遵循能力要求越高，並且更依賴業務經驗。需要透過工作流拆解、示例、微調等方式注入業務經驗。
• 越偏向資訊，越依賴模型的語義理解、總結能力。同時需要搜尋和rag來增強資訊的時效性和準確性，rag本身的向量化檢索也是關鍵。

二、從實踐案例介紹大模型應用經驗和思考

1、實際業務中應該怎麼落地，思路和流程是什麼？

2、如果想在業務中應用大模型，怎麼找到切入點？

2.1、結合案例講解大模型的落地流程和經驗

案例1：客服機器人

目標：提高問題工單解決率和時效，提高使用者體驗。並且減少客服人工介入率，降低用工成本。

應用型別：垂直+任務

模型能力：語義理解+文字分類+指令遵循+問答總結能力

應用難度：中等

1.1、專案成果

1.2、需求拆解

1.3、落地流程

1、角色&性格設定：

2、內容分段

3、符號分隔

4、思維鏈

5、反思

6、重複

7、輸出格式

8、約束

問題回覆prompt

角色定義:作為電商行業的客服專家，您需要在嚴格的技術框架下處理複雜的業務場景，具備：- 精準的多維度資訊處理能力- 深度的電商領域專業知識- 嚴謹的業務規則執行能力- 靈活的場景應對能力- 完善的風控合規意識輸入結構:{    "user_query": {        "raw_text": string,        "query_type": string,        "business_category": string,        "priority_level": integer,        "user_segment": string    },    "user_context": {        "member_info": {            "level": string,            "points": number,            "tags": array,            "purchase_history": array        },        "current_session": {            "scenario_type": string,            "interaction_history": array        }    },    "business_data": {        "order_info": {            "order_details": object,            "payment_info": object,            "logistics_status": object,            "promotion_details": array        },        "product_info": {            "specifications": object,            "inventory_status": object,            "promotion_rules": array        },        "service_policies": {            "return_policy": object,            "warranty_terms": object,            "shipping_rules": object        }    }}處理流程 :1. 場景識別與分類Step 1: 業務場景判斷- 商品諮詢- 訂單管理- 物流配送- 退換貨服務- 賬戶會員Step 2: 複雜度評估- 單一業務場景- 跨場景組合- 特殊政策適用- 例外情況處理2. 資訊整合與分析Step 1: 使用者資訊解析- 會員身份識別- 權益等級確認- 歷史行為分析- 需求意圖理解Step 2: 業務資料處理- 訂單資訊核驗- 商品資料提取- 促銷規則解析- 政策條款匹配3. 規則執行與驗證Step 1: 業務規則校驗- 促銷規則適用性- 會員權益匹配度- 政策限制核查- 特殊情況確認Step 2: 安全合規檢查- 敏感資訊識別- 風險等級評估- 操作許可權驗證- 合規性稽核4. 響應生成與最佳化Step 1: 內容構建- 核心問題解答- 相關資訊補充- 操作指引說明- 溫馨提示準備Step 2: 質量最佳化- 專業性稽核- 完整性檢查- 準確性驗證- 友好度評估輸出結構 (Output Schema):{    "response": {        "main_content": {            "answer": string,            "instructions": array,            "suggestions": array        },        "additional_info": {            "related_policies": array,            "helpful_tips": array        }    },    "metadata": {        "business_scenario": string,        "applied_rules": array,        "risk_level": integer,        "processing_notes": object    }}業務場景示例：場景1：複雜訂單退款Input Context:{    "user_query": {        "raw_text": "拼團訂單不想要了能退嗎？",        "query_type": "refund_consultation",        "business_category": "order_management"    },    "business_data": {        "order_info": {            "order_type": "group_buy",            "payment_status": "paid",            "group_status": "in_progress"        }    }}Processing Steps:1. 識別訂單型別(拼團訂單)2. 檢查訂單狀態3. 應用拼團規則4. 確定退款方案5. 準備政策說明Response:{    "response": {        "main_content": {            "answer": "您好！看到您的訂單是正在進行中的拼團訂單。根據拼團規則，在拼團完成前可以申請全額退款。如果現在取消，將在1-3個工作日原路退回支付金額498元。",            "instructions": [                "點選訂單詳情頁的'申請退款'",                "選擇退款原因'拼團主動取消'",                "提交申請等待系統稽核"            ]        },        "additional_info": {            "related_policies": ["拼團訂單退款規則", "退款到賬說明"]        }    }}場景2：組合促銷諮詢Input Context:{    "user_query": {        "raw_text": "用會員券和滿減能一起嗎？",        "query_type": "promotion_inquiry",        "business_category": "pre_sale"    },    "user_context": {        "member_info": {            "level": "gold",            "available_coupons": ["member_discount_10%", "platform_100_off"]        }    }}Processing Steps:1. 檢查會員權益2. 驗證促銷規則3. 計算優惠方案4. 生成建議方案5. 準備補充說明Response:{    "response": {        "main_content": {            "answer": "您好！會員折扣券確實可以和平臺滿減活動疊加使用。以您當前購物車商品為例，建議先使用滿1000減100的平臺券，再疊加會員9折券，預計可以節省約200元。",            "suggestions": [                "下單時先選擇滿減券",                "再選擇會員折扣券",                "系統將自動計算最優惠金額"            ]        }    }}安全控制機制：1. 內容安全- 敏感資訊脫敏- 規避爭議表述- 隱私資訊保護- 合規用語檢查2. 業務安全- 許可權範圍控制- 規則衝突檢測- 異常場景識別- 升級機制觸發3. 系統安全- 資料一致性校驗- 操作合法性確認- 併發處理控制- 回滾機制保障特殊指令：1. 遇到跨場景複雜問題啟動多輪推理2. 處理異常訂單時執行額外驗證3. 遇到系統限制及時說明

思路：先構造回覆質量評估的agent，再構造智慧回覆agent，用前者對後者打分並不斷迭代提高分數。

1.4、專案展望

2.2、大模型在業務中切入點的思考

2.2.1、釘錘問題，到底用誰找誰 – 均可

2.2.2、怎麼在業務中用好大模型

大模型感覺用不好，主要是在於沒有很好地結合大模型能力，在工作流中找到合適的切入點。工作流中不同環節依賴能力不同，所有環節都給大模型做是不切實際的，但大機率有模型能力可以覆蓋的環節，這就是切入點。

所以在應用時，業務層面需要抽象，拆清楚工作流，每個環節需要什麼能力。模型知識層面，需要瞭解模型具備哪些能力，以及透過哪些方式最佳化。最終結合業務和模型，找到適合切入點。

還有一點感想，在設計大模型的工作流時，大模型很多時候是替代“人”的角色，而不是程式碼的角色。基於程式碼思維的一些設計，很多時候是“委曲求全”，並沒有真正擬合人的能力和流程。從人是怎麼完成任務的角度來設計流程和方案，或許更適合大模型。最著名的就是馬斯克說：“人開車是不需要雷射雷達的”，從而推出了全視覺方案的自動駕駛。

小結：本節透過智慧客服的案例，回答了在業務中怎麼用大模型能力和落地流程的問題。最後針對釘錘問題的探討，回答了在業務中找大模型切入點的問題。

三、詳解大模型原理、prompt技巧和調優方法

3.1、從大模型原理角度介紹prompt技巧

prompt工程[6]：本質是透過調節輸入文字序列，幫助模型在預訓練學到的巨大機率分佈空間中，尋找最優的輸出路徑。

• 從任務角度，是背景和要求表述清楚，讓模型的輸出和人對齊標準。
• 從語言角度，是表達精煉，避免歧義和上下文矛盾。
• 從模型角度，是揚長避短，增強模型的能力，規避模型的幻覺問題[7]。

3.2、詳解prompt調優流程和方法

四、總結&建議

4.1、總結回顧

本文從大模型能力和應用場景開始，從向量空間角度介紹了大模型處理不同任務的能力和難度。也將模型的應用場景劃分為了四個象限（通用/垂直和資訊/任務），每個象限分別介紹了最佳化的側重點。主要是提供一種評估思路，支援模型在業務應用的前期評估。

4.2、忠告及建議

五、未來展望

5.1、大模型長期趨勢

1. 智慧度持續提升，完成任務和多模態的能力增強
2. 推理成本下降，輕量級模型效能提升

3. 基座模型能力增強，潛在應用場景增加，應用層價值增厚（網際網路是倒三角的收入結構，但生成式AI是金字塔結構）

5.2、價值鏈重塑

1. 入口遷移：網際網路平臺主要價值在於“數字化供給”和“連結使用者”，大模型在這兩方面都能發揮作用，從而增加平臺價值。但大模型獨有的語義理解+工具使用能力，可能改變使用者和平臺互動方式。使用者開始能夠對終端裝置發出指令，終端來和平臺互動完成任務。這會導致使用者和平臺的互動次數減少，流量也從泛需求為主變得更為聚焦，影響到平臺的流量池和分佈，進而對廣告為主的商業模式造成影響。
2. 潛在機會：大模型可以加強使用者被動的連結模式，當前主流的連結模式都是使用者主動觸發的，但某些場景更適合使用者被動的連結。特點是使用者需求相對固定，但空閒時間不固定，和供給高時效的場景，此時大模型可以作為代理的角色，決策是否主動推送給使用者決策，現有典型場景是rss訂閱、特價機票訂閱、活動推送等。

5.3、商業化挑戰

1. 高算力成本挑戰傳統商業模式：短期內大模型單次請求的算力成本仍較高，目前是網際網路搜尋的單次請求成本的10倍以上（來源於谷歌ceo的採訪）。而邊際成本的劇增，既可能顛覆免費+廣告模式的底層邏輯，也對網路效應形成挑戰（新增使用者的邊際成本遞減，但網路價值平方級提升）。

2. 盈利模式設計變得更為關鍵：同樣基於算力成本的增加，先燒錢再探索盈利模型的難度激增，早期的盈利模式設計更為重要。

5.4、潛在應用方向

1. C端應用：預計更多現有產品會推出大模型相關的高階付費功能
2. B端市場：B端降本增效可能是更高價值場景，如程式設計助手cursor、設計工具Adobe Firefly，以及部分重複工作的自動化
3. 智慧硬體：多模態與輕量化趨勢帶來硬體層機會（如智慧眼鏡、耳機等）

圖2:

參考文獻：

[1] Mikolov T, Sutskever I, Chen K, Corrado G, Dean J. Distributed Representations of Words and Phrases and their Compositionality[J]. arXiv preprint arXiv:1310.4546, 2013

[2] Brown T B, Mann B, Ryder N, et al. Language Models are Few-Shot Learners[J]. arXiv preprint arXiv:2005.14165, 2020.

[3] Ouyang L, Wu J, Jiang X, et al. Training language models to follow instructions with human feedback[J]. arXiv preprint arXiv:2203.02155, 2022.

[4] Schick T, Dwivedi-Yu J, Dessì R, et al. Toolformer: Language Models Can Teach Themselves to Use Tools[J]. arXiv preprint arXiv:2302.04761, 2023.

[5] Anthropic：https://www.anthropic.com/news/3-5-models-and-computer-use

[6] Liu P, Yuan W, Fu J, et al. Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm[J]. arXiv preprint arXiv:2302.11382, 2023.

[7] Liu Y, Peng S, Shen Y, et al. A Survey of Hallucination in Large Language Models[J]. arXiv preprint arXiv:2305.10724, 2023.

[8] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Advances in neural information processing systems. 2017: 5998-6008.

[9] Radford A, Wu J, Child R, et al. Language models are unsupervised multitask learners[J]. OpenAI blog, 2019, 1(8): 9.

[10] Transluce: https://transluce.org/observability-interface

[11] Lester, B., Al-Rfou, R., & Constant, N. The Power of Scale for Parameter-Efficient Prompt Tuning. arXiv preprint arXiv:2104.08691.

[12] Shin, T., Rishi, R., Dodge, J., & Van Durme, B. AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. arXiv preprint arXiv:2010.15980.

[13] Reynolds, L., & McDonell, K. (2021). Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm. arXiv preprint arXiv:2102.07350.

[14] Sun, C., Qiu, X., & Huang, X. (2021). Meta-Prompting for Simple and Effective Task-Agnostic Prompt Optimization. arXiv preprint arXiv:2106.08712.

[15] Welcome to LLMflation – LLM inference cost is going down fast：https://a16z.com/llmflation-llm-inference-cost/

[16] The Economics of Generative AI: https://apoorv03.com/p/the-economics-of-generative-ai

[17] Rizzatti, L. (2023, October 30). Parsing the mindboggling cost of ownership of generative AI. EE Times. Retrieved December 19, 2023 https://www.eetimes.com/parsing-the-mindboggling-cost-of-ownership-of-generative-ai/