Harvey：OpenAI投資的法律Copilot，最適合LLM落地的垂直行業

作者：haina

編輯：penny、Siqi

排版：Scout

“如何將 LLM 的智慧帶入專業服務場景”是市場對本輪 AI-native 應用的猜想之一。作為典型的依賴於行業 know-how 、甚至 billed with hours 的行業，法律一直是 AI 創業公司們試圖顛覆的領域，在 LLM 浪潮中也不例外。

法律行業天然和 LLM 能力適配：作為一個典型的 text-in/text-out 的場景，法律行業的資料以文字為主，並且多為絕對事實和真實案件，很適合大模型學習。此外，法律工作的強知識性和邏輯性也讓大模型能夠在更多法律工作流環節中提供價值。在 LLM 之前，Legal Tech 企業的核心商業價值在於電子簽名、合同管理這兩個環節，LLM 之後，法律領域極有可能會出現 Copilot 一樣量級的效率工具。

我們關注到 Harvey 首先因為它是 OpenAI Fund的首批投資專案之一，OpenAI 在法律領域的押注一定程度上代表了他們對 GPT-4 有機會再造法律領域的信心，Sam Altman 在一次訪談中也提到對 GPT-4 在法律場景應用的期待。其次，Harvey 的創始團隊兼具模型訓練經驗和法律行業實踐，這樣的組合可以說是新興技術改造專業服務領域的創業團隊的理想畫像。

目前 Harvey 的產品尚未開始公開銷售，其披露的標杆客戶包括 Allen & Overy 及普華永道，根據其新一輪投資方紅杉的公開資訊，目前有 1.5 萬家律師事務所正在排隊使用 Harvey。

不過，因為資料隱私及 LLM 的“幻覺”問題，Harvey 目前尚未真正在實際用例中進入到直面客戶的法律服務中，更多被運營於合同起草、法律研究等一般性環節中。律師事務所及企業對生成性人工智慧的使用仍採取謹慎態度。

考慮到法律服務的特殊性，LLM 在法律行業的滲透會是一個伴隨 LLM 能力提升、“幻覺”及“資料隱私”問題解決的緩慢而漸進的過程。同時，大模型訓練能力、行業專業資料庫、深入大客戶工作流，是成就法律 LLM 公司的三要素，能夠同時滿足的公司將佔據競爭優勢。

基於這一前提，法律行業巨頭與 LLM 法律創業公司的繫結格局已經初步顯現，LLM 創業公司是為了獲得專業資料和客戶資源，大型機構則是為了適應技術發展保持領先地位：Harvey 和 Allen & Overy、普華永道等大型事務所合作，湯森路透收購釋出了 CoCounsel 的 Caestext，LexisNexis 釋出 Lexis+AI，Robin AI 則與其他兩家四大審計公司達成合作。

以下為本文目錄，建議結合要點進行針對性閱讀。

👇

01 Harvey 背後的市場機會

02 法律 LLM Landscaping

03 Harvey：LLM 如何再造法律服務

04 Harvey 的面臨的挑戰

05 結論

06 附錄

01.

Harvey

背後的市場機會

Legal Tech Landscape

根據服務物件劃分，Legal Tech 的種類可以分為 ToL 服務律師事務所、ToB 服務企業法務部門及 ToC 服務消費者。但值得注意的是，無論是 ToL 還是 ToB，企業才是最終付費方。即便產品的客戶是律師事務所，由於律師事務所是為企業服務的，律師事務所會把 Legal Tech 工具轉交給客戶報銷。

具體到工作場景，傳統 Legal Tech 多是廣義上的案件管理平臺或點解決方案，執行的只是檔案資源管理等 ERP 功能。新一代 Legal Tech 引入 NLP 等新技術，可以拆分為法律研究、eDiscovery、合同管理、檔案管理、檔案分析自動化及面向 C 端消費者的訴訟融資、法律教育、技術驅動的法律服務等。根據 Legal Tech 的融資分佈和頭部上市公司所在的領域，可以看出在大模型出現前，Legal Tech 企業的核心商業價值在於電子簽名、合同管理這兩個環節。

Tracxn 2018 年報告：法律科技初創企業融資分佈

其中，電子簽名的市場已經被頭號玩家 DocuSign 所壟斷，佔據超七成市場份額。合同及檔案管理領域，則出現了 CS Disco、Ironclad、Evisort 等獨角獸，且服務物件均為企業法務。

💡

DocuSign 成立於 2003 年，成功原因是選擇以 API 的方式開啟市場，將簽名功能嵌入各大成熟的軟體應用中。2005 年，與專注房地產行業的電子簽名中介商 ZipLogix 成為合作伙伴，開始佔領房屋出租賃、出售市場；2010 年，Apple 整合了 DocuSign 的電子簽名服務，用於蘋果商店等線上交易的簽名認證；2012 年，與 PayPal、Salesforce、Google 達成合作。DocuSign 以電子籤為入口，搭建了平臺化的產品矩陣，包括合同生命週期管理、合同審查、遠端公證等產品。

不過，如果和其他企業主要職能領域相比，在 Legal Tech 領域，除了電子籤頭號玩家 DocuSign 外，尚沒有誕生其他數十億美元收入量級的企業級軟體公司。

其中的原因可能包括：

1. 法律行業雖然工作流定義明確且價值高，但對準確性及資料質量要求也很高，不同法律領域知識細分，很難做出行業的通用工具。

2. 受傳統規則和商業模式約束更大，採用新技術和工具的速度很慢。

所以 Legal Tech 領域的公司多專注於法律領域的部分人群（如企業法務、律師）或工作的某些環節（如只專注合同管理、檔案檢索），沒有出現行業通用工具，使用者總體量小；Word 和 Email 仍是法律團隊的主要工作軟體。

LLM 帶來了市場新動能

使用 AI 來為法律行業降本增效的探索一直在持續，主要原因是培養、僱傭律師的成本都非常高。LLM 出現前的法律 AI （以 NLP 為主）主要運用於合同管理、訴訟預測、法律研究等領域。比較出圈的工具如以 IBM Watson 設計的線上研究工具為基礎的第一個機器人律師 ROSS Intelligence，可以在一分鐘內翻閱超過一百萬頁的法律檔案。但這些工具以資訊檢索為主，很難對資訊進行深度的處理與分析。

💡

十多年前律師曾因 AI 被宣傳為瀕臨滅絕的職業。2011 年，《紐約時報》一篇文章稱："昂貴的律師大軍，被更便宜的 AI 軟體所取代"。但後續發展證明了 AI 並非替代工具，而是提高了律師的工作效率，如搜尋法律檔案以獲得有用資訊。這帶來了更多的業務需求，法律行業就業增長速度超過了美國整體勞動力。

LLM 的出現極大提高了 AI 的智慧水平，更重要的是，法律行業適配大模型的能力。這可以從資料、工作邏輯兩個維度來看：

• 資料維度：

法律場景是一個典型的 text-in/text-out 的場景，資料以文字為主，多為絕對事實和真實案件，沒有模稜兩可的主觀判斷和情感色彩，很適合大模型學習；

• 工作邏輯維度：

無論是美國判例法還是中國成文法，法律工作內容都有非常強的知識性、邏輯性，所以大模型適合解決法律文書稽核、案件檢索、法律諮詢等工作。不過不同法律體系結合大模型的方式和場景有一些區別，例如在中國，利用大模型做法律諮詢一般需要先援引法條。

這對於法律 AI 軟體能力有兩方面的提升：

1. 深化法律 AI 在原有的合同管理、訴訟預測、法律研究等領域的功能。以法律研究為例，NLP 法律 AI 時期，以搜尋關鍵詞和初步分析為主，比如對應某句話出自哪條法律；但是 LLM 可以啟用對話式的搜尋方式，並且可以對研究內容進行總結提煉，回答細節問題。

2. 從“提取”到 “生成”，生成能力可以應用於起草法律合同、為法官提供判決建議等。

左圖，2022 年 12 月，研究員測試 ChatGPT（GPT 3.5）使其成功的通過了法律考試。右圖，GPT4 擊敗了 90% 參加律師資格考試的人類（Casetext 贊助）。

最直接的影響體現在提升效率：

1. 工作內容方面：

LLM 協助律師查詢法條及案例，起草、稽核合同，使律師專注制定核心方案策略。如人工稽核法律合同錯誤率高、消耗時間多、會存在主觀偏見；LLM 可以幫助律師減少重複工作，透過輸入資料保證知識的即時更新，減少主觀偏見。

2. 人員方面：

減少了對初級律師的需求。緩解較小的律師事務所和獨立執業者人手短缺問題，更有效地與規模更大的律師事務所競爭；法律援助律師和公設辯護人也能夠更好開展工作。

OpenAI 的 ChatGPT “橫空出世”為法律從業者帶來了一定的心理轉變。但目前律師事務所對生成性人工智慧仍保持謹慎態度，主要擔憂在於準確性及隱私問題。2023 年 3 月底湯森路透的調查發現，雖然 51% 的法律從業者認為 ChatGPT 等 Gen-AI 應該應用於法律，但僅有 3% 已經在工作中使用，2% 正計劃使用，34% 處於考慮階段，其餘 60% 表示沒有使用計劃。15% 表示公司禁止在工作中使用 ChatGPT 等工具。

*受訪者包括分佈在美國、英國和加拿大的 443 名律師事務所專業人士。

“計時收費” 商業模式被衝擊

企業是法律服務的最終付費方，企業預算直接決定律所營收。

近年來，許多大公司試圖改變律師收費模式，透過按專案收費，而非“計時收費”來減少法律成本，費用稽核也越發嚴格。法律基層員工工資不斷上漲加上客戶持續降低法律預算，

律所依靠支付給律師的工資<企業支付給律師事務所的報酬所產生的規模效應慢慢不再成立，客戶和市場倒逼律師事務所採用技術提高效率。

💡

英國法律學者 Richard Susskind 認為，律師事務所透過 "擁有年輕的律師大軍”而獲利，因為他們向這些律師支付的工資低於他們向客戶收取的費用。

LLM 對於按時計費的商業模式也會產生進一步的瓦解作用。

• 從客戶角度考慮，當客戶意識到 AI 的能力，有可能不再認可傳統的付費模式和需要工作時長；也可能會自己購買軟體，減少對外部法律服務的依賴。

• 從律師角度考慮，AI 的高效會使得律師的計費時間減少，促使律師事務所改變收費模式。

不過顛覆傳統的“計時收費”模式還有一些阻礙：

• 法律知識的高度專業化加定製化服務，客戶很難客觀判斷服務質量，定價以律師聲譽及成功案例為導向，以律師為中心的模式使效率工具的推廣受到阻礙。

• 大型律師事務所建立在合夥人分享利潤的所有權結構上。說服合夥人將這些錢中的一部分投資於新技術很困難，因為大部分合夥人接近職業生涯終點，採納新技術的動力不強。

• 在美國，大多數商業交易都要透過律師完成。計時收費而非按交易是否完成或額度大小收費，可以減少律師為了自身經濟利益去違法犯罪的風險。

變化是不可逆的，領先變革者最先吃到時代紅利。如律師事務所 Axiom 摒棄了傳統的計時收費，採用年度或按專案收費，聲稱只有大型律所費用的 25-50%。財富 100 強公司有超過一半是 Axiom 的客戶，包括阿里巴巴，2019 年公司收入達到 3 億多美元。

💡

Axiom 由美國著名的華爾街律所達維律師事務所（Davis Polk＆Wardwell）的前律師 Mark Harris 在 2000 年創立，試圖重新書寫律所的商業模式。到 2012 年，擁有 900 名律師，卻沒有合夥人。律師多為大所的前合夥人或資深律師，及大型公司的法務總監，平均擁有十年以上工作經驗。

Axiom 提留一定比例的費用，其餘收入均歸律師個人，這一分配方式受到了大量律師的歡迎。對企業客戶而言，按需求購買臨時性律師服務，避免了固定人工成本等，也明顯降低了法律開支。

02.

法律

LLM Landscaping

法律 LLM 應用領域，目前的產品目標客戶以律師事務所為主，主打效率的提升；也有 Robin AI 自建法律團隊，採取"SaaS+"的方式面向企業客戶提供服務。

通常而言，律師的工作環節主要包括以下方面：客戶訴求的溝通與拆分、法律研究（法條檢索和判例研究）、客戶方案設計、合同、訴訟文書或其他法律檔案的處理，以及其他涉及到法律適用問題的工作。

部分 LLM 創業公司想成為律師的通用性法律助理，協助律師的所有日常工作環節；部分專注合同及法律檔案的處理這一細分環節。

*目前公司法務部門的法律 LLM 用例很少，原因可能在於處於安全考慮，企業還不能接受將自己的法務資料放入大語言模型。

目前美國約 135 萬名律師，中國約 57 萬名律師，法國約 5 萬多律師，德國約 16 萬律師，全球共約 2000 萬名律師。按照 CoCounsel Basic Research Level 的定價為 110 美元/月，ToL 的市場規模能達到約 260 億美元。

點選檢視大圖

因為

大模型訓練能力、行業專業資料庫、深入大客戶工作流這三點

是成就法律 LLM 公司的關鍵，所以從這三個方面來看，以上公司的差異如下：

• 模型層：

法律 LLM 創業公司主要直接接入 API 或 finetune 大模型，不同公司選擇了不同的供應商，Harvey、CoCounsel、Spellbook 接了 GPT4，其中 Harvey 和 CoCounsel 2022 年下半年就獲得了 GPT4 的優先使用權，Robin AI 則選擇了與 anthropic 的 claude 合作；公司多采取多個模型組合去完成不同細分任務。

• 資料層：

不同公司能獲得的優質資料不同，這對於 LLM 的表現會產生較大影響。CoCounsel 因具有 Casetext 多年的資料積累，並被湯森路透收購，可以使用其世界級法律內容庫，在資料維度具有較大優勢；Lexis AI 背靠 LexisNexis 也有類似的優勢。而 Harvey、Robin AI 等新興創業公司選擇與頭部律師事務所、四大審計公司繫結的方式獲得優質訓練資料。

• 團隊層：

公司核心團隊均有出身於頭部律師事務所的律師，但除了 Harvey 之外，絕大部分公司缺少大模型背景的創始人。

• 客戶資源層：

法律 LLM 很重要的商業邏輯是向已有客戶進行 upsale，客戶資源積累十分重要。所以相比較之下，CoCounsel、Lexis AI 在客戶端的先發優勢更大，Harvey、Robin AI 等新興創業公司則選擇與頭部審計公司、事務所繫結的方式，後續嘗試進一步服務它們的企業客戶。

CoCounsel demo

Robin AI demo –

方便合同填寫，並且可以 Ask Robin

除了 To B、To L 的產品外，目前也出現了 Donotpay 這種 ToC 場景的法律 LLM 實踐，LLM 有機會降低公眾運用法律的門檻，使人們更方便的用法律維權。比如成熟 AI 法律 Agent 直接服務 C 端使用者，諮詢婚姻、離職或者租房、租辦公室、創業等日常問題。Donotpay 在消費者維權領域做了初步嘗試，其 AI Agent 曾和通訊運營商的客服機器人直接對話，透過列舉服務問題並威脅採取法律行動，最終使客服機器人給出了網際網路賬單每月扣除 10 美元的方案。但是因為沒有專業律師的核審環節，這對準確性提出了更高的要求，相比 B 端需要更長的發展週期。

03.

Harvey：LLM 如何再造法律服務

Harvey 是 OpenAI Fund 的第一批投資標的之一，其產品定位是成為律師的通用性助理，目前已經完成了紅杉領投的 2100 萬美金 A 輪融資，最新估值為 1.5 億美元。Harvey 的發展還十分早期，但可以作為 “LLM 會如何顛覆法律服務”的一個研究切入點進行長期關注。

Harvey 的首個產品是一個在 GPT4 底座模型上加入大量法律專業資料 finetune 的 AI Chatbot，其產品形態類似 ChatGPT，它的主要能力包括：

• 法律寫作：撰寫長篇、格式化的法律檔案，幫助起草合同，撰寫客戶備忘錄，作為工作起點。

• 掌握專業法律知識，可以回答複雜的法律問題，如 “第四巡回法庭中僱員和獨立承包商之間有什麼區別？”、“租賃合同中的這個條款是否違反了加州法律？請改寫它並使其合法”等。

• 進行合同及檔案的理解與處理；

• 定製公司特有的模型：使用客戶特有工作產品和模板訓練，以嵌入工作流，類似新員工加入律師事務所時的入職培訓等。

Harvey 的第一款產品目前還在內測階段，而根據其外部招聘負責人 Brian Burns 在其 Twitter 賬號 AI Pub 上的發言，Harvey 還在秘密開發第二款產品，“比第一個產品更雄心勃勃，研發強度極高”。

AI Pub twitter

目前 Harvey GTM 的主要方式是 To L，即以大型律師事務所作為目標客戶，為律師事務所及其客戶打造個性化定製的 LLM 工具，切入法律行業高價值、高壁壘的工作流。公開披露的標杆客戶包括 Allen & Overy 及普華永道，根據 Hill 的報告，Quinn Emmanuel、O'Melveny 和其他公司已經在與 Harvey 進行演示。紅杉在官方部落格上表示，目前有 1.5 萬家律師事務所正在排隊使用 Harvey 的 AI 產品。

Harvey 和 Allen & Overy、普華永道等大型事務所密切合作，一方面可以藉助這些事務所的大客戶資源基礎實現 GTM；另一方面則是獲得優質資料集，基於事務所的實際使用實踐來共同打磨產品，使產品更為貼合目標客戶的需求。

除了獲得 OpenAI 投資支援外，Harvey 另外一個值得關注的點在於它的團隊。在這一批法律+LLM 創業公司中，Harvey 的創始團隊唯一同時擁有 LLM 技術和行業 knowhow 背景的組合：Gabriel Pereyra 做為 CEO 及創始人曾是 DeepMind、Google Brain 和 Meta AI 的研究科學家，並參與過大模型的訓練，而另外一位創始人 Winston Weinberg 則是 O'Melveny & Myers 律師事務所的證券和反壟斷訴訟律師。

此外，Harvey 的其他團隊成員均為人工智慧研究實驗室的工程師和來自頭部律師事務所的律師。這樣的組合使得團隊既擁有豐富的法律實踐經驗，同時又深入瞭解大模型的能力、知道如何訓練模型。

此外，作為 OpenAI 最早投資的大模型創業公司之一，Harvey 也在相當早期就得到了 GPT-4 的使用權，雖然從模型能力上，Harvey 和其競對都只是接了大模型 API 進行 finetune，但 Harvey 或許會因為對於大模型能力有更早、更深的瞭解以及團隊天然具備的符合法律實踐的產品視角而具備競爭優勢。

04.

Harvey 面臨的挑戰

1. 資料安全與幻覺帶來的使用者滲透阻礙

LLM 在企業級應用中遭遇的資料安全與隱私的問題同樣存在於法律領域。例如，即使是最早與 Harvey 合作的 Allen&Overy ，在 Harvey 的應用上仍處於起草、研究等一般性工作層面，並沒有在 Harvey 內輸入保密資料，更沒有將其深入其客戶服務。

💡

Harvey 與 Allen&Overy 的合作

2023 年 2 月，Harvey 簽約第一個企業客戶 Allen & Overy，主要使用 harvey 進行起草併購檔案或給客戶的備忘錄等任務。Harvey 表示，Allen & Overy 的 3500 名律師團隊的 25% 每天都會使用 Harvey，80% 每月至少使用一次。截至 6 月份，A&O 在 Harvey 中的查詢次數接近 20 萬次。

但是經歷了 3 個季度的嘗試，Harvey 在實際用例中仍處於起步階段。在 Legaltech 6 月的採訪中，A&O 全球技術聯合主管 Daren Orzechowski 表示，內部的三個用例為起草，研究，審查。對於起草和研究，Harvey 解決了 "從哪裡開始"的問題，幫助邁出第一步；而審查用例還在解決方案的探索階段。信任、安全和保密問題仍是擔憂的重點，Daren 認為 Harvey 的可靠性還沒有達到要求，A&O 規定律師只能詢問一般性問題，不可以輸入、輸出保密資訊。A&O 的客戶對 LLM 如何提供服務感到好奇，但總體上還沒有到達想把敏感資訊放進 harvey，或外包給第三方解決方案的階段。

此外，LLM 一直被詬病的幻覺問題同樣也會發生在 Harvey 。為了減輕影響，Harvey 使用大量專業資料進行微調，還做了大量資料隔離和企業的安全與合規。免責宣告表示使用應在法律專業人士的監督下進行，對生成的任何資訊進行核查。目前 Harvey 在通用法律上表現良好，但是在細分法律領域仍表現較差，更容易出現“幻覺”。

2. 來自老牌法律服務巨頭的“打壓”：

法律作為典型的專業服務領域，要在該領域進行 LLM實踐的核心或許在於更多的專業資料積累和法律工作經驗，所以，對於 Harvey 以及這一批法律 LLM 創業公司而言，來自老牌法律巨頭以及上一波 AI 軟體公司帶來的競爭不容小覷。目前，老牌法律巨頭和上一波 AI 軟體公司都在積極收購或推出自己的 LLM Chatbot，它們的競爭優勢有以下幾點：

• 老牌法律巨頭資金雄厚，可以透過收購和投資的方式，與最具競爭力的法律 LLM 公司合作：

這對於老牌法律巨頭和法律 LLM 公司來說是雙贏。如湯森路透以 6.5 億美元的現金收購了 Casetext，將 Casetext 的 AI 法律實踐經驗與湯森路透的世界級法律內容庫和行業影響力相結合，將使其 LLM 產品 CoCounsel 更具有競爭力。

此外，湯森路透還領投了合同管理平臺 Rally Legal 推出的產品 Spellbook，並計劃每年在人工智慧領域投資超過 1 億美元，在產品套件中開發自己的生成性人工智慧工具，與微軟 365 Copilot 合作為法律專業人士提供新的外掛。而普華永道同 Harvey 合作的同時也在打造自己的 LLM 工具，所以普華永道是否會持續需要 Harvey 也需要打一個問號。

💡

Harvey 與普華永道的合作

2023 年 3 月，普華永道成為 Harvey 的第二個企業客戶，簽訂了為期 12 個月的合同，旗下全球 4000 名律師會全部使用 Harvey。普華永道將與 Harvey 合作訓練自己專有的人工智慧模型，創造定製產品，包括為普華的客戶定製產品服務，簡化內部法律流程等。

同 A&O 類似，普華客戶表示有興趣瞭解生成性人工智慧的潛力，但目前並沒有公佈任何具體用例，核心擔憂點在於資料安全問題。

• 法律領域的實踐經驗更多，在訓練產品過程中能更精準定位市場和客戶需求，具有法律資料積累，更利於訓練大模型：

以 Casetext 為例，2018 年推出了專為法律從業者定製的人工智慧案例分析助理 CARA （Case Analysis Research Assistant），透過從文件中提取文字和引文來進行辯訴狀的資料探勘，截至 2020 年獲得了 5000 多家律師事務所客戶。2020 年 1 月推出了，Casetext 又基於 Transformer 的大語言模型的搜尋工具 Parallel Search，作為 Casetext 平臺上起草工具的一部分，並密切關注 OpenAI 的研究進展。

2022 年下半年，同 Harvey 一樣，Casetext 也收到了 OpenAI 試用 GPT-4 的邀請。Casetext 認為這一版模型真正開始有能力應用於法律實踐，於是便迅速開發並將產品廣泛的推向市場，不像 Harvey、Robin AI 等創業公司，2023 年 3 月釋出的 CoCounsel 無需排隊等待，可以直接使用。

💡

開發 CoCounsel 的成本很高，Casetext 建立了 AI 工程師、訴訟和交易律師團隊，花費了近 4000 個小時，根據 30000 多個法律問題對 CoCounsel 的輸出進行了 prompt engineering。部署之前，所有 CoCounsel 應用程式都進行了 beta 測試，測試人員為來自全球的頂尖律師事務所、內部法律部門和法律援助組織的 400 多名律師。團隊會記錄 CoCounsel 使用者的每一條評論建議，根據客戶需求來決定產品的更新。

資料維度，CoCounsel 還將 GPT-4 與公司自有法律資料庫相結合，分別扮演 “大腦（GPT-4）”和 “儲存器（自有資料庫）”，還與公司自研的 Parallel Search 和 AllSearc 結合，指導 GPT-4 從記憶體中檢索正確的資料，回答使用者的法律問題。

• 具有客戶群和聲譽基礎，有利於快速獲取客戶：

Casetext 的客戶包括個人和小型事務所、美國法律 100 強公司和企業內部法律部門。因為已經有客戶積累，透過 upsale，Casetext 向已有的客戶銷售 CoCounsel 並進行口碑裂變。CoCounsel 推出之前，公司擁有 10,000 名付費客戶。在 CoCounsel 推出的前 45 天，Casetext 僅自助服務產品就增加了 1000 名客戶，並有很多財富 100 強企業加入，到年中收入幾乎比 2023 年初翻了一番。CoCounsel 目前每天約處理 20 億字，客戶包括 DLA Piper、Eversheds Sutherland、Orrick， Herrington & Sutcliffe 和美國勞工和就業公司 Fisher Phillips。

3. 律師事務所及大型公司自建

資料隱私問題是大型公司的法務部門遲遲不願採用 LLM 的主要原因之一，也有一部分企業或律所可能會選擇基於開源小模型定製化的解決方案。目前法律 LLM 服務的客戶主要為律師事務所，是否選擇自建本質上是一個成本、效果、安全的權衡問題。除了前面提到的普華永道， Holland & Knight 律師事務所正在建立一個能幫助律師審查和修改信貸協議的 AI 工具。Ballard Spahr、Cozen O'Connor 律師事務所也在定製自己的 LLM。

4. 通用性 LLM 能力增強

“AGI 打敗一切”的論點始終存在，模型能力的增強會淹沒掉很多應用實踐，但這一點或許在法律等專業領域不同存在，因為法律領域資料隱私十分重要、和對專業性要求極高，所以需要法律機構的專業資料進行打磨，更重要的是，這些資料很難公開獲得。

與之對應的，國內冪律聯合智譜 AI 釋出了基於中文千億大模型的法律垂直大模型——PowerLawGLM，不僅僅對模型進行了微調，而是使用了 Continue training，在基座模型 ChatGLM 130B 上使用更多的專業資料和迭代次數做了增量訓練，加入了約 5-10%的增量語聊。這相比僅僅對基座模型進行微調能更大規模的利用法律資料，將進一步減少模型的“幻覺”問題，提高在法律領域的專業推理能力和準確性。

05.

結論

法律行業採用 LLM 的速度仍很緩慢，是伴隨著 LLM 能力的提升和”幻覺“"資料隱私”問題解決的緩慢滲透過程。正如上文所提到的，大模型訓練能力、行業專業資料庫、深入大客戶工作流，是成就法律 LLM 公司的三要素。而同時擁有大模型專業能力和最豐富的法律專業資料及客戶群的公司將佔據競爭優勢。與普華永道達成密切合作關係的 Harvey 及湯森路透 Thomson Reuters 收購的 Casetext 都值得密切關注。

法律 LLM 及 Harvey 能否成長起來有以下待解決的問題：

1. 資料隱私問題

客戶同意將隱私資料放入 LLM 是法律 AI 深度發揮作用的前提。目前的問題在於客戶擔心放入 LLM 的資料可能成為模型訓練資料的一部分，導致資料洩露。這可能違反對客戶的保密義務和個人的資料隱私權，如在歐洲可能會違反歐盟《一般資料保護條例》（GDPR）的原則。

Harvey 正在努力滿足客戶的合規需求，對使用者資料進行匿名處理，並在預定時間後刪除資料，使用者也可以根據要求隨時刪除資料。但正如上文提到的，這些措施似乎並沒有說服客戶，極少有客戶願意將隱私資料放入 Harvey 等 LLM。

💡

CoCounsel 客戶資料隱私保護解決方案：

1. CoCounsel 透過私人專用伺服器和零保留的 API 訪問 OpenAI 的 GPT4 模型。所有資料在傳輸過程中都被加密。這意味著 OpenAI 儲存任何客戶資料的時間不能超過處理請求所需的時間，並且不能檢視任何這些資料或使用它們來訓練 CoCounsel 的底層 LLM。使用者始終保留對資料的控制權，並可以在任何時候將其從平臺上完全刪除。

2. 採用複雜、多方面的安全計劃：確保 CoCounsel 符合 NIST 800-53-mid 和 NIST 網路安全框架（業內最受尊敬的兩個安全框架）。CoCounsel 安全控制符合 ISO 27001 和 SOC 2 標準（國際公認的資訊安全管理的最佳實踐）。

2. 幻覺問題

Gabriel 表示人工智慧有許多方式來防止和檢測幻覺。Harvey 針對海量法律資料集的法律用例進行了微調，與現有系統相比，大大減少了幻覺。即便如此，Harvey 還是會出錯，所以 Allen & Overy 有圍繞 Harvey 的風險管理計劃。使用者必須驗證 Harvey 中出來的一切。

💡

"幻覺” 案例：Levidow & Oberman 律師事務所的 Steven Schwartz 向美國紐約南區地方法院提交了一份由 ChatGPT 生成的備忘錄，該備忘錄包含對六個不存在的案例的引用。他的稽核方式是詢問 ChatGPT 這些案例是否是真實的，而 ChatGPT 保證 "提供的案例是真實的，可以在有信譽的法律資料庫中找到"，並提供了虛假的 URL。

目前的幻覺解決方案主要有以下兩種：

• 人類反饋強化學習”（RLHF）：

OpenAI 首席科學家 Ilya Sutskever 提出，讓模型對錯誤的輸出結果進行調整。最新的 RLHF 框架為 FINE-GRAINED RLHF（細粒度的人類反饋強化學習）。透過多種不同型別的“打分器”（reward model），對語言模型輸出的每句話進行評估，能很好地降低語言模型生成內容的錯誤率、毒性，並提升它回答問題的全面性和解析能力。但目前這種方法還是類似於透過建立“不許做什麼”準則來限制胡說八道行為，並不是從生成本身解決幻覺問題。

• 向量嵌入（vector embeddings）：

透過為大語言模型建立一個向量資料庫，把來源權威，可信的非結構化資料轉換成向量，並儲存到資料庫中，就能幫助大語言模型具有“長期記憶”，並且減少它產生“幻覺”的可能性，這可能是更靠譜的辦法。

💡

CoCounsel 就採用了向量嵌入的“幻覺”解決方案：將 GPT4 與公司專有法律資料庫相結合，該資料庫是全面、準確、最新的法律語料庫，如州和聯邦案例法、法規、條例。工程師 "指示"該平臺根據資料庫中包含的實際段落進行回答，或者根本不回答，這意味著 CoCounsel 的所有輸出都來自於法律資訊彙編，不給 CoCounsel 任何產生幻覺的機會。同時，推出 CoCounsel 以後團隊每天都進行測試，透過輸入和檢查數以千計的查詢，推出了後臺警報程式，篩選和標記潛在的不準確之處，審查並防止它們出現在終端使用者面前。

但目前仍沒有從根本上解決幻覺的方式，大語言模型的使用離不開人工的核審。

3. 資料造成的偏見及負面用例

大模型的價值取向受到訓練的資料集的影響，使用人工智慧可能會反映甚至放大司法系統資料中固有的偏見。大多數合同從未在法庭上出現過，所以它們的條款未經測試，使用這些合同訓練的人工智慧生成系統有可能同時反應錯誤和正確的工作。如 Equivant 公司開發了替代性制裁的罪犯管理分析（COMPAS），用來評估被告的累犯風險，以決定拘留、判刑或提前釋放。根據 ProPublica 的研究，這種評估工具似乎對黑人囚犯有偏見，將他們標記為比白人囚犯更有可能重新犯罪。

AI 也有可能被用來操縱或欺騙他人。例如生成虛假或誤導性的法律檔案。這需要針對 AI 的能力制定合理的監管規則。

同時，法律 LLM 還有一些值得討論的問題：

• 行業最終廣泛的解決方案為 OpenAI GPT 系列等大模型，還是開源小模型？

Harvey 採用 OpenAI GPT4 作為底座模型，但目前市場上也存在微調開源模型的解決方案。GPT4 等大模型的優勢在於模型能力顯著更強，目前開源小模型仍難以超越。不過有社群觀點認為，模型不需要絕對領先的能力，在特定任務上能力足夠即可。

開源小模型優勢在於訓練基座模型的資料量較小，在微調過程中可以較容易地透過增加法律資料的比例來提升在法律場景上的表現；同時也可以有效保護企業隱私，避免資訊洩露的風險。

開源模型的能力配上專業化資料集，在法律場景是否夠用？如果夠用，大型客戶可能會普遍選擇內部部署開源模型，Harvey 可能就會從 SaaS 產品公司轉變成模型訓練提供商。此時模型部署公司（如 cohere）也可能成為 Harvey 的潛在競爭對手。亦或者該領域會像雲平臺一樣演變，大企業最終也會接受大模型的 SaaS 服務。

• 律師的培養體系將如何演進？

如果律師事務所減少對初級律師的需求，如何培養高階律師呢？大型律師事務所培訓年輕律師的主要方式是從基礎的案頭研究做起，比如翻閱數百萬頁的檔案，找出可能存在問題的合同；對相關案例進行基礎法律研究，為資深律師準備 memo 等，這正是法律 LLM 擅長做的事情。如果初級律師不再需要做這些工作，他們如何成長為資深律師？不過， AI 也可能會促使律師事務所重新思考培養初級律師的方式。

06.

附錄

1. 融資

2. NLP 階段的法律 AI

Reference

https://www.mdpi.com/2071-1050/11/4/1015#https://www.harvey.ai/blog

https://www.legaldive.com/news/law-firms-generative-AI-ChatGPT-artificial-intelligence-thomson-reuters-institute/648075/

https://fortune.com/2023/03/07/openai-chatgpt-llms-legal-software-robot-lawyers/

https://www.wired.co.uk/article/generative-ai-is-coming-for-the-lawyers

https://clp.law.harvard.edu/knowledge-hub/magazine/issues/generative-ai-in-the-legal-profession/the-implications-of-chatgpt-for-legal-services-and-society/

https://businesslawtoday.org/2022/02/how-ai-is-reshaping-legal-profession/

https://legal.thomsonreuters.com/en/insights/articles/ai-and-its-impact-on-legal-technology

https://www.nytimes.com/2023/04/10/technology/ai-is-coming-for-lawyers-again.html

https://www.forbes.com/sites/robtoews/2019/12/19/ai-will-transform-the-field-of-law/?sh=225c72d17f01

https://medium.com/leislat-io/artificial-intelligence-robots-replacing-lawyers-592e09ba15bf

https://iacajournal.org/articles/10.36745/ijca.343

https://hbr.org/2018/02/how-ai-is-changing-contracts

https://www.nytimes.com/2023/04/10/technology/ai-is-coming-for-lawyers-again.html

https://www.pwc.com/gx/en/news-room/press-releases/2023/pwc-announces-strategic-alliance-with-harvey-positioning-pwcs-legal-business-solutions-at-the-forefront-of-legal-generative-ai.html

https://fortune.com/2023/03/01/will-artificial-intelligence-replace-lawyers-ai-harvey-aron-solomon/