阿里雲資料視覺化產品DataV的三維互動團隊近期研發了基於虛幻引擎與AIGC的中國城市三維場景的一站式生成服務，本文以建築生成為切入點，從方法論出發逐步為大家展開一個宏大的、高度智慧化的真實世界打造之旅。
各位好，我們是阿里雲資料視覺化產品DataV的三維互動團隊，近期我們研發了基於虛幻引擎與AIGC的中國城市三維場景的一站式生成服務，我們將會陸續推出數篇技術文章對此次實踐進行解析，本文是系列文章的第一篇，以建築生成為切入點，從方法論出發逐步為大家展開一個宏大的、高度智慧化的真實世界打造之旅。
隨著智慧城市產業的日漸成熟，低成本、高效率的三維城市場景構建需求日漸強烈。不同的國家/地區、不同的文化背景，往往會影響一座城市的宏觀風貌和微觀細節，這也一直是自動化三維城市場景生成面臨的挑戰；很多國外開源方案直接照搬，能滿足技術指標，卻往往不能從宏觀上找準中國城市風貌的神韻。為了能夠自動化、工程化、普適化地生成“中國城市”場景，阿里雲DataV發起了“山海計劃”；希望在尊重中國城市風貌的框架下，藉助AIGC的技術能力，為智慧城市專案提供數字化底座。
我們團隊一直在基於自身的產品體系，支援阿里雲城市大腦以及其他很多數字孿生城市的建設。隨著城市大腦的推廣和標準化，我們也產生了標準化高效供應三維城市場景的需求。於是我們總結出了這樣的一個目標，自動化、工程化、普適化地生產中國城市場景，更直觀的來說，我們最初的輸入就是我們手上的地理資訊資料，最後我們會做到立等片刻，讓地理資料變成這樣的，頗具真實感的視覺效果，並且全國大部分城市適用。
我們的技術方案是如何形成的呢？當然，現實中這個形成過程是複雜曲折的，但我們可以給出一個極簡的版本。
首先我們分析一下已有的經典技術方案，比如UE的“駭客帝國”城市示例，它主要透過程式化的instance模型放置構建城市，效果非常炸裂，但也大量依賴優秀的模型資產和美術資產。
而從我們團隊自身的稟賦出發呢，作為資料類產品的研發團隊，我們擅長和資料打交道，三維美術資產非我們所長。另外，我個人曾經是建築師，做過多年的建築引數化設計，所以我們希望在程式化幾何建模上找到解法。
於是我們看向UE新特性Dynamic-Mesh以及它的外掛GeometryScript，它的高效能動態生成能力與極強的擴充套件性給了我們啟發。當然，目前在UE中要媲美經典程式化建模還不現實，但UE有強大材質系統可以在細節上發力，減輕幾何生成方面的壓力。所以下一個問題就是材質和紋理從哪裡來？
購買商城紋理素材存在不完善或不匹配的問題，我們還是希望自力更生。所以我們又自然而然的看向了當前最大的技術趨勢之一AIGC，我們相信AI影像生成可以為我們提供了另闢蹊徑的可能性。
至此，我們的解決方案框架的主體就形成了。資料驅動，負責宏觀的城市格局；程式化生形，負責中觀的建築形體；AI生圖，負責微觀的細節質感。當然我們也瞭解，沒有絕對完美的邏輯模型，我們必須要提供人工介入調整的空間，而恰好DynamicMesh的動態調整能力完美的滿足了這一點。
現在我們再回頭看這個目標，自動化、工程化、以及剛剛根據團隊自身稟賦與業務目標推匯出來的輕資產這些特徵我們都有信心可以做到，但普適化和中國特色我們是否可以做到，這不是技術能夠回答的。所以下面我們帶著這個粗略的框架與我們的疑問進入我們的實踐的第一環節，考量資料與城市格局。
首先我們希望在宏觀上找準中國城市風貌的神韻。在我們主觀感受上，中國的城市除了部分舊區之外，往往具有規整的建築排布，和統一的色調分塊。
這個背後或許呼應著我們國家90年代左右發生的2件事。第一是頒佈了城市規劃法，我們有了法定的城市規劃。下圖是一張控制性詳細規劃圖，佔比一半以上的黃色部分就是住宅用地。
第二件事就是98房改，中國的住宅進入了樓盤開發模式，這些黃色的部分多數會被建成統一規整的住宅樓盤。由此，中國的城市化程序開始加速，城市風貌也開始變得規整。除了規整，還有一個特徵就是高聳。土地要承載湧入城市的人口就必須集約化利用，於是住宅越來越高大，中國住宅的外觀和公共建築是有很大區別的，所以這種特點在城市風貌中越來越突現。
在統一的國情與法規之下，上述一系列的變化在全國各地都在發生。所以，我們從自己的角度找到了中國城市風貌的神韻特徵，也肯定地回答了之前的“能否全國普適”與“能否具有中國特色”2個問題。並且我們明確了資料方面的策略：以“引入地塊資料”為核心進行一系列建築資料增強。
具體的資料處理技術方案，我們將在後續的文章中進行解析，敬請期待。
隨著虛幻引擎5的推出，承載其動態幾何能力的DynamicMesh逐漸走入使用者視野，基於其上的Modeling Mode（編輯器手工建模模式）、Geometry Script（程式化幾何生成外掛）展現出了非凡的引數化設計能力和高效能的Mesh操作與變動能力。我們意識到有機會在UE當中實現諸如Blender、Rhino、Revit等軟體的引數化設計能力，並在過程中深度的與UE5的引擎能力進行結合。依據過去的建築師行業經驗與引數化建模實踐積累，我們策劃並開發了多層級的幾何工具，一部分的還原了建築行業構築“計算機輔助設計”的流程，以此打造到順暢的建築邏輯模型構建技術基底。
底層計算層
在c++當中，提供了一些標準的計算幾何能力，簡單的諸如計算輪廓內角、求取輪廓重心、多種邏輯等分線條等等，複雜的諸如Mesh表面撒點、經典計算幾何演算法（Voronoi等）整合等以及對Dynamic Mesh進行底層資訊獲取和通用操作的能力，諸如查詢Mesh的拓撲資訊、獲取Mesh裸邊等等。
三維設計層
第二層是三維設計層，類似DCC軟體的基礎能力，它是以藍圖函式庫為載體，提供點線面的通用幾何處理與邏輯判斷。為此，我也引入了一些UE之外的線條操作的幾何概念，以支撐建築設計學科的一些典型思路。功能諸如：線條最近點求取，平面投影、範圍細分等等。
建築設計層
在一、二層基礎上，我們構建了第三層：建築設計層，可以一定程度上類比BIM軟體，它的主要是以DynamicMesh Actor為載體，提供引數化生成帶有建築屬性的構件的能力。
應用案例
下面我們舉兩個例子來展示多級幾何工具的逐層構建關係。
首先是凹凸形體的工具，透過線段首尾分段與線段偏移，我們構建了一個定義凹凸形體及其材質的工具，它可以大量複用在如陽臺，辦公樓轉角，主入口內凹等等，非常簡單但很通用。
第二個例子是山牆判斷，我們可以透過判斷內角度數、判斷各邊邊長來找出建築的側面，再給以不同的呈現，突出這種板式建築形體的典型特徵。
接下來我們開始基於藍圖類，嘗試完整建築邏輯模型的構建。同樣我們也介紹兩種邏輯。
以結構邏輯為導向
第一種是以建築結構為導向的思路，主要用在公共建築，它的形式語言主要遵循梁、柱、板等結構構件的邏輯。透過橫向構件、豎向構件、整體框架的自身尺寸變化、節奏變化以及組合關係變化，可以組合出海量的常見的公共建築形態。
以空間與功能佈局為導向
第二種邏輯是以空間功能佈局為導向，這種邏輯主要用於住宅，它的立面會非常直觀的對應戶型的佈局，只要我們掌握了不同房間的空間規律，就可以構建合理的住宅外立面。比如住宅建築中，不同大小的戶型對應著不同的建築面寬，也具有典型的房間排布規律，比如“客廳-次臥-主臥”，根據建築面寬去劃分出大小戶型，再劃分出下一級的房間，就可以適配不同輪廓資料的住宅建築了。
平面佈局邏輯為導向
作為主要用於中觀、宏觀尺度進行智慧應用的三維城市場景，鳥瞰視角也非常重要，為此我們也探索了一些屋頂平面佈局的邏輯模型，來豐富建築屋頂。比如基於分割演算法，對一些老舊片區的屋頂進行正交為主的區域劃分，佈局出棚屋、花池、菜園等等。最終得到這樣的具有中國特色與煙火氣的舊城風貌。這也很符合我們的一些特點，農耕文明為主，看到屋頂有種菜的就知道是中國城市。
公共建築屋頂更多的是管線與裝置，它們恰好也主要是正交形態分佈的，所以我們用了同樣的基礎工具，但不做劃分，而是模擬一些左右轉向的路徑，來形成管線走向和裝置佈局。
其他屋頂邏輯
另外還有一些常見的屋頂裝飾結構和坡屋頂，包括常見的兩面坡、四面坡。
所有相同型別的建築也會有完全不同的主色調、主材料和細節，於是我們為不同的邏輯模型建立對應的資料結構來管理和拓展風格。最後在資料的判定與驅動下，支援整個城市在視覺上達到以下兩個特性：
終於，我們的資料驅動和建築邏輯模型工作可以合流了，我們來看看把這些建築生成出來是什麼樣子。粗看覺得還行，但細看還是有很多可以找茬的地方。
建築型別資料補充判定
首先我們發現數據裡有不少建築的用地性質資訊是缺失的，程式選擇了錯誤的邏輯模型進行生成。(有的辦公樓生成成了住宅，有的住宅成了辦公樓。)
這是因為開源地塊資料沒有覆蓋所有建築輪廓，所以我們基於建築學與建築規範中的一些常識與經驗，依據我們的建築屬性集資訊，對未知用地性質的建築進行大致的歸類，把它們分到最有可能的一種用地性質型別當中。
裙樓策略
其次，紅框裡的商業綜合體，本該是裙樓與塔樓的形體關係，結果因為地理資訊資料的儲存結構原因，成了另一種奇怪的咬合關係。這個問題之前在資料處理的時候已經提到，屬於裙樓判定問題。我們依然是利用屬性集來進行判斷，找出明顯具有裙樓塔樓形體特徵的輪廓組來執行特殊的分層邏輯，使用預先計算好的整體輪廓來構成裙樓。而不滿足條件的則按原邏輯執行。
建築風格風格統一
最後，也是最明顯的問題，同一個住宅小區的色彩和風格不統一。
針對這個問題我們在資料處理階段早有準備，我們建立地塊風格表以及建築輪廓組風格表來綜合處理風格統一問題，每個新遍歷到的建築資料都會先去查詢這兩個表，找到就讀取，沒有找到就自己建立。
不同的建築邏輯模型，有不同的風格判定邏輯，但判斷的依據都是我們的建築屬性集，至於判斷的方法就是多種多樣的了，並且可以不斷迭代不斷細化的，所以這裡也就不進行展開了。做好了這些工作，我們再來生成一遍城市，問題大部分得到了解決。
邏輯問題大部分解決後，下面一個環節我們介紹一下AIGC方面的應用。AI在我們的實踐中扮演了各種各樣的角色。
基於Stable Diffusion的Control Net，我們最容易想到的是輸入一些簡單線稿，由AI產出真實影像。同時我們可以透過指令碼來定義線稿的圖形語義，包括不限於法線、接受顏色的區域、反光度等等，高效生產Tiling類的材質。
同樣的方法也可以用來生成更復雜的住宅立面貼圖,只需要畫一個大致的住宅線稿給AI，這個時候AI可以充當建築設計助理了，它會遵循我們期望的向量結構，補全了大部分的細節。
AI還可以從建築助理升級到建築師，我們可以不用動腦筋去構造一個線稿，直接文生圖，讓它去創作，它會返回更加逼真豐富的結果。
只需CV識別或簡單打標，一樣可以進行前面提到的材質生產。
當然，我們的地理資訊資料可以直接作為控制性資訊，透過ai生成地面環境貼圖，它在鳥瞰視角是足夠豐富真實的。所以這個時候AI又當起了規劃師或者景觀設計師。
並且它提供的結果不只是一種真實感，而是可能還具有一定的邏輯，比如在這裡，根據建築的佈局，AI做了一次不錯的步行道路規劃，主要的步行動線、進入建築的支路、以及與城市支路的連線處都設定得非常合理。
AI甚至某種意義上還能作為“打光師”存在，像這樣複雜的、有氛圍的夜景燈光質感可以直接透過日景貼圖輸入AI進行生成，它們可以作為一種光照貼圖非常有效的支撐夜景的打造。
結合UE的材質與藍圖系統的能力，我們可以良好的解決建築對氣候天光變化的響應，也能解決開關燈比例、亮度、色溫和隨機性等等細節問題。
另外，AI生成的夜景圖片也天然的可以良好解決室內燈光的多樣性問題，例如酒店中各個房間的不同燈光表現（大燈、夜燈、閱讀燈）體現出來的整體亮度、色溫、窗簾開關情況在AI這裡都可以產生豐富的狀態區分。
最終我們甚至沒有在場景中單獨一盞傳統意義上的燈光，僅靠建築材質自發光與道路鋪設低開銷的粒子光就可以打造出逼真的城市夜景質感，在渲染上是非常輕量級的表現。
關於輕資產與輕量級：整個探索過程我們沒有美術人員，也幾乎沒有預製模型，剛剛看到的36km2的城市，最終建築模型100M，無最佳化策略下達到2K40+幀。從研發和應用兩個角度，都是輕資產輕量級的解決方案。也是良好的數字孿生城市基座。
關於AIGC：在AI生成三維模型還沒有大規模應用的當下，我們可能需要更多思考如何去築巢引鳳，讓日趨成熟的AI生圖能夠在3D技術應用中有一定程度的落地，抓住一部分的技術紅利。
關於程式化生形：程式化生形並不新鮮，但整合在主流遊戲引擎中並逐步形成生態，這將會是一個宏大的圖景，如何各類專業領域的三維工具能力進入到遊戲引擎當中，其生產過程與生產內容也充分享受到視效、互動、敘事等利好的加持，那麼利好之處就可能非常多了，本文能展示的僅僅是冰山一角了。
八、DataV x Epic Fab：面向生態夥伴的“智慧城市”開發方案
基於DataV“山海計劃”的UE引擎外掛已經登陸Epic Fab，廣大UE引擎開發者可以透過該外掛免費體驗城市歷史悠久的廣州場景三維資產，詳細資源地址見附錄。
一個完整的智慧城市專案，除了三維城市場景，承載業務資料的資料面板也是核心功能。除了支援三維城市場景生成的“山海計劃”，DataV也為智慧城市專案提供了完整的資料看板解決方案，提供200+基礎圖表、三維/二維地圖元件，支援API、MySQL、SQL Server、Polar DB、人大金倉、達夢等30+資料來源，提供低程式碼互動編輯器，實現二三維無縫互動聯動。同時DataV也通過了中國信通院首批資料視覺化產品信創適配測試認證，為企業信創改造提供了可靠解決方案。
透過DataV與UE引擎，廣大開發者可以低成本獲得“智慧城市”開發方案，不用在三維渲染引擎、三維場景生成、資料看板開發等基礎工具平臺上耗費更多精力，將更多精力放在滿足使用者業務需求上，從而提升智慧城市專案的交付質量。
2024 Unreal Fest Shanghai分享現場演講
AI的快速發展推動了各行各業的智慧化轉型和創新，隨之而來的是對AI應用的迫切需求。本方案介紹的是使用AI設計平臺PAI-ArtLab，快速生成符合企業特定風格的Logo商標圖、設計圖、宣傳圖、海報圖等，大大節省了人力、時間成本，保證圖片生成質量且提高圖片產出效率。
點選閱讀原文檢視詳情。
