1. 模型搜尋與建立：根據使用者自然語言描述從三維模型庫中搜索與之匹配的模型，並建立物件。例如，您可以要求在場景中生成一張現代風格的雙人床。
2. 3D物件操作：與場景中的物體進行物理互動，這可以包括拾取和移動物體，甚至是更復雜的動作序列以及多物體的聯合操作，如：更改場景中咖啡桌和杯子的相對位置。
3. 場景理解與編輯：在執行時以創造性或有用的方式修改現有場景，例如進行房間佈局或者更改各種物體的顏色以適應色盲人士等。

1. 多邊形網格 由頂點和表面組成，以緊湊的方式描述複雜的3D形狀。然而，其非結構化和不可微分的性質在將其與神經網路整合以實現端到端可微管道時提出了挑戰。為解決這一問題，一些基於梯度近似的方法只能使用手工計算的梯度，其他解決方案如可微光柵化器可能導致渲染結果不精確，如內容模糊。
2. 點雲 透過空間中的一組資料點表示3D形狀，儲存每個點在3D笛卡爾座標系中的位置。除了儲存位置外，還可以儲存其他資訊（例如顏色、法線）。基於點雲的方法以其低儲存佔用而聞名，但缺乏表面拓撲資訊。獲取點雲的典型來源包括LiDAR感測器、結構光掃描器、飛行時間相機、立體檢視和攝影測量等。
3. 體素網格 由3D空間中的單元立方體組成，類似於2D中的畫素表示。每個體素至少編碼佔用資訊（以二進位制或機率形式），但也可以編碼到表面的距離，例如簽名距離函式（SDF）或截斷簽名距離函式（TSDF）。然而，當需要高解析度細節時，記憶體佔用可能會變得過高。
4. 神經場 在3D研究社群中逐漸受到關注，與依賴幾何原語的傳統表示形式不同。神經場是一種從空間座標到場景屬性（如佔用、顏色、輻射等）的對映，與體素網格中從離散單元到該體素值的對映不同，神經場的對映是一個學習函式，通常是多層感知機（MLP）。這種方式使神經場能夠隱式地學習緊湊、連續和可微的3D形狀和場景表示。
5. 混合表示 嘗試將NeRF技術與傳統的體積基礎方法結合，促進高質量、即時渲染。例如，將體素網格或多解析度雜湊網格與神經網路結合，大大減少了NeRF的訓練和推理時間。
6. 3D高斯濺射 是點雲的一種變體，每個點包含代表該點周圍空間區域發出的輻射的額外資訊，作為各向異性3D高斯“斑點”。這些3D高斯通常從SfM點雲初始化，並使用可微渲染進行最佳化。3D高斯濺射透過利用高效的光柵化而非光線追蹤，實現了比NeRF計算量小得多的狀態-of-the-art新檢視合成。

1. 資產基本資訊：如ReferencePath，這是模型在引擎中的索引路徑，可以根據索引路徑載入對應的模型
2. 材質資訊：主要的可以動態修改的材質引數
3. 幾何資訊：頂點數、UV資訊等

1. 對於每個模型：

1. 根據UE資產生成基本資訊
2. 生成大小為640×640的縮圖
3. options：生成多視角縮圖
4. 向大模型發起請求：Message{1. 這是一個三維模型的截圖，請幫我詳細描述這個三維模型的資訊 2 Image[縮圖]}
5. 獲取大模型的返回，填充到Description欄位
6. 將模型描述資訊填充到DataTable，並匯出.csv檔案

1. 收集場景中的所有模型
2. 隱藏所有模型
3. 【for迴圈】對於每個模型

1. 設定其可見性為true
2. 根據BoundingBox計算相機位置，並移動相機到正確的位置
3. 生成640×640的縮圖
4. options：生成多視角縮圖
5. 向大模型發起請求：Message {1. 這是一個三維模型的截圖，請幫我詳細描述這個三維模型的資訊 2 Image}
6. 獲取大模型的返回，根據3D模型的UUID，填充到對應物體的Description欄位上

優勢：準確

劣勢：

1. 在場景元素眾多的情況下，這個for 迴圈可能非常大
2. 隱藏場景後，丟失場景輔助資訊，可能識別不準，比如同樣是一個杯子，如果在咖啡廳環境下，可能被認為是一個咖啡杯，如果是在酒吧環境中，可能被認為是一個酒杯。

1. 收集場景中的所有模型
2. 隱藏所有模型
3. 【for迴圈】對於每個模型

1. 設定其可見性為true
2. 根據BoundingBox計算相機位置，並移動相機到正確的位置
3. 設定該模型為選中態，為該模型生成outline
4. 生成640×640的縮圖
5. 向大模型發起請求：Message{1. 這是一個三維場景的截圖，其中關鍵物體已經被黃色框選中，請幫我詳細描述這個被黃色框選中物體的資訊 2. Image}
6. 獲取大模型的返回，獲取3D模型的UUID，根據UUID填充到對應物體的Description欄位上

優勢：

1. 準確
2. 有場景輔助資訊，增強場景整體邏輯的描述

劣勢： 

1. 在場景元素眾多的情況下，這個for 迴圈可能非常大

1. 收集場景中的所有模型
2. 【for迴圈】對於每個關鍵視角

1. 視口內的Actor（實體模型）計算其螢幕空間的mask，並在該mask上新增該Actor的唯一識別符號
2. 生成640×640的縮圖
3. options：生成多視角縮圖
4. 向大模型發起請求：Message{1. 這是一個三維場景的截圖，我使用紅色框圈了一些主要物體，請給出這些方框分別描述了什麼物體，以及對該物體進行描述，注意，如果方框記憶體在多個物體，返回的物體應該滿足以下要求：在所有存在方框內的物體，方框圈住該物體的比例佔該物體全部範圍最大。以json格式輸出其物品型別以及描述。2 Image}
5. 獲取大模型的返回，根據Key找到對應的Actor，然後將Value填充到Description欄位
6. 重複

優勢：

1. 準確
2. 有場景輔助資訊，增強場景整體邏輯的描述
3. 同一張圖批次獲取模型資訊，減少大模型呼叫次數

劣勢： 

1. 多物體可能存在遮擋情況，致使大模型判別不準

1. GatherSceneInfo：負責發起場景理解，形成場景描述檔案
2. GetObjectReferencePath：負責根據使用者的描述，去RAG應用裡搜尋三維模型庫，然後返回ReferencePath等以及其他重要資訊
3. SpawnObject：根據Referencepath生成Actor
4. MoveObject：根據輸入的Transform調整Actor的Transform

1. 在Unreal引擎內新增SpawnObject的函式，並實現生成物體的邏輯
2. 描述Function

1. 描述函式的名字、函式的描述、主要引數、主要引數的描述。

3. 將該FunctionCall註冊到大模型。
4. 模型發現需要呼叫該函式時會返回如下，解析這個命令，根據FunctionCall即可呼叫真正的Unreal函式來實現對應的功能。

1. 3D模型表示：告訴大模型如何“認識”3D模型
2. 3D場景理解：告訴大模型如何“理解”3D場景
3. 3D世界互動：透過FunctionCall的形式將LLM轉為Unreal引擎中實際可操作的函式。