近一段時間，我常常會看到關於機器人觸覺感知相關的話題，“視觸覺感測器（Vision-Based Tactile Sensor，VBTS）”這個聽起來很迷惑的名詞出鏡率尤其高。我也一直在思考一個問題，對於通用操作機器人來說，觸覺到底是不是一個必需的模態？沒有觸覺，單靠視覺，是否足以讓機器人完成特定的通用操作？
人類對世界的感知有六個維度，眼耳鼻舌身意，對應視覺、聽覺、嗅覺、味覺、觸覺、意識。我們假設機器人進化的終極能量來源還是電力，而不是食物，那麼味覺和嗅覺對機器人來說似乎沒什麼用。剩下四個維度，視覺、聽覺、觸覺和意識在機器人領域的進展分別是什麼樣子？
視覺，硬體以攝像頭為主，融合雷射雷達等感測器，過去幾年自動駕駛和服務機器人的發展讓視覺演算法有很大發展；聽覺，硬體以手機和智慧音箱聽筒和麥克風器件為主，近些年語音識別的演算法也相對成熟；意識，ChatGPT的出現讓人們相信，也許AI很快會擁有自我意識。那麼觸覺呢，相比之下，不管是硬體還是演算法目前都非常不成熟。
儘管近些年，學術界也有很多paper證明，加入觸覺感知，機器人操作物體的準確性可以提高，但觸覺感知依然沒有完美的方案，甚至到目前為止都沒有成熟的硬體平臺。在和一些做操作相關的老師交流時，常常聽到視觸覺感測器，尤其是GelSight。這篇文章以GelSight學術進展為時間軸，呈現從提出到後面每個時期的關鍵進展。我們展示了大量的影片，以期用最直觀的方式呈現什麼是視觸覺感測器以及它能做到什麼。
-
機器人觸覺方案簡介
-
GelSight簡介
-
GelSight科研時間軸
-
GelSight產品化
-
其他VBTS相關工作
-
VBTS的機會與挑戰
1. 機器人觸覺方案簡介
觸覺感測器模仿生物的皮膚觸覺，檢測外部物理環境引起的刺激。常見的觸覺感測器型別包括壓阻式、壓電式、光學式、電容式、電磁式和視觸覺感測器。我們今天這篇文章探討的GelSight是視觸覺感測器的典型代表，所謂視觸覺感測器就是基於視覺的觸覺感測器（Vision-Based Tactile Sensor，VBTS）。
人類在操作物體的時候，手部的觸覺資訊包含兩個維度：物體本身的狀態和接觸的狀態；其中物體本身的狀態資訊包含表面紋理、物體形狀、軟硬度；接觸狀態資訊包含法向力（垂直人手皮膚）、剪下力（平行人手皮膚）、相對滑動和物體的位姿。對上述觸覺資訊，大多數觸覺感測器比如壓阻式、壓電式、電容式和電磁式大都只能感受法向力，而對其他資訊無法採集或靈敏度很低。VBTS和其他觸覺方案相比，最大的優點就是可以高靈敏地感知上述全部資訊，非常接近人手的觸覺資訊維度。
2. GelSight簡介
基於熒光點的視觸覺感測器早在2004年就由東京大學團隊提出過（GelForce），但解析度不高。GelSight是第一個超高解析度的視觸覺感測器，它於2009年由MIT計算機科學與人工智慧實驗室（CSAIL）的Edward Howard Adelson（簡稱Edward Adelson）研究小組提出。GelSight是由“Gel”和“Sight”組成，Gel（凝膠）是感測器彈性接觸表面使用的材料；Sight（視覺），感測機制是使用攝像頭採集視覺影像。在GelSight觸覺感測器接觸物體時，內建的攝像頭在LED燈光的輔助下捕捉接觸物體的凝膠產生的形變，透過計算機視覺的演算法將凝膠形變資訊與觸覺資訊進行對映。
GelSight觸覺感測器結構 （GelSight 2017論文）
從2009年提出至今，Edward Adelson的小組經歷了幾代人持續十幾年的努力，將視觸感測器推到了機器人觸覺感知領域的最前沿，獲得了全球頂尖高校和科研機構的認可和跟隨，AI機器人領域的頂級高校MIT、Stanford、CMU、UCB、UIUC、ETH、牛津、清華、北大、上交、港科大、中科院等高校以及Meta、TRI（豐田）等大企業都推出過基於GelSight的各項工作。近些年，基於GelSight的論文也常常獲得機器人領域頂會RSS、ICRA、IROS的Best Paper。接下來就讓我們進入GelSight的歷史長河，回顧它從誕生至今15年所經歷的重要時刻。
3. GelSight科研時間軸
GelSight提出——GelSight @ MIT 2009
提到GelSight視觸覺感測器，就繞不開他的發明人MIT教授Edward Adelson。Edward Adelson是一位美國神經科學家，目前是麻省理工學院John and Dorothy Wilson視覺科學教授，同時也美國國家科學院和美國藝術與科學學院的兩院院士。他近些年的研究重點是機器人的人工觸覺感知，他於2009年在CVPR首次提出GelSight視觸覺感知技術（Micah Johnson and Edward Adelson, 2009）。
Edward Adelson 2009年的工作最初只是用於物體表面微觀結構的觀測，和機器人的觸覺感知並沒有關係。2009年的GelSight感測器由透明彈性體（一種凝膠狀材料）和塗有顏色的外皮組成，可以測量觸碰其表面的物體的紋理和幾何形狀。從背後觀察，被按壓到感測器上的物體呈現為一個具有均勻反射度的陰影表面。這些特性允許對物體表面進行三維重建。
Source：Micah Johnson et al. 2009
GelSight @ MIT 2011
在2011年SIGGRAPH，Edward Adelson和團隊對GelSight做了進一步最佳化，提出了一個用於捕捉微觀表面幾何的系統，將2009年的工作擴充套件到微觀領域，展示了小至 2 微米的空間解析度（Micah Johnson et al.and Edward Adelson, 2011）。該系統不受被測表面的光學特性的影響 – 無論物體是啞光的、光亮的還是透明的，它都能捕捉相同的幾何形狀。此外，硬體設計支援多種形式，包括手持裝置，可用於在現場捕捉高解析度表面幾何。相較於 Johnson 和 Adelson 2009年提出的原始感測器，2011年的工作改進了感測器材料、照明設計和重建演算法，也提出了在表面缺陷檢測方面的應用可能。但至此，GelSight和機器人以及觸覺依然沒有什麼關係。
GelSight進化——GelSight @ MIT 2013
在2013年的CVPR，Edward Adelson團隊首次將GelSight與機器人觸覺感知進行結合，構建了一個包含40個觸覺紋理類別的資料庫，使用了諸如織物、木材和砂紙等材料（Rui Li and Edward Adelson，2013）。這個系統可以正確分類來自該資料庫的材料，表明 GelSight 感測器可以幫助機器人進行材料識別。
GelSight採集的40個物料材質影像
GelSight @MIT 2014
在2014年IROS，Adelson團隊首次提出了使用 GelSight觸覺感測來進行機器人小零件的精確定位和操控（Rui Li et al.and Edward Adelson, 2014）。這也是全球第一個用於機器人的超高解析度（10微米級別）指尖觸覺感測器Fingertip GelSight Sensor，並首次將GelSight用於機器人插拔USB的任務，透過視覺和觸覺結合實現類人的精細操作和閉環控制。至此，以GelSight為代表的視觸覺用於機器人操作的學術研究正式拉開了帷幕。下圖可以看到10年前第一款機器人指尖感測器的結構和外觀設計和如今GelSight Mini（後文會介紹）非常類似。
Fingertip GelSight Sensor：適合機器人指尖的GelSight感測器設計和機構 （Source：Rui Li et al. 2014）
這裡值得一提的是，2009-2011年的GelSight裝置比較大（最小的也有易拉罐大小）且不夠即時，不適合用於機器人的操作。自2011年起，Adelson團隊將GelSight應用於機器人場景，在軟硬體方面進行諸多改進，使得2014年提出的GelSight指尖觸覺感測器同時具備小型化和超高解析度的特性，且具備即時測量法向力、剪下力、相對滑動等能力。
帶GelSight指尖感測器的Baxter機器人插拔USB（Source：Rui Li et al. 2014）
與基於壓電、壓阻、磁學等傳統觸覺感測器相比，GelSight指尖觸覺感測器擁有超高解析度、同時測量法向力和剪下力（很多操作需要剪下力）、軟硬度測量（可用於抓取柔性物體），且不受環境磁場和溫溼度影響。因此，用同一套GelSight軟硬體，可以用於自適應抓取不同硬度、大小、形狀的物體，如雞蛋、薯片、草莓，甚至是樹葉（見以下影片），可以根據多維力資訊形成閉環控制，非常類似於人類操作物體的方式。這些效能對於通用機器人的通用和泛化操作顯得尤為重要。
GelSight @MIT 2015
在2015年ICRA，Adelson團隊首次在GelSight 指尖觸覺感測器系統中引入marker點來測量接觸表面剪下力、相對滑動和扭轉負荷（Wenzhen Yuanet al. and Edward Adelson, 2015）。至此，同時測量接觸表面的法向力、剪下力和相對滑動，作為GelSight在機器人觸覺領域應用最大的特性之一被普遍認知。可以參看2015年這篇工作的演示影片。
GelSight加速進化——GelSight @MIT 2017
2017年發表在Sensors的一篇論文GelSight: High-Resolution Robot Tactile Sensors for Estimating Geometry and Force可以說對GelSight在機器人領域的應用有極大的推動作用（Wenzhen Yuan et al, 2017）。這篇論文回顧了GelSight的發展，重點介紹了感測原理，感測器設計，光學系統的設計，形狀、力和滑動測量的演算法，以及不同感測器版本的硬體設計和製造，並系統的總結了GelSight在機器人領域應用的軟硬體問題。透過對形狀和接觸力的高解析度測量，該感測器成功地輔助了機器人進行材料感知和識別等任務。
在2017年IROS，一款用於測量滑動的GelSight觸覺感測器被提出（Siyuan Dong et al, 2017）。2017年Sensors和2017年IROS的這兩篇論文采用的核心硬體結構設計都如下圖所示。2017年的這款硬體結構和2014年的Fingertip GelSight Sensor是之後諸多科研lab裡視觸覺感測器的參考原型。
Source：Siyuan Dong et al. 2017
2017年-2018年，Adelson團隊發表了多篇讓機器透過GelSight觸覺感測來感知物體和材料的物理特性的論文。在應用GelSight測量物體軟硬度方面也有兩個工作（Wenzhen Yuan et al. and Edward Adelson, 2017和Wenzhen Yuan and Edward Adelson, 2017），這兩項工作開創性地用GelSight指尖觸覺感測器，在不需要準確控制接觸條件或物件形狀的情況下，讓機器人可以估算接觸物體的硬度。同時用深度卷積（和遞迴）神經網路對資料進行分析，估算具有不同形狀的物體硬度。
在CVPR 2017，Edward Adelson團隊的一篇工作（Wenzhen Yuan et al,2017）使用了118個織物樣本的集合，拍攝了垂掛織物的彩色和深度影像，並使用高解析度觸覺感測器獲取了觸覺資料。然後透過同時訓練卷積神經網路（CNN）跨足三個模態來關聯視覺和觸覺的資訊。透過CNN，每個輸入，無論模態如何，都生成一個嵌入向量，記錄了織物的物理特性。透過比較嵌入向量，這個系統能夠檢視織物影像並預測其手感，反之亦然。
在上文的基礎上，Edward Adelson團隊構建了一個機器人系統，透過觸覺可以自主感知物體的屬性（Wenzhen Yuan et al, 2019）。機器人在外部Kinect感測器的引導下移動，並用GelSight觸覺感測器擠壓衣物，然後根據觸覺資料識別衣物的11種屬性。這些屬性包括物理屬性，如厚度、毛絨度、柔軟度和耐久性，以及語義屬性，如穿著季節和首選洗滌方法。作者收集了包含153件各種衣物的資料集，對觸覺資料應用了卷積神經網路（CNN）來識別衣物的屬性。
Source：Wenzhen Yuan et al. 2019
GelSlim @MIT 2018
2018年，Adelson團隊在2014年工作的基礎上對GelSight指尖感測器進一步小型化，提出了GelSlim指尖感測器。下圖左側的結構是2014年提出的GelSight指尖感測器結構，GelSlim對GelSight內部結構進行調整，將感測器厚度減薄。
Source：Siyuan Dong et al. 2018
GelSight @ MIT RSS 2020 Best Paper Finalist
Edward Adelson團隊一篇用Gelsight操作繩子的論文獲得了2020年RSS這最佳論文入圍獎（Yu She et al, 2020），作者依靠GelSight，來估計握持電纜時的姿態以及電纜滑動過程中的摩擦力。將跟隨電纜的行為分解為兩個基於觸覺的控制器：電纜握持控制器和電纜姿態控制器。
GelSight @ MIT IROS 2020 Best Paper
2020年IROS，Edward Adelson團隊和上海交通大學學者一篇Swingbot獲得最佳論文（Chen Wang et al. and Edward Adelson, 2020）。SwingBot透過手持觸覺感測器，探索物體物理特徵以實現動態擺動操縱。透過使用重力或手臂加速度來操縱物體，從而增加了質量、質心和摩擦資訊的重要性。
Source：Chen Wanget al. 2020
GelSight Wedge @ MIT 2021
2021年，Edward Adelson團隊提出了GelSight Wedge感測器（Shaoxiong Wanget al.and Edward Adelson，2021），它具有緊湊的形狀適用於機器人手指，同時實現高解析度的3D重建。
Source：Shaoxiong Wang et al. 2021
GelSlim 3.0 @ MIT 2022
在2018年GelSlim的基礎上，Alberto Rodriguez團隊進一步推出GelSlim 3.0，在更緊湊的形狀中感知高解析度、壓力和滑動。為了實現緊湊的整合，作者優化了從照明源到相機的光學路徑。
Source：GelSlim 3.0論文
GelSight Baby Fin Ray @MIT 2023
2023年，Ted Adelson團隊推出了GelSight Fin Ray，將觸覺感知整合到軟性柔順機器人中（如Fin Ray手指)。過往的GelSight手指感測器都是剛性的，外界接觸僅會引起凝膠形變而不會引起剛性手指形變。而對Fin Ray這類柔性手指，GelSight觸覺感測器的挑戰在於在柔性手指也會形變的同時測量凝膠形變。
GelSight EndoFlex @ MIT 2023
除了夾爪外，Edward Adelson團隊也推出了多指的靈巧手版本，GelSight EndoFlex是一種新穎的三指機器人手，其整個手指長度都具有高解析度的觸覺感知。手指是柔軟的，由柔軟的外殼和靈活的內骨架支撐構建而成。每個手指包含兩個攝像頭，允許沿手指的前側和側面收集觸覺資料。該夾爪可以對物體進行包圍式抓取，並在單次抓取中提取大量豐富的觸覺資料。
GelSight Svelte @ MIT 2023 IROS Best Paper
2023年，Edward Adelson團隊提出了一種曲線狀、人手指大小、單攝像頭觸覺感測器GelSight Svelte（Jialiang Zhao and Edward Adelson，2023），能夠在大範圍內進行觸覺和本體感知。GelSight Svelte利用彎曲的鏡子來實現所需的形狀和感知覆蓋範圍。本體感知資訊，如作用在手指上的總彎曲和扭矩，表現為GelSight Svelte柔軟主體上的變形，這些變形也被攝像頭捕捉到。作者訓練了一個卷積神經網路（CNN），以從捕捉到的影像中估計彎曲和扭矩。這篇文章也獲得了2023年IROS Best Paper。
基於手指形狀的視觸覺感測器GelSight Svelte，作者進一步提出了一種新型的3指2自由度觸覺機械手GelSight Svelte Hand。每個手指都配備有一個攝像頭，能夠獲取豐富的觸覺訊號，其感知區域類似於人手指的全長。GelSight Svelte Hand的每個手指都由半剛性內骨架支撐，並覆蓋有柔軟的矽膠材料，既提供了剛度又具有一定的柔韌性。
GelSight 360 @ MIT 2023
過往的GelSight觸覺感測器只能進行單側感知，Edward Adelson團隊於2023年推出了GelSight360，這是一種類似指尖的全向觸覺感測器。這個感測器引入了一種新穎的十字LED照明方案。
Source：GelSight360論文
除了Edward Adelson自己組裡關於GelSight的一系列工作，他的團隊也和其他團隊合作產生了一系列基於GelSight觸覺感知的機器人操作工作。比較有代表性的是MIT Tao Chen的兩個工作，我們在之前的文章將機器人的手牽向人類的手：靈巧操作華人論文綜述也引用過。
比如TactoFind：在視覺感知缺失、物件形狀事先未知且物件可以自由移動的場景中進行物件檢索的問題，例如從抽屜中取出物體。
Source：Tacto論文
Visual Dexterity：手中物件的重新定向
Source：Visual Dexterity論文
4. Gelsight產品化
GelSight Mini @ GelSight Inc.
GelSight這項技術很早就進行了商業化嘗試，2011年Edward Adelson教授作為聯合創始人創辦了同名公司GelSight Inc。GelSight Inc.這家公司的業務以2009年EdwardAdelson剛提出這項技術的應用領域為主，即表面檢測，簡單理解就是一個手持放大鏡或顯微鏡，可以非常清晰的看到材料表面狀況。機器人觸覺感測器的產品化是在GelSight Inc.這家公司成立的10多年後。2022年GelSight Inc.推出了GelSight Mini這個機器人觸覺感測器，售價499美元。GelSight Mini這款產品的設計和技術沿用了GelSight 2014的指尖觸覺感測器方案。
Source：GelSight Inc.官網
搭載了GelSight Mini觸覺感測器的機器人可以分辨透明瓶子裡的液體是水還是油。
Source：GelSight Inc.官網
DIGIT @ Meta & GelSight Inc
GelSight Inc.與Facebook AI Research合作，於2022年推出了一款觸覺感測器DIGIT，這是一種易於構建、可靠、低成本、緊湊、高解析度的觸覺感測器，專為機器人手持操作而設計。Digit感測器的硬體售價為300美元，系統開源。
Source：DIGIT官網
按裝了DIGIT觸覺感測器的機械手抓雞蛋更容易控制力度，不會把雞蛋跌破。
Source：DIGIT官網
5. 其他VBTS相關工作
自從2009年Edward Adelson提出GelSight以及2014年Adelson團隊將GelSight小型化並用於機器人操作，全球很多AI機器人相關的科研單位也都在進行基於視覺的觸覺感測器的研發嘗試，我們這裡也列一些有代表性的視觸覺感測器。
OmniTact @ UC Berkeley 2020
為了解決觸覺感測器表面平坦和敏感區域較小的問題，UC Berkeley Sergey Levine團隊提出了OmniTact，這是一種多方向高解析度觸覺感測器。OmniTact使用多個攝像頭，具有高解析度和多方向的能力。下圖左側是GelSight 2017的指尖觸覺感測器結構設計，右側是OmniTact觸覺感測器的結構設計。
Source：OmniTact論文
9DTact @ 清華叉院 2023
9DTact是清華叉院許華哲團隊提出的基於視覺的觸覺感測器。在功能上，9DTact基於DTact的光學原理，並經過最佳化，以實現具有增強準確性和效率的3D形狀重建。9DTact的硬體和軟體均開源。
Source：9DTact論文
Insight @ Max Planck 2022
德國馬普所提出了一種拇指大小的三維視觸覺感測器，名為Insight，它可以持續提供其整個圓錐形感知表面上的方向力分佈圖。該感測器圍繞一個內部單目攝像頭構建，只有一層彈性體覆蓋在堅固的框架上。
Source：Insight論文
ViTacTip @ Bristol 2023
ViTacTip是英國Bristol大學Nathan Lepora團隊的一款基於視覺的觸覺感測器。ViTacTip上的嵌入式仿生尖端可以放大觸控運動。所得到的觸覺影像在一個裝置內提供了視覺和觸覺資訊的自然融合。該團隊還開發了一種ViTac感測器（沒有仿生尖端）和一種TacTip感測器（沒有透明皮膚用於透明機制），用於進行比較研究。這裡值得一提的是，Nathan Lepora的仿生觸覺皮膚TacTip對觸覺的感知獲得了很多大獎，但小編此時此刻腦袋有點轉不動，關於Bristol觸覺感知的奧秘就留在以後的文章慢慢探索。
6. VBTS的機會與挑戰
觸覺作為人類與物理世界的重要感知系統，提供了獨一無二的資訊維度，甚至可以在沒有視覺資訊的情況下輔助人類生活（盲人）。以GelSight為代表的觸覺感測在測量力的維度、物體的紋理和硬度以及解析度等方面有非常強的優勢，這也給於這類感測器很高的應用天花板。此外，因為GelSight的原理也是計算機視覺，採集的是影像資訊，那麼和機器人本身的視覺資訊可以放到同一個模型中訓練，真正做到視觸融合的機器人操作控制。
但從未來廣泛應用的角度，VBTS依然面臨很多問題，比如統一的硬體平臺：需要低成本好用的統一VBTS硬體平臺，且需要搭載簡單易用的呼叫介面來降低使用門檻；觸覺資料集：作為本質是視覺資訊的VBTS，目前並沒有類似ImageNet這類觸覺影像資料集；觸覺大模型：在有了觸覺資料集之後，也需要觸覺大模型來進一步提升對物體物理層面的通用識別能力（參考了知乎水白關於GelSight的文章）；迴圈使用壽命的問題：GelSight表面的凝膠比較脆弱，用多了會發生磨損，如何提高核心器件的迴圈使用壽命也是非常重要的工程問題；算力需求：將觸覺資訊視覺化意味著需要相應的算力來進行影像處理；觸覺感知面積：VBTS的感知是基於攝像頭，感知面有限，近些年很多工作（GelSight Svelte等）都是針對提高感知面積和範圍。
GelSight的本質是影像處理，它在近些年的加速發展與深度學習的發展密不可分。但目前，VBTS的很多進展還侷限在科研領域，產業化的道路非常迫切。目前大模型的進展正加速推進機器人產業的發展。那麼回到開篇的問題，觸覺是否必要？如果必要，
哪種方案？
我對這兩個問題的回答是，對通用操作觸覺感知是必要的，但哪種觸覺方案可以被廣泛使用要看場景。短期內的通用操作大機率是特定場景某類任務的通用操作，如果放觸覺，要結合場景以及任務的需求來選擇觸覺方案。從長遠來看，要實現通用操作，那麼觸覺方案也必須統一，而視觸覺感測是我認為現有的觸覺方案裡最有潛力成為那個統一方案的，也或者有某種暫未發現的全新觸覺方案會成為最終的觸覺統一方案。通用操作以外，觸覺感測器怎麼樣拓展現有機器人的場景和能力也值得期待。
如果你是機器人領域的創業者、從業者、學者或者學生，歡迎加我微信交流！我是一個不懂就學，現學現賣的投資人，非常希望可以和更多專業人士請教，也希望能夠提早結識想創業但還在等時機的你！
References：
Retrographic sensing for the measurement of surface texture and shape
Johnson and Adelson, 2009
https://people.csail.mit.edu/kimo/publications/retrographic/
Paper：https://people.csail.mit.edu/kimo/publications/retrographic/sensor.pdf
影片：https://www.youtube.com/watch?v=aKoKVA4Vcu0
Microgeometry capture using an elastomeric sensor
Johnson et al. and Edward Adelson, 2011
https://people.csail.mit.edu/kimo/publications/microgeometry/
Paper：https://people.csail.mit.edu/kimo/publications/microgeometry/microgeometry.pdf
影片：https://www.youtube.com/watch?v=ste7l2OvVHs
Sensing and Recognizing Surface Textures Using a GelSight Sensor
Li Rui and Edward Adelson，2013
Paper：https://dspace.mit.edu/handle/1721.1/86137
Rui Li, Platt, Wenzhen Yuan et al. and Edward Adelson, 2014
Paperhttps://dspace.mit.edu/bitstream/handle/1721.1/88136/GelSight_IROS%202014_final.pdf?sequence=1&isAllowed=y
Measurement of Shear and Slip with a Gelsight Tactile Sensor
Wenzhen Yuan, Rui Li, Srinivasan and Edward Adelson, 2015
Paper：https://people.csail.mit.edu/yuan_wz/GelSight1/ICRA15_2740_FI.pdf
影片：https://www.youtube.com/watch?v=4DSilbo2B24
Gelsight: High-Resolution Robot Tactile Sensor for Estimating Geometry and Force(Sensors 2017)
Wenzhen Yuan, Siyuan Dong and Edward Adelson, 2017
Paper:https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5751610/pdf/sensors-17-02762.pdf
Improved Gelsight Tactile Sensor for measuring geometry and slip (IROS 2017)
Siyuan Dong, Wenzhen Yuan and Edward Adelson, 2017
Paper：https://arxiv.org/pdf/1708.00922.pdf
Shape-independent Hardness Estimation
Wenzhen Yuan, Chenzhuo Zhu et al. and Edward Adelson, 2017
影片：https://people.csail.mit.edu/yuan_wz/hardness-estimation.htm
Paper：https://arxiv.org/pdf/1704.03955.pdf
Estimating Object Hardness with a Gelsight Touch Sensors
Wenzhen Yuan and Edward Adelson, 2017
影片：https://people.csail.mit.edu/yuan_wz/hardness-estimation.htm
Paper：https://people.csail.mit.edu/yuan_wz/GelSight1/IROS16_1542_FI.pdf
Connecting Look and Feel
Wenzhen Yuan, Shaoxiong Wang, Siyuan Dong and Edward Adelson, 2017
Paper：https://dspace.mit.edu/handle/1721.1/137957
影片：https://people.csail.mit.edu/yuan_wz/fabric-perception.htm
Active Clothing Material Perception
Wenzhen Yuan, Yuchen Mo, Shaoxiong Wang and Edward Adelson, 2019
Paper: https://dspace.mit.edu/handle/1721.1/126688
影片：https://people.csail.mit.edu/yuan_wz/clothing-perception.htm
GelSlim
Elliott Donlon, Siyuan Dong, Melody Liu, Jianhua Li, Edward Adelson and Alberto Rodriguez, 2018
Paper：https://arxiv.org/pdf/1803.00628.pdf
Cable Manipulation with a Tactile-Reactive Gripper （RSS, 2020 Best Paper Award Finalist ）
Yu She*, Shaoxiong Wang*, Siyuan Dong*, Neha Sunil, Alberto Rodriguez and Edward Adelson, 2020
Paper：https://arxiv.org/pdf/1910.02860.pdf
影片：https://www.youtube.com/watch?v=-xKeWdrmuBc
SwingBot: Learning Physical Features from In-Hand Tactile Exploration for Dynamic Swing-up Manipulation
Chen Wang*, Shaoxiong Wang*, et al. and Edward Adelson, 2020
Project Page：http://gelsight.csail.mit.edu/swingbot/
Gelsight Wedge：Measuring High-Resolution 3D Contact Geometry with a Compact Robot Finger
Shaoxiong Wang*, Yu She*, et al. and Edward Adelson，2021
Project Page：http://gelsight.csail.mit.edu/wedge/
GelSlim 3.0: High-Resolution Measurement of Shape, Force and Slip in a Compact Tactile-Sensing Finger
Ian H. Taylor, Siyuan Dong , and Alberto Rodriguez 2022
Project Page：https://ianhtaylor.net/gelslim-30
GelSight Svelte: A Human Finger-shaped Single-camera Tactile Robot Finger with Large Sensing Coverage and Proprioceptive Sensing
Jialiang Zhao and Edward H. Adelson IROS 2023 Best Paper
Project Page：https://gelsight-svelte.alanz.info/
GelSight Svelte Hand: A Three-finger, Two-DoF, Tactile-rich, Low-cost Robot Hand for Dexterous Manipulation
Jialiang Zhao and Edward H. Adelson IROS – RoboTac 2023
Project Page：https://gelsight-svelte.alanz.info/
GelSight360: An Omnidirectional Camera-Based Tactile Sensor forDexterous Robotic Manipulation
Megha H. Tippur and Edward H. Adelson, 2023
Paper：https://arxiv.org/pdf/2304.04268.pdf
TactoFind: A Tactile Only System for Object Retrieval
S Pai, Tao Chen et al. and E Adelson, A Gupta, P Agrawal, 2023
Project Page：https://taochenshh.github.io/projects/tactofind
Visual Dexterity: In-Hand Reorientation of Novel and Complex Object Shapes
Tao Chen et al. and Edward Adelson, Pulkit Agarawal, Science Robotics 2023
Project Page：https://taochenshh.github.io/projects/visual-dexterity
OmniTact: A Multi-Directional High-Resolution Touch Sensor
Akhil et al. and Chelsea Finn，Sergey Levine，2020 ICRA
Project Page：https://bair.berkeley.edu/blog/2020/05/14/omnitact/
DIGIT
https://digit.ml/
https://pages.gelsight.com/digit-tactile-sensor
Gelsightmini @ Gelsight 2022
https://www.gelsight.com/products/
9DTact: A Compact Vision-Based Tactile Sensor for Accurate 3D Shape Reconstruction and Generalizable 6D Force Estimation
Changyi Lin et al., Xuhuazhe 2023
https://linchangyi1.github.io/9DTact
A soft thumb-sized vision-based sensor with accurate all-round force perception
Huanbo Sun et al. 2022
https://www.nature.com/articles/s42256-021-00439-3
GelSight Baby Fin Ray: A Compact, Compliant, Flexible Finger with High-Resolution Tactile Sensing
Sandra Q. Liu, Yuxiang Ma, Edward H. Adelson 2023
https://arxiv.org/abs/2303.14883
GelSight EndoFlex: A Soft Endoskeleton Hand with Continuous High-Resolution Tactile Sensing
Sandra Q. Liu, Leonardo Zamora Yañez, Edward H. Adelson，2023
https://arxiv.org/abs/2303.17935
知乎水白：https://zhuanlan.zhihu.com/p/620573836
原創不易
快來戳一下”關注“給些鼓勵吧！
歡迎“點贊”“打賞”“在看”三連！
