機器人視覺知多少

1、相機模型

2、消失點

消失點是相片中特有的。此點在相片中不直接存在，在現實中直接不存在。由于射影變換，相片中原本平行的線會有相交的趨勢。如果求的平行直線在圖像中的交點，則該點對應現實中無窮遠處的一點。該點的圖像坐標為[X1 X1 1]。此點成為消失點。相機光心與消失點的連線指向消失點在攝像機坐標系中的方向。

2.1 位姿估計

2.2 點線對偶

3、射影變換

射影變化是空間中平面--->平面的一種變換。對齊次坐標，任意可逆矩陣H均表達了射影變換。簡而言之，可以表達為A = HB ，其中AB是[X Y 1]形式的其次坐標。射影變換的一大作用就是將某一形狀投射成其他形狀。比如，制作相片中的廣告牌，或者比賽轉播中的廣告牌，或者游泳比賽運動員到達后那個biu的一下出現的國旗。射影變換也是增強現實技術的基礎。

上回介紹了機器人視覺的一些基礎信息，說到機器人視覺的核心任務是estimation，理論框架是射影幾何理論。然而，整個estimation的首要條件是已知像素點坐標，尤其是多幅圖中對應點的像素坐標。

單幅圖像的處理方法不贅述，想講講不變點檢測與不變特征。由于機器人在不斷運動，所以可能從不同方向對同一物體進行拍攝。而拍攝的距離有遠近，角度有titled. 由于射影變換本身的性質，無法保證兩幅圖中的物體看上去一樣。所以我們需要一種特征提取方法（特征點檢測），能夠保證檢測是旋轉，縮放不變的。除此之外還要一種特征描述方法，同樣對旋轉和縮放不變。

 

1、SIFT特征提取

 

SIFT特征提取可以分為以下幾個步驟：（1）多尺度卷積；（2）構造金字塔；（3）3D非極大值抑制。

多尺度卷積的作用是構造一個由近及遠的圖像。金字塔則由下采樣進行構造。

對于不同尺度的圖像同一個像素，我們可以跟蹤它“灰度”的變化。我們發現，如果某一點對不同 sigma 的模版響應是不同的，最大響應（卷積后的灰度）所對應的scale 成為該點本征scale。這有點像對一個機械結構給不同頻率的激勵，某一頻率下會發生共振，我們可以記錄此頻率一定程度上代表了此結構（單擺頻率只和ml有關，有了f就可以重現系統）。

所以，我們只要找到一個合適的模版（激勵方式），再找到最大響應，就可以獲取圖片中各個點的 Intrinsic Scale(本征尺度)。同一物體在不同距離拍攝后，都會統一在Intrinsic Scale下進行響應。由此解決了尺度不變的問題。

3D非極大值抑制是指在某點的3*3*3鄰域內，僅取最大響應，作為特征點。由于該點是空間鄰域中響應最強的，所以該點也是旋轉不變的。從各個方向看，該點響應最強。

 

2、SIFT特征描述

 

特征提取和特征描述實際上是兩碼事。在上一節中特征提取已經結束了。假如有兩幅圖片，那么相同的特征點肯定會被找到。特征描述的作用是為匹配做準備，其以特征點局部區域信息為標準，將兩幅圖中相同的特征點聯系起來。特征的本質是一個高維向量。要求尺度不變，旋轉不變。

這里所使用的是HOG特征。特征描述可以分為兩步：（1）局部主方向確定；（2）計算梯度直方圖。

以sigma作為特征描述選擇范圍是一個合理的想法，因為sigma描述了尺度，特征點位置+尺度 = 特征點所代局部信息。在此基礎上，統計其領域內所有像素的梯度方向，以方向統計直方圖作為特征向量，至此完成HOG特征構造。重要的是，在統計方向之前，需要把圖像主方向和X軸方向對齊。示意圖如下：

圖中黃色的有點像時鐘的東西是特征點+scale，指針代表該片小圖像的主方向(PCA)。綠色的是直方圖的bin，用于計算特征向量。

最后，我們只要匹配特征向量就可以得到 圖像1 --- 圖像2 的對應點對，通過單應矩陣的計算就可以將兩幅圖拼接在一起。如果已知標定信息則可進行3D reconstruction。