Harris-sarokdetektor

Harris sarokdetektor

A sarokdetektorok általában olyan pontokat keres a képen, ahol a gradiens minden irányban nagy. A Harris sarokdetektor egy "sarkossági" értéket jelez a képen, mivel nem minden pontról lehet eldönteni, hogy valóban sarokpont-e.

Legyen $I$ képmátrix.Tekintsünk egy $E (u, v)$ itenzitásváltozási függvényt $[u, v]$ eltolással a következőképpen:

E (u, v) = \sum_{x, y} w (x, y) (I (x, y) - I (x + u, y + v))^{2},

ahol $w (x, y)$ egy ablakfüggvény $I (x + u, y + v)$ az eltolt intenzitás, $I (x, y)$ pedig a kép intenzitása az $(x, y)$ pontban.

Egy $f (x + u, y + v)$ függvényt közelíthetünk a Taylor sorfejtésével. Ebben az esetben az elsőrendű közelítést vesszük figyelembe.

I (x + u, y + v) \approx I (x, y) u I_{x} + v I_{y}

Ebből következik, hogy

\begin{matrix} \sum (I (x, y) - I (x + u, y + v))^{2} \\ \approx & \sum (I (x, y) - I (x, y) + u I_{x} + v I_{y})^{2} \\ = & \sum u^{2} I_{x}^{2} + 2 u v I_{x} I_{y} + v^{2} I_{y}^{2} \\ = & \sum [\begin{matrix} u & v \end{matrix}] [\begin{matrix} I_{x}^{2} & I_{x} I_{y} \\ I_{x} I_{y} & I_{y}^{2} \end{matrix}] [\begin{matrix} u \\ v \end{matrix}] \\ = & [\begin{matrix} u & v \end{matrix}] (\sum [\begin{matrix} I_{x}^{2} & I_{x} I_{y} \\ I_{x} I_{y} & I_{y}^{2} \end{matrix}]) [\begin{matrix} u \\ v \end{matrix}] \end{matrix}

Az $E (u, v)$ intezitásváltozási függvény tehát közelíthető az alábbi módon:

E (u, v) ≅ [\begin{matrix} u & v \end{matrix}] M [\begin{matrix} u \\ v \end{matrix}],

ahol $M$ a kép deriváltjaiból számított $2 \times 2$ -es mátrix:

M = \sum_{x, y} w (x, y) [\begin{matrix} I_{x}^{2} & I_{x} I_{y} \\ I_{x} I_{y} & I_{y}^{2} \end{matrix}]

A $w (x, y)$ egy súlyfüggvény (az egyszerűség kedvéért lehet konstans 1).

A sarkossági mérőszám

A fenti egyenletekből megkaphatjuk az $R$ sarkossági mérőszámot:

R = d e t (M) - k (t r a c e (M))^{2}

ahol

$d e t (M)$ az $M$ mátrix determinánsa, $d e t (M) = λ_{1} λ_{2}$
$t r a c e (M)$ az $M$ mátrix nyoma, $t r a c e (M) = λ_{1} + λ_{2}$
$λ_{1}$ és $λ_{2}$ pedig az $M$ mátrix sajátértékei,
$k$ egy empirikus úton meghatározott konstans érték, (k= 0.004-00.6)

Ha $| R |$ értéke kicsi, akkor ott lapos régió van, ha $R$ értéke nagy, akkor ott sarokpont található. Ha $R$ értéke negatív, akkor ott él van.

A Harris sarokdetekor algoritmusa

Számítsuk ki az $I$ kép $x$ és $y$ irányú deriváltját. Jelölje ezeket rendre $I_{x}$ és $I_{y}$ .
Számítsuk ki a deriváltak szorzatát minden $(p_{x}, p_{y})$ képpontra: $I_{x x} (p_{x}, p_{y}) = I_{x} (p_{x}, p_{y}) \cdot I_{x} (p_{x}, p_{y})$
Minden pixelre számoljuk ki a deriváltak összegét, $S_{x x}$ -t, $S_{x y}$ -t és $S_{y y}$ -t az adott eltolási környezeten belül.
Számoljuk ki minden $(x, y)$ pontra a $H (x, y)$ értékét. $H (x, y) = [\begin{matrix} S_{x x} (x, y) & S_{x y} (x, y) \\ S_{x y} (x, y) & S_{x x} (x, y) \end{matrix}]$
Számoljuk ki a sarkossági függvényt minden képpontra: $R (x, y) = d e t (H) - k (t r a c e (H))^{2}$
Küszöböljük a kapott képet valamilyen küszöbértékkel.

A Harris sarokdetektor használata

Az alábbi program az input képen keres jellemzőpontokat a Shi-Tomasi sarokdetektorral. A képet a notebook-fájl mellé érdemes elhelyezni, vagy át kell írni az elérési útvonalat.

A lépések a következők:

Megnyitjuk a képet.
Az RGB színes képet szürkeárnyalatosság konvertáljuk és a továbbiakban ezzel a változattal dolgozunk.
Beállítjuk a detektor paramétereit (blokkméret, apertúra mérete, a k paraméter).
Elvégezzük a sarokpont detektálást a cornerHarris() függvénynel. Az eredményt a cornerness képben kapjuk, amely a sarkossági válaszfüggvény értékeit tartalmazza.
Meghatározzuk a minimum és maximum értékeket.
Meghatározunk egy küszöbértéket.
Kirajzoljuk és kimentjük a küszöbölt sarkossági képet.

import cv2
import numpy as np
from matplotlib import pyplot as plt

SOURCE_IMAGE='lisbon1.jpg'
OUTPUT_IMAGE='harris_lisbon1.jpg'

## kép beolvasása
img = cv2.imread(SOURCE_IMAGE);

## a képet szürkeárnyalatossá konvertáljuk
gray_img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

## sarokpontok keresése Harris sarokdetektorral
## - meg kell adnunk az alábbi paramétereket:
blockSize = 2 # az ablakméret a sajátérték és sajátvektor számításhoz
apertureSize = 3 # a Sobel operátor ablakmérete
k = 0.004 # a Harris sarokdetektor paramétere (lásd a képletet a leírásban)
gray_img = np.float32(gray_img)
cornerness = cv2.cornerHarris(gray_img, blockSize, apertureSize, k)
#cornerness = cv2.normalize(cornerness,None)
cv2.imwrite('cornerness.jpg', cornerness)

## a kapott kép még csak a sarkossági válaszfüggvényt tartalmazza
## ahhoz, hogy ténylegesen sarokpontokat kapjunk küszöbölnünk kell
## kiszámoljuk a minimális és maximális sarkosságot a képen és
## határozzuk meg a küszöböt (ez képenként változhat).
minval, maxval, _, _ = cv2.minMaxLoc(cornerness)
threshold = 0.06 * maxval
print("min:" + str(minval))
print("max:" + str(maxval))
ret, corner_img = cv2.threshold(cornerness, threshold, 255, cv2.THRESH_BINARY);
cv2.imwrite(OUTPUT_IMAGE, corner_img)

plt.imshow(corner_img);
plt.title(OUTPUT_IMAGE)
plt.show()

Mellékletek

Licensed under the Creative Commons Attribution Share Alike License 4.0

A sarkossági mérőszám

Visszajelzés