Článek vznikl jako lehce upravený překlad anglického originálu od Onuralpa Sezera. Oproti originálu je vysvětleno pár nejasností, doplněno pár drobností a použité obrázky s českými popisky.

Svět technologií se rozvíjí a nároky na počítačové vidění, umělou inteligenci a strojové učení rostou každým dnem. Co to vlastně je počítačové vidění? Jednoduše řečeno, je to technologie, která umožňuje počítačům, mobilním telefonům (ale také třeba robotům) vidět své okolí. První pokusy s počítačovým viděním se datují do 50. let minulého století a od té doby urazila tato oblast obrovský kus cesty a našla si cestu nejen do našich mobilních telefonů, ale také třeba do aut. V tomto článku si ukážeme knihovnu OpenCV - jednu z nejrozšířenějších knihoven pro počítačové vidění.

Poznámka: OpenCV existuje pro C++, Python, Javu a MATLAB. V tomto seriálu budeme používat OpenCV pro Python.

Co je to OpenCV?

 

OpenCV (Open Source Computer Vision Library) je open-source knihovna pro počítačové vidění a strojové učení. OpenCV bylo vytvořené, aby vytvářelo společnou infrastrukturu pro aplikace, které používají počítačové vidění, a aby zrychlilo použití počítačového vnímání v komerčních produktech. Obsahuje více než 2500 optimalizovaných algoritmů, zahrnujících obsáhlou sadu klasických i moderních algoritmů pro počítačové vidění a strojové učení. Tyto algoritmy mohou být použité pro rozpoznávání obličejů, identifikaci objektů, klasifikaci lidských akcí ve videu, stanovení markerů pro použití v rozšířené realitě a mnoho dalšího.

opencv.org – about

Instalace OpenCV na Fedoře

Abychom mohli začít používat OpenCV, nainstalujeme ji pomocí příkazu níže:

$ sudo dnf install opencv opencv-contrib opencv-doc python3-opencv python3-matplotlib python3-numpy

Poznámka: Pokud používáte Fedoru Silverblue, můžete buď použít Toolbox a OpenCV nainstalujete do něj pomocí příkazu výše, nebo potřebné balíky překryjete pomocí rpm-ostree install opencv opencv-doc python3-opencv python3-matplotlib python3-numpy. Autor překladu ovšem pracuje v Toolboxu na Silveblue a vše v něm testuje, vše by tedy mělo být plně funkční i bez nutnosti overlaye.

Pro jistotu si ověříme, že je OpenCV v pořádku nainstalované:

$ python
Python 3.9.6 (default, Jul 16 2021, 00:00:00)
[GCC 11.1.1 20210531 (Red Hat 11.1.1-3)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import cv2 as cv
>>> print( cv.__version__ )
4.5.2
>>> exit()

Pokud vidíte verzi OpenCV podobně jako v ukázce výše, je vše v pořádku.

Začínáme s OpenCV

Poté, co jsme úspěšně nainstalovali OpenCV, můžeme s jeho pomocí napsat náš první skript, který načte obrázek. Vytvořme tedy soubor starry_night.py a otevřeme ho v oblíbeném editoru. Do souboru vložíme následující:


import cv2 as cv
import sys
img = cv.imread(cv.samples.findFile("starry_night.jpg"))
if img is None:
 sys.exit("Could not read the image.")
cv.imshow("Display window", img)
k = cv.waitKey(0)
if k == ord("s"):
 cv.imwrite("starry_night.png", img)

Následně můžeme náš program spustit (z nově otevřeného okna se dostaneme stiskem klávesy S, při zavření okna křížkem zůstane skript běžet a je třeba ho ukončit pomocí ctrl + Z):

$ python starry_night.py

Hurá! Právě jsme otevřeli obrázek pomocí OpenCV. Co můžeme udělat dál? Třeba převést obrázek do stupňů šedi, když funkci cv.imread předáme druhý parametr cv.IMREAD_GRAYSCALE:
img = cv.imread(cv.samples.findFile("starry_night.jpg"), cv.IMREAD_GRAYSCALE)


Stejným způsobem můžeme použít celkem tři parametry:

  • cv.IMREAD_GRAYSCALE nebo 0: Načtení obrázku v odstínech šedi.
  • cv.IMREAD_COLOR nebo 1: Načtení barevného obrázku, jakákoli průhlednost ale bude odstraněna. Toto je základní mód, který se používá, pokud není mód specifikovaný.
  • cv.IMREAD_UNCHANGED nebo -1: Načtení obrázku včetně alfa kanálu (průhlednosti).

Zobrazování vlastností obrázku

Vlastnosti obrázku zahrnují rozměry (počet pixelů v jednom řádku/sloupci), počet kanálů, typ obrazových dat, počet pixelů a další. Některé z nich si níže zobrazíme. Začněme třeba rozměry obrázku a datovým typem pro ukládání hodnot kanálů:


import cv2 as cv
img = cv.imread(cv.samples.findFile("starry_night.jpg"))
print("Image size is", img.shape)
print("Data type of image is", img.dtype)


Image size is (600, 752, 3)
Data type of image is uint8

Kromě jiného si můžeme třeba zobrazit i hodnoty jednotlivých pixelů, jelikož samotný obrázek je uložený jako 2D pole:
print(f"Image 2D numpy array n {img}")


Image 2D numpy array
[[[0 0 0]
[0 0 0]
[0 0 0]
...
[0 0 0]
[0 0 0]
[0 0 0]]
[[0 0 0]
[0 0 0]
[0 0 0]
...

Poznámka: námi vybraný obtázek má po krajích černý "rámeček", proto nám výstup vypisuje samé nuly.

V kódu jsme použili atributy img.shape a img.dtype. První z nich určuje rozměry obrázku (výšku, šířku a počet kanálů), druhý z nich datový typ pro ukládání jedné hodnoty jednoho kanálu.
Už jsme si zobrazili obrázek pomocí OpenCV, teď si ho zobrazíme pomocí matplotlibu:


import cv2 as cv
import matplotlib.pyplot as plt
img = cv.imread(cv.samples.findFile("starry_night.jpg"),0)
plt.imshow(img)
plt.show()

Co to?

Obrázek byl sice načtený jako šedotónový, ale to nutně neznamená, že tak bude zobrazený i pomocí matplotlibu. Funkce plt.imshow totiž v základu používá jiné mapování barev. Nic ale není ztraceno, pokud chceme zobrazit obrázek šedotónově, prostě přidáme druhý parametr funkci imshow následovně:


plt.imshow(img,cmap='gray')

Stejný problém se vyskytne i v situaci, kdy budeme otevírat obrázek v barevném módu. Matplotlib v základu počítá s barevným formátem RGB, OpenCV naproti tomu používá formát BGR (modrá a červená složka si vyměnily místa). Tento formát byl dříve velmi populární mezi výrobci videokamer a tvůrci software a původní tvůrci OpenCV proto (tehdy zcela logicky) zvolili tento formát. Časy se mění, BGR stále zůstává.

Zpět ke kódu! Pokud chceme, aby se i barevné obrázky zobrazily správně, je třeba konvertovat je z BGR do RGB:

import cv2 as cv
import matplotlib.pyplot as plt
img = cv.imread(cv.samples.findFile("starry_night.jpg"),cv.IMREAD_COLOR)
fig, (ax1, ax2) = plt.subplots(1,2)
ax1.imshow(img)
ax1.set_title('Barvy BGR')
ax2.imshow(img[:,:,::-1])
ax2.set_title('Obrácené BGR (neboli RGB)')
plt.show()

Rozdělování a spojování kanálů

import cv2 as cv
import matplotlib.pyplot as plt
img = cv.imread(cv.samples.findFile("starry_night.jpg"),cv.IMREAD_COLOR)
b,g,r = cv.split(img)
fig,ax = plt.subplots(2,2)
ax[0,0].imshow(r,cmap='gray')
ax[0,0].set_title("Červený kanál");
ax[0,1].imshow(g,cmap='gray')
ax[0,1].set_title("Zelený kanál");
ax[1,0].imshow(b,cmap='gray')
ax[1,0].set_title("Modrý kanál");
# Sloucime kanaly do BGR obrazku
imgMerged = cv.merge((b,g,r))
# Ukaz vysledek
ax[1,1].imshow(imgMerged[:,:,::-1])
ax[1,1].set_title("Spojené kanály");
plt.show()

  • cv.split: Rozdělí jeden vícekanálový obrázek (nebo, chcete-li, pole) na několik jednokanálových obrázků.
  • cv.merge: Jednotlivé jednokanálové obrázky zase spojí do jednoho vícekanálového. Všechny vstupní obrázky přitom musí mít stejné rozměry.

Poznámka: Čím jsou jednotlivé barevné složky tmavší, tím méně se dané barvy na daném místě nachází. Obrázek pro červený kanál je nejtmavší, což odpovídá tomu, že v originálu je červené barvy nejméně.

Konverze do jiných barevných prostorů

Funkce cv.cvtColor nám umožňuje konvertovat obrázek z jednoho barevného prostoru do druhého. Když transformujeme mezi barevnými prostory RGB a BGR, pomocí BGR2RGB a RGB2BGR specifikujeme, jakým směrem převádíme. Pokud někde narazíte na informaci, že základní barevný prostor v OpenCV je RGB, je to ve skutečnosti BGR! Pokud si tedy představíme standardní barevnou hloubku (24 bitů), pak prvních 8 bitů bude určovat modrou, dalších 8 bitů bude určovat zelenou, a konečně zbývající osmice nám určí červenou složku (kanál) pixelu. Následujích 24 bitů bude určovat složky druhého pixelu a tak dále... Níže se podíváme na použití výše zmíněné funkce cv.cvtColor:


import cv2 as cv
import matplotlib.pyplot as plt
img = cv.imread(cv.samples.findFile("starry_night.jpg"),cv.IMREAD_COLOR)
img_rgb = cv.cvtColor(img, cv.COLOR_BGR2RGB)
plt.imshow(img_rgb)
plt.show()

Další informace

Pro podrobnější informace navštivte online dokumentaci. V příštím díle si ukážeme základní úpravy obrázků.