25. OpenCV шаг за шагом. Обработка изображения - свёртка

Свёртка (англ. convolution) — это операция, показывающая «схожесть» одной функции с отражённой и сдвинутой копией другой.

В случае работы с изображениями — свёртка — это операция вычисления нового значения заданного пикселя, при которой учитываются значения окружающих его соседних пикселей.
Главным элементом свёртки является т.н. ядро свёртки — это матрица (произвольного размера и отношения сторон; чаще всего используется квадратная матрица (по-умолчанию, размеры 3х3)).

[ ][ ][ ]
[ ][я][ ]
[ ][ ][ ]

У ядра свёртки есть важный параметр — якорь — это элемент матрицы (чаще всего — центр), который прикладывается к заданному пикселю изображения.

Работает свёртка очень просто:
При вычислении нового значения выбранного пикселя изображения, ядро свёртки прикладывается своим центром к этому пикселю. Соседние пиксели так же накрываются ядром.
Далее, вычисляется сумма произведений значений пикселей изображения на значения, накрывшего данный пиксель элемента ядра.
Полученная сумма и является новым значением выбранного пикселя.
Теперь, если применить свёртку к каждому пикселю изображения, то получится некий эффект, зависящий от выбранного ядра свертки.

Пример:
пусть у нас есть клеточное поле, которое соответствует пикселям исходного изображния:

[47][48][49][ ][ ][ ][ ][ ][ ][ ][ ][ ]
[47][50][42][ ][ ][ ][ ][ ][ ][ ][ ][ ]
[47][48][42][ ][ ][ ][ ][ ][ ][ ][ ][ ]
[  ][  ][  ][ ][ ][ ][ ][ ][ ][ ][ ][ ]
[  ][  ][  ][ ][ ][ ][ ][ ][ ][ ][ ][ ]

и есть ядро свёртки, представляющее собой матрицу 3х3 с якорем в центре и элементами:

[0][1][0]
[0][0][0]
[0][0][0]

Результат операции наложения нашего ядра на пиксель со значением 50:

[  ][  ][  ][ ][ ][ ][ ][ ][ ][ ][ ][ ]
[  ][48][  ][ ][ ][ ][ ][ ][ ][ ][ ][ ]
[  ][  ][  ][ ][ ][ ][ ][ ][ ][ ][ ][ ]
[  ][  ][  ][ ][ ][ ][ ][ ][ ][ ][ ][ ]
[  ][  ][  ][ ][ ][ ][ ][ ][ ][ ][ ][ ]

Всё очень просто:

результат = 47*0 + 48*1 + 49*0 + 47*0 + 50*0 + 42*0 + 47*0 + 48*0 + 42*0 = 48

С OpenCV операция свёртки реализуется функцией cvFilter2D()

CVAPI(void) cvFilter2D( const CvArr* src, CvArr* dst, const CvMat* kernel,
                        CvPoint anchor CV_DEFAULT(cvPoint(-1,-1)));

-свёртка изображения при помощи ядра kernel

src — исходное изображение
dst — изображение для сохранения результа
kernel — ядро свёртки (массив из одного канала из элементов типа float)
anchor — якорь ядра ( (-1,-1) говорит, что якорь в центре (для ядра нечётной размерности))

//
// применяем фильтр к изображению при помощи cvFilter2D()
//
// robocraft.ru
//

#include <cv.h>
#include <highgui.h>
#include <stdlib.h>
#include <stdio.h>

IplImage* image = 0;
IplImage* dst = 0;

int main(int argc, char* argv[])
{
	// имя картинки задаётся первым параметром
	char* filename = argc == 2 ? argv[1] : "Image0.jpg";
	// получаем картинку
	image = cvLoadImage(filename,1);

	printf("[i] image: %s\n", filename);
	assert( image != 0 );

	// клонируем картинку 
	dst = cvCloneImage(image);

	// окно для отображения картинки
	cvNamedWindow("original",CV_WINDOW_AUTOSIZE);
	cvNamedWindow("cvFilter2D",CV_WINDOW_AUTOSIZE);

	float kernel[9];
	kernel[0]=0;
	kernel[1]=0;
	kernel[2]=0;

	kernel[3]=0;
	kernel[4]=1;
	kernel[5]=0;

	kernel[6]=0;
	kernel[7]=0;
	kernel[8]=0;

	// матрица
	CvMat kernel_matrix=cvMat(3,3,CV_32FC1,kernel);

	// накладываем фильтр
	cvFilter2D(image, dst, &kernel_matrix, cvPoint(-1,-1));

	// показываем картинку
	cvShowImage("original",image);
	cvShowImage("cvFilter2D",dst);

	// ждём нажатия клавиши
	cvWaitKey(0);

	// освобождаем ресурсы
	cvReleaseImage(&image);
	cvReleaseImage(&dst);
	// удаляем окна
	cvDestroyAllWindows();
	return 0;
}

скачать иcходник (25-cvFilter2D.cpp)

При данном ядре никаких изменений в картинке не наблюдается.

	// никаких изменений
	kernel[0]=0;
	kernel[1]=0;
	kernel[2]=0;

	kernel[3]=0;
	kernel[4]=1;
	kernel[5]=0;

	kernel[6]=0;
	kernel[7]=0;
	kernel[8]=0;

Давайте попробуем поиграться с элементами ядра свёртки:

	// сглаживание
	kernel[0]=0.1;
	kernel[1]=0.1;
	kernel[2]=0.1;

	kernel[3]=0.1;
	kernel[4]=0.1;
	kernel[5]=0.1;

	kernel[6]=0.1;
	kernel[7]=0.1;
	kernel[8]=0.1;

	// увеличение чёткости
	kernel[0]=-0.1;
	kernel[1]=-0.1;
	kernel[2]=-0.1;

	kernel[3]=-0.1;
	kernel[4]=2;
	kernel[5]=-0.1;

	kernel[6]=-0.1;
	kernel[7]=-0.1;
	kernel[8]=-0.1;

	// увеличение яркости
	kernel[0]=-0.1;
	kernel[1]=0.2;
	kernel[2]=-0.1;

	kernel[3]=0.2;
	kernel[4]=3;
	kernel[5]=0.2;

	kernel[6]=-0.1;
	kernel[7]=0.2;
	kernel[8]=-0.1;

// затемнение
	kernel[0]=-0.1;
	kernel[1]=0.1;
	kernel[2]=-0.1;

	kernel[3]=0.1;
	kernel[4]=0.5;
	kernel[5]=0.1;

	kernel[6]=-0.1;
	kernel[7]=0.1;
	kernel[8]=-0.1;

Т.о. накладывая ядро с разными коэффициентами можно получить различные эффекты.

Свёртка — очень полезная и распространённая операция, лежащая в основе различных фильтров (размытие, повышение резкости, нахождение краёв).

Но возникает вопрос, как должен вести себя алгоритм свёртки на краях изображения?
Если взять рассмотренный пример, то как нужно рассчитывать свёртку, если приложить якорь ядра к пикселю со значением 47?
Хорошим решением этой проблемы может быть создание изображение большего размера, чем исходное, у которого на краях будут заданное значение пикселей. Начинать обработку картинки нужно тогда не с 0-го, а с 1-го пикселя (и до n-1-го пискселя):

[0 ][0 ][0 ][0 ][0][0][0][0][0][0][0][0][0][0]
[0 ][47][48][49][ ][ ][ ][ ][ ][ ][ ][ ][ ][0]
[0 ][47][50][42][ ][ ][ ][ ][ ][ ][ ][ ][ ][0]
[0 ][47][48][42][ ][ ][ ][ ][ ][ ][ ][ ][ ][0]
[0 ][  ][  ][  ][ ][ ][ ][ ][ ][ ][ ][ ][ ][0]
[0 ][  ][  ][  ][ ][ ][ ][ ][ ][ ][ ][ ][ ][0]
[0 ][0 ][0 ][0 ][0][0][0][0][0][0][0][0][0][0]

В OpenCV уже есть функция реализующая копирование изображения с последующим окружением границей с заданным значением — cvCopyMakeBorder()

CVAPI(void) cvCopyMakeBorder( const CvArr* src, CvArr* dst, CvPoint offset,
                              int bordertype, CvScalar value CV_DEFAULT(cvScalarAll(0)));

— копирует исходное изображение, окружая его границей

src — исходное изображение
dst — изображение для сохранения результа
offset — смещение (координаты левого верхнего угла целевого изображения)
bordertype — тип границы:

#define IPL_BORDER_CONSTANT   0 // все пиксели границы заливаются value
#define IPL_BORDER_REPLICATE  1 // крайние пиксели изображения используются для заливки
// другие типы границы пока не поддерживаются:
#define IPL_BORDER_REFLECT    2 // пока не поддерживается
#define IPL_BORDER_WRAP       3 // пока не поддерживается

value — цвет заливки границы

Пример использования:

//
// пример использования cvCopyMakeBorder()
//
// robocraft.ru
//

#include <cv.h>
#include <highgui.h>
#include <stdlib.h>
#include <stdio.h>

IplImage* image = 0;
IplImage* dst = 0;
IplImage* dst2 = 0;

int main(int argc, char* argv[])
{
	// имя картинки задаётся первым параметром
	char* filename = argc == 2 ? argv[1] : "Image0.jpg";
	// получаем картинку
	image = cvLoadImage(filename,1);
	// создаём картинки
	dst = cvCreateImage( cvSize(image->width+20, image->height+20), image->depth, image->nChannels);
	dst2 = cvCreateImage( cvSize(image->width+20, image->height+20), image->depth, image->nChannels);

	printf("[i] image: %s\n", filename);
	assert( image != 0 );

	// окно для отображения картинки
	cvNamedWindow("original",CV_WINDOW_AUTOSIZE);
	cvNamedWindow("IPL_BORDER_CONSTANT",CV_WINDOW_AUTOSIZE);
	cvNamedWindow("IPL_BORDER_REPLICATE",CV_WINDOW_AUTOSIZE);

	// обрамляем границей
	cvCopyMakeBorder(image, dst, cvPoint(10,10), IPL_BORDER_CONSTANT, cvScalar(250));
	cvCopyMakeBorder(image, dst2, cvPoint(10,10), IPL_BORDER_REPLICATE, cvScalar(250));


	// показываем картинку
	cvShowImage("original",image);
	cvShowImage("IPL_BORDER_CONSTANT",dst);
	cvShowImage("IPL_BORDER_REPLICATE",dst2);

	// ждём нажатия клавиши
	cvWaitKey(0);

	// освобождаем ресурсы
	cvReleaseImage(&image);
	cvReleaseImage(&dst);
	cvReleaseImage(&dst2);
	// удаляем окна
	cvDestroyAllWindows();
	return 0;
}

скачать иcходник (25-cvCopyMakeBorder.cpp)
результат работы:

Функция свёртки cvFilter2D() внутри себя уже вызывает функцию cvCopyMakeBorder() с параметром IPL_BORDER_REPLICATE.

Далее: 26. Обработка изображения — операторы Собеля и Лапласа

Ссылки
http://en.wikipedia.org/wiki/Convolution
http://ru.wikipedia.org/wiki/Свёртка_(математический_анализ)
imageconvolution — функция свёртки в php
поиграться со свёрткой в браузере

0 комментариев на «“25. OpenCV шаг за шагом. Обработка изображения — свёртка”»

Board:

2011-02-17 в 23:19

Здраствуйте, у меня вопрос. Как построить градиент изображения? А если конкретнее, то я понял что надо сделать 2 операции свертки, после которых у нас получится 2 матрицы. Каким образом из них получить необходимую матрицу?

Войдите, чтобы ответить
JohnJ:

2015-08-07 в 14:07

Интересный эффект получил на OpenCVSharp, когда сначала вместо float-массивов использовал double-массивы 🙂 Многие варианты давали почти полностью чёрное изображение, а массив для сглаживания дал эффект хорошего осветления 🙂

Войдите, чтобы ответить

Добавить комментарий Отменить ответ

Для отправки комментария вам необходимо авторизоваться.

Преимуществ нет, за исключением читабельности: тип bool обычно имеет размер 1 байт, как и uint8_t. Думаю, компилятор в обоих случаях…

Добрый день! Я недавно начал изучать программирование под STM32 и ваши уроки просто бесценны! Хотел узнать зачем использовать переменную типа…

если у вас черное окно попробуйте так. #include <opencv2/opencv.hpp> #include<iostream> #include <stdlib.h> #include <stdio.h> using namespace cv; using namespace std;…

Для Python 3.4: pip3 install tensorflow-1.1.0-cp34-cp34m-linux_armv7l.whl https://github.com/samjabrahams/tensorflow-on-raspberry-pi

PORTB = (PORTB & 0b11100111) | (i & 0b00000011); А почему Вы обнуляете биты 3 и 4, а заполняете биты…