C++ OpenCV实现文档矫正功能

目录

• 需求
• 思路
• 代码
• 效果

需求

将一个斜着拍摄的文档矫正成正的，如图所示：

思路

1.读取原始图像，若图像太大可以先进行缩放处理，并获取原始图像的宽和高

2.对图像进行预处理得到边缘，依次进行灰度处理、高斯模糊、边缘检测、膨胀、腐蚀。

3.找到最大的轮廓，并提取角点

• 进行降噪处理：检测轮廓面积，只保留大于阈值面积的轮廓
• 计算每个轮廓的周长，使用DP算法计算出轮廓点的个数，规则为周长*0.02
• 找到图像中面积最大的，且角点为4的轮廓

4.将找到的四个角点排列成一个固定的顺序，排列后的顺序为：左上角-右上角-左下角-右下角

• 将每个点的xy坐标值相加(x+y)，左上角的点的坐标和应该是最小的，右下角的点的坐标和应该是最大的
• 将每个点的xy坐标值相减(x-y)，左下角的点的坐标差应该是最小的，右上角的点的坐标差应该是最大的
• 重新排列四个角点

5.进行透视变换

• 根据变换前及变换后的四个角点，创建变换矩阵
• 根据变换矩阵对图像进行透视变换

6.若透视变换后有一些毛边，按需要进行裁剪，裁剪后重新调整比例

• 创建一个矩形用来裁剪，并设定四周裁剪5像素
• 裁剪后重新调整图像宽高

7.显示变换后图像

代码

代码中均有详细注释，请仔细阅读

#include <iostream>
#include<opencv2/opencv.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/imgproc.hpp>

using namespace cv;
using namespace std;

// 一些定义
Mat image_origin,     // 原始图像
	image_gray,       // 灰度处理后的图像
	image_blur,       // 高斯模糊处理后的图像
	image_canny,      // 边缘检测后的图像
	image_dilate,     // 膨胀后的图像
	image_erode,      // 腐蚀后的图像
	image_preprocess, // 预处理后的图像
	image_trans,      // 透视变换后的图像
	image_crop;	      // 裁剪后的图像

vector<Point> origin_points,  // 重新排列前的角点
			  reorder_points; // 重新排列后的角点

int origin_width = 0, origin_height = 0;

/*
 * 函数功能：预处理，依次进行灰度处理、高斯模糊、边缘检测、膨胀、腐蚀。
 * 输入：图像，是否显示(0-不显示 1-显示每一步处理后的图像 2-只显示最终图像)
 * */
Mat PreProcess(const Mat& image, int display)
{
	// 灰度处理
	cvtColor(image, image_gray, COLOR_BGR2GRAY);

	// 高斯模糊
	GaussianBlur(image_gray, image_blur, Size(3, 3), 3, 0);

	// 边缘检测(边缘检测前对图像进行一次高斯模糊)
	Canny(image_blur, image_canny, 50, 150);

	// 膨胀和腐蚀(有时进行边缘检测的时候，没有被完全填充，或者无法正确检测，可以用膨胀和腐蚀)
	// 创建一个用于膨胀和腐蚀的内核，后面的数字越大膨胀的越多(数字要用奇数)
	Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3));
	// 膨胀
	dilate(image_canny, image_dilate, kernel);
	// 腐蚀
	//erode(image_dilate, image_erode, kernel);

	// 显示预处理效果
	if(display == 1)
	{
		imshow("灰度处理后的图像", image_gray);
		imshow("高斯模糊后的图像", image_blur);
		imshow("边缘检测后的图像", image_canny);
		imshow("膨胀后的图像", image_dilate);
//		imshow("腐蚀后的图像", image_erode);
	}
	else if(display == 2)
	{
		imshow("预处理后的图像", image_dilate);
	}

	return image_dilate;
}

/*
 * 函数功能：找到面积最大的轮廓
 * 输入：源图像
 * 输出：最大轮廓的四个角点数组
 * */
vector<Point> GetMaxContour(const Mat& img_input)
{
	/*
	 * contours是一个双重向量，向量内每个元素保存了一组由连续的Point点构成的点的集合的向量，每一组Point点集就是一个轮廓。有多少轮廓，向量contours就有多少元素。
	 * 相当于创建了这样一个向量{{Point(),Point()},{},{}}
	 * */
	vector<vector<Point>> contours;
	/*
	 * hierarchy向量内每个元素保存了一个包含4个int整型的数组。向量hiararchy内的元素和轮廓向量contours内的元素是一一对应的，向量的容量相同。
	 * hierarchy向量内每一个元素的4个int型变量——hierarchy[i][0] ~ hierarchy[i][3]，分别表示第i个轮廓的后一个轮廓、前一个轮廓、父轮廓、内嵌轮廓的索引编号。
	 * 如果当前轮廓没有对应的后一个轮廓、前一个轮廓、父轮廓或内嵌轮廓的话，则hierarchy[i][0] ~ hierarchy[i][3]的相应位被设置为默认值-1。
	 * */
	vector<Vec4i> hierarchy;

	/*
	 * findContours找到轮廓
	 * 第一个参数：单通道图像矩阵，可以是灰度图，但更常用的是二值图像，一般是经过Canny、拉普拉斯等边缘检测算子处理过的二值图像；
	 * 第二个参数：contours （前文介绍过）
	 * 第三个参数：hierarchy（前文介绍过）
	 * 第四个参数：轮廓的检索模式
	 * 		取值一：CV_RETR_EXTERNAL 只检测最外围轮廓，包含在外围轮廓内的内围轮廓被忽略
	 * 		取值二：CV_RETR_LIST     检测所有的轮廓，包括内围、外围轮廓，但是检测到的轮廓不建立等级关系，彼此之间独立，没有等级关系，这就意味着这个检索模式下不存在父轮廓或内嵌轮廓，所以hierarchy向量内所有元素的第3、第4个分量都会被置为-1，具体下文会讲到
	 * 		取值三：CV_RETR_CCOMP    检测所有的轮廓，但所有轮廓只建立两个等级关系，外围为顶层，若外围内的内围轮廓还包含了其他的轮廓信息，则内围内的所有轮廓均归属于顶层
	 * 		取值四：CV_RETR_TREE     检测所有轮廓，所有轮廓建立一个等级树结构。外层轮廓包含内层轮廓，内层轮廓还可以继续包含内嵌轮廓。
	 * 第五个参数：轮廓的近似方法
	 * 		取值一：CV_CHAIN_APPROX_NONE   保存物体边界上所有连续的轮廓点到contours向量内
	 * 		取值二：CV_CHAIN_APPROX_SIMPLE 仅保存轮廓的拐点信息，把所有轮廓拐点处的点保存入contours向量内，拐点与拐点之间直线段上的信息点不予保留
	 * 		取值三和四：CV_CHAIN_APPROX_TC89_L1，CV_CHAIN_APPROX_TC89_KCOS使用teh-Chinl chain 近似算法
	 * 第六个参数：Point偏移量，所有的轮廓信息相对于原始图像对应点的偏移量，相当于在每一个检测出的轮廓点上加上该偏移量，且Point可以是负值。不填为默认不偏移Point()
	 * */
	findContours(img_input, contours, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
	/*
	 * drawContours绘出轮廓
	 * 第一个参数：指明在哪幅图像上绘制轮廓。image为三通道才能显示轮廓
	 * 第二个参数：contours
	 * 第三个参数：指定绘制哪条轮廓，如果是-1，则绘制其中的所有轮廓
	 * 第四个参数：轮廓线颜色
	 * 第五个参数：轮廓线的宽度，如果是-1（FILLED），则为填充
	 * */
//	// 不全输出，在下文只输出角点
//	drawContours(image, contours, -1, Scalar(255, 0, 255), 2);

	// 定义轮廓，大小与contours相同，但内层向量中只有角点（例如三角形就是3，四边形就是4，圆形可能七八个）
	vector<vector<Point>> corners_contours(contours.size());

	// 定义边界框，大小与contours相同
	vector<Rect> bounding_box(contours.size());

	vector<Point> biggest_contours;
	double max_area = 0;

	for (int i = 0; i < contours.size(); i++)
	{
		// 检测轮廓面积
		double contour_area = contourArea(contours[i]);
//		cout << area << endl;

		// 假设图像中有噪声，需要将其过滤，只保留面积大于1000的轮廓
		if (contour_area > 1000)
		{
			// 计算每个轮廓的周长
			double contour_perimeter = arcLength(contours[i], true);

			// 使用DP算法计算出轮廓点的个数，规则为周长*0.02
			approxPolyDP(contours[i], corners_contours[i], 0.02 * contour_perimeter, true);

			// 找到图像中面积最大的，且角点为4的轮廓
			if (contour_area > max_area && corners_contours[i].size() == 4 ) {

				//drawContours(image_origin, conPoly, i, Scalar(255, 0, 255), 5);
				biggest_contours = { corners_contours[i][0],corners_contours[i][1] ,corners_contours[i][2] ,corners_contours[i][3] };
				max_area = contour_area;
			}

//			// 只绘制角点之间的边框线，Debug用，取消注释可以看到检测出的所有边界框
//			drawContours(image_origin, corners_contours, i, Scalar(255, 0, 255), 2);
//			rectangle(image_origin, bounding_box[i].tl(), bounding_box[i].br(), Scalar(0, 255, 0), 5);
		}
	}

	// 返回最大的轮廓
	return biggest_contours;
}

/*
 * 函数功能：绘制一些点
 * 输入：点集，颜色
 * */
void DrawPoints(vector<Point> points, const Scalar& color)
{
	for (int i = 0; i < points.size(); i++)
	{
		circle(image_origin, points[i], 10, color, FILLED);
		putText(image_origin, to_string(i), points[i], FONT_HERSHEY_PLAIN, 4, color, 4);
	}
}

/*
 * 函数功能：重新排列四个角点的顺序
 * 最终顺序为： 0  1
 * 			  2  3
 * 			  数组中为左上角-右上角-左下角-右下角
 * */
vector<Point> ReorderPoints(vector<Point> points)
{
	vector<Point> newPoints;
	vector<int>  sumPoints, subPoints;

	// OpenCV中左上顶点为(0,0)，右为x轴正向，下为y轴正向。
	for (int i = 0; i < 4; i++)
	{
		// 将每个点的xy坐标值相加(x+y)，左上角的点的坐标和应该是最小的，右下角的点的坐标和应该是最大的
		sumPoints.push_back(points[i].x + points[i].y);
		// 将每个点的xy坐标值相减(x-y)，左下角的点的坐标差应该是最小的，右上角的点的坐标差应该是最大的
		subPoints.push_back(points[i].x - points[i].y);
	}

	// 重新排列
	newPoints.push_back(points[min_element(sumPoints.begin(), sumPoints.end()) - sumPoints.begin()]); // 0 和的最小值
	newPoints.push_back(points[max_element(subPoints.begin(), subPoints.end()) - subPoints.begin()]); // 1 差的最大值
	newPoints.push_back(points[min_element(subPoints.begin(), subPoints.end()) - subPoints.begin()]); // 2 差的最小值
	newPoints.push_back(points[max_element(sumPoints.begin(), sumPoints.end()) - sumPoints.begin()]); // 3 和的最大值

	return newPoints;
}

/*
 * 函数功能：
 * 输入：源图像，四个角点的集合(角点的顺序为，左上角-右上角-左下角-右下角)，输出的宽，输出的高
 * 输出：透视变换后的图像
 * */
Mat PerspectiveTrans(const Mat& img, vector<Point> points, float width, float height )
{
	// 前面经过重新排列，四个角点的顺序为：左上角-右上角-左下角-右下角
	Point2f src[4] = { points[0],points[1],points[2],points[3] };
	// 变换后的四个角点
	Point2f dst[4] = { {0.0f,0.0f},{width,0.0f},{0.0f,height},{width,height} };

	// 创建变换矩阵
	Mat matrix = getPerspectiveTransform(src, dst);
	// 透视变换
	warpPerspective(img, image_trans, matrix, Point(width, height));

	return image_trans;
}

int main()
{
	// 1.读取原始图像
	string path = "res/image_origin.jpg";
	image_origin = imread(path);

//	// 若图像太大可以先进行缩放处理
//	resize(image_origin, image_origin, Size(), 0.5, 0.5);

	// 获取原始图像的宽和高
	origin_width  = image_origin.size().width;
	origin_height = image_origin.size().height;

	// 2.对图像进行预处理得到边缘，依次进行灰度处理、高斯模糊、边缘检测、膨胀、腐蚀。
	image_preprocess = PreProcess(image_origin, 0);

	// 3.找到最大的轮廓，并提取角点
	origin_points = GetMaxContour(image_preprocess);
//	DrawPoints(origin_points, Scalar(0, 0, 255)); // 红色
	// 此时发现，角点的顺序不固定，为了后面进行透视变换时与代码中变换后点集的顺序相同，需要将其排列成一个固定的顺序，排列后的顺序为：左上角-右上角-左下角-右下角
	reorder_points = ReorderPoints(origin_points);
//	DrawPoints(reorder_points, Scalar(0, 255, 0)); //绿色

	// 4.透视变换
	image_trans = PerspectiveTrans(image_origin, reorder_points, origin_width, origin_height);

	// 透视变换后有一些毛边，若需要可以进行裁剪
	// 四周裁剪5像素
	int cropVal= 5;
	// 创建一个矩形用来裁剪
	Rect roi(cropVal, cropVal, origin_width - (2 * cropVal), origin_height - (2 * cropVal));
	image_crop = image_trans(roi);
	// 裁剪后重新调整比例
	resize(image_crop, image_crop, Size(origin_width, origin_height));

	// 5.显示并输出变换后图像
	imshow("源图像", image_origin);
	imshow("最终图像", image_crop);

	imwrite("res/image_output.jpg", image_crop);

	waitKey(0);
}

效果

到此这篇关于C++ OpenCV实现文档矫正功能的文章就介绍到这了,更多相关OpenCV文档矫正内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！