0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

opencv实战——机器视觉检测和计数

新机器视觉 来源:机器视觉沙龙 2023-03-03 11:54 次阅读


																

机器视觉中,有时需要对产品进行检测和计数。其难点无非是对于产品的图像分割。

由于之前网购的维生素片,有时候忘了今天有没有吃过,就想对瓶子里的药片计数...在学习opencv以后,希望实现对于维生素片分割计数算法。本次实战在基于形态学的基础上又衍生出基于距离变换的分水岭算法,使其实现的效果更具普遍性。


基于形态学的维生素片检测和计数

整体思路:

  1. 读取图片

  2. 形态学处理(在二值化前进行适度形态学处理,效果俱佳)

  3. 二值化

  4. 提取轮廓(进行药片分割)

  5. 获取轮廓索引,并筛选所需要的轮廓

  6. 画出轮廓,显示计数

opencv实现:

int main(int argc, char** argv)
{
    Mat src, src_binary,dst,src_distance;
    src = imread("D:/opencv练习图片/维生素片机器视觉检测和计数.png");
    imshow("原图片", src);
    Mat kernel = getStructuringElement(MORPH_RECT, Size(16, 16), Point(-1, -1));
    morphologyEx(src, dst, MORPH_OPEN, kernel);
    imshow("形态学",dst);
    cvtColor(dst, dst, COLOR_RGB2GRAY);
    threshold(dst, src_binary, 100, 255, THRESH_OTSU);
    imshow("二值化", src_binary);
    vector<vector> contours;
    findContours(src_binary, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE, Point(0, 0));
    RNG rng(12345);
    double area;
    Point2i PL;
    for (size_t i = 0; i < contours.size(); i++)
    {
        area = contourArea(contours[i]);
        if (area < 500)continue;
        PL = contours[i].front();
        Scalar color = Scalar(rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255));
        drawContours(src, contours, i, color, 2, 8);
        putText(src, to_string(i), PL, FONT_HERSHEY_COMPLEX, 1, color, 2);            
    }
    imshow("计数结果", src);
    waitKey(0);
    return 0;
}

效果展示:

由上图可以看的,原图在经过形态学处理后,可以去除很多细节,简化后续的药片分割操作。

但是在计数结果图上发现,索引17号药片并没有完全分割(实际上修改形态学的结构元素尺寸(改为20*20)也可以完全分离这两个药片)。

这不由得让我们思考,如果简单的形态学处理分割不了药片呢?

对于复杂的产品图片,我们可以使用基于距离变换的分水岭算法对其分割。


基于距离变换的分水岭算法检测和计数

OpenCV 采用了基于标记点的分水岭算法,在这种算法中我们要设置哪些山谷点会汇合,哪些不会。这是一种交互式的图像分割。我们要做的就是给我们已知的对象打上不同的标签(即添加注水点)。然后实施分水岭算法。每一次灌水,我们的标签就会被更新,当两个不同颜色的标签相遇时就构建堤坝,直到将所有山峰淹没,最后我们得到的边界对象(堤坝)的值为 -1。

对于如何打上标签(即添加注水点)有两种办法:

opencv中,对于一张二值化的图像,后续处理方式有两种。第一种方式就是利用findContours、drawContours等函数进行轮廓分析(opencv以对轮廓的处理为主)。第二种方式就是计算连通域进行区域分析。

第一种(基于轮廓):在二值化后,对图像寻找轮廓findContours,筛选出注水区域轮廓,然后通过drawContours对轮廓标记。

第二种(基于区域):在二值化后,先对寻找图像中的前景图(即注水点),再寻找到背景图(进行膨胀),最后找到未知区域(背景减去前景,得到边缘图),通过connectedComponents()获取标记点。

相关API:

  • 分水岭函数watershed函数原型

  • void watershed( InputArray image, InputOutputArray markers );

第一个输入参数 image,必须是CV_8UC3类型图像。

第二个输入/输出参数markers必须是32位单通道图像。和image尺寸一样。包含不同区域的轮廓,每个轮廓有一个自己唯一的编号。

在执行watershed函数后,算法会根据markers传入的轮廓作为种子,对图像上其他的像素点根据分水岭算法规则进行判断,并对每个像素点的区域归属进行划定,直到处理完图像上所有像素点。而区域与区域之间的分界处的值被置为“-1”,以做区分。

  • 距离变换函数distanceTransform函数原型

距离变换运算用于计算二值化图像中的每一个非零点距自己最近的零点的距离,距离变换图像上越亮的点,代表了这一点距离零点的距离越远。

距离变换通常用于求解图像的骨骼和查找物体的质心(即获取距离变换的极大值)和计算非零像素到最近零像素点的最短距离。

distanceTransform( InputArray src, OutputArray dst, int distanceType, int maskSize,
int dstType = CV_32F
);

第一个输入参数src,必须是CV_8UC1类型的二值图像(只有0或1)

第二个输出参数dst,表示的是计算距离的输出图像,输出类型是CV_32F/CV_8U的单通道图像,大小与输入图片相同。

第三个参数distanceType,表示的是选取距离的类型,可以设置为DIST_L1,DIST_L2,DIST_C

第四个参数maskSize,表示的是距离变换的掩膜模板,可以设置为3,5(常用3)

第四个参数dstType,表示输出类型,可选择CV_32F/CV_8U

注:若输出类型为CV_32F,想要显示距离变换后的骨架图像,需要对其归一化。(normalize)

先来看看第一种标记mark(基于轮廓)的方法:


(一)读入图像,形态学,二值化(消除噪声)

Mat src, src_binary, dst, src_distance;
    src = imread("D:/opencv练习图片/维生素片机器视觉检测和计数.png");
    imshow("原图片", src);
    Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
    morphologyEx(src, dst, MORPH_OPEN, kernel);
    imshow("形态学", dst);
    cvtColor(dst, dst, COLOR_RGB2GRAY);
    threshold(dst, src_binary, 100, 255, THRESH_OTSU);
    imshow("二值化", src_binary);


																																								998b1e58-b920-11ed-bfe3-dac502259ad0.png99b1029e-b920-11ed-bfe3-dac502259ad0.png99d9c756-b920-11ed-bfe3-dac502259ad0.png
																																								

(二)距离变换(归一化显示),再二值化

 distanceTransform(src_binary, src_distance, DIST_L2, 3, 5);
    normalize(src_distance, src_distance, 0, 1, NORM_MINMAX);
    imshow("距离变换", src_distance);
    threshold(src_distance, src_distance, 0.4,1, THRESH_BINARY);
    imshow("再二值化", src_distance);

99ee88da-b920-11ed-bfe3-dac502259ad0.png9a03eeb4-b920-11ed-bfe3-dac502259ad0.png

经过距离变换后的二值化,可以清晰看到,药片以及完全分割开来。


(三)打上标签(添加注水点),基于轮廓

//寻找标记点marsk的轮廓信息 也就是分水岭的水坝
    src_distance.convertTo(src_distance, CV_8UC1);
    vector<vector> contours;    
    findContours(src_distance, contours, RETR_TREE, CHAIN_APPROX_SIMPLE);
    //创建maker
    Mat markers = Mat::zeros(src.size(), CV_32S);//  //因为分水岭后的边缘存储是-1,所以必须使用有符号的CV_32S
    for (size_t t = 0; t < contours.size(); t++) 
    {
        drawContours(markers, contours, static_cast<int>(t), Scalar(static_cast<int>(t) + 1), -1);//轮廓数字编号
    }
    circle(markers, Point(5, 5), 30, Scalar(255), -1);//关键代码(mark做一个小标记)
    int index1 = 0;
    //打印轮廓数据 有值的均为轮廓线
    for (int row = 0; row < markers.rows; row++)
        for (int col = 0; col < markers.cols; col++)
        {
            index1 = markers.at<int>(row, col);
            cout << index1 << ",";
        }

部分标签markers轮廓数据截图,可以看到0代表背景,轮廓线用正数索引标识。

9a202192-b920-11ed-bfe3-dac502259ad0.png


(四)进行分水岭操作,并给分水岭后的区域随机上色,并打印出检测的药片个数。

// 生成随机颜色
    vector colors;
    for (size_t i = 0; i < contours.size(); i++) {
        int r = theRNG().uniform(0, 255);
        int g = theRNG().uniform(0, 255);
        int b = theRNG().uniform(0, 255);
        colors.push_back(Vec3b((uchar)b, (uchar)g, (uchar)r));
    }


    // 颜色填充与最终显示
    Mat dst1 = Mat::zeros(markers.size(), CV_8UC3);
    int index = 0;
    for (int row = 0; row < markers.rows; row++) {
        for (int col = 0; col < markers.cols; col++) {
            index = markers.at<int>(row, col);
            
            if (index > 0 && index <= contours.size()) {
                dst1.at(row, col) = colors[index - 1];


            }
            else {
                dst1.at(row, col) = Vec3b(0, 0, 0);
            }


        }
    }
    imshow("结果显示", dst1);
    printf("药片检测个数: %d
", contours.size());

9ac8fce0-b920-11ed-bfe3-dac502259ad0.png9ada0c24-b920-11ed-bfe3-dac502259ad0.png

9aedacb6-b920-11ed-bfe3-dac502259ad0.png

再来看看第二种标记mark(基于区域)的方法:


(一)读入图像,形态学,二值化(消除噪声)

 Mat foreground, background, unkonwn;//创建前景,背景,未知区域
    Mat src, src_binary, dst, src_distance;
    src = imread("D:/opencv练习图片/维生素片机器视觉检测和计数.png");
    imshow("原图片", src);
    Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
    morphologyEx(src, dst, MORPH_OPEN, kernel);
    imshow("形态学", dst);
    cvtColor(dst, dst, COLOR_RGB2GRAY);
    threshold(dst, src_binary, 100, 255, THRESH_OTSU);
    imshow("二值化", src_binary);


(二)对二值化图像进行膨胀操作,得到大部分是背景的图片

//得到背景图片
    dilate(src_binary, background, kernel, Point(-1, -1), 3);
imshow("背景图片",background);

9affc1bc-b920-11ed-bfe3-dac502259ad0.png


(三)通过对二值图像距离变换得到前景图片(即注水点)

//距离变换
    distanceTransform(src_binary, src_distance, DIST_L2, 3, 5);
    imshow("距离变换", src_distance);
    normalize(src_distance, src_distance, 0, 255, NORM_MINMAX);
    double my_minv = 0.0, my_maxv = 0.0;
    minMaxIdx(src_binary, &my_minv, &my_maxv);
    threshold(src_distance, foreground, 0.4 * my_maxv, 255, THRESH_BINARY);
    foreground.convertTo(foreground, CV_8U);
    imshow("前景图片", foreground);

9b1656e8-b920-11ed-bfe3-dac502259ad0.png


(四)通过背景与前景的差值,得到未知区域(即边缘所在区域)

//得到未知区域
    unkonwn = background - foreground;
imshow("未知区域",unkonwn);

9b303900-b920-11ed-bfe3-dac502259ad0.png


(五)得到这些区域以后,我们可以获取注水点的标签,通过connectedComponents实现(即获取markers标签)

//创建标记点markers
    Mat markers = Mat(src.size(), CV_32S);
    int num = connectedComponents(foreground, markers, 8);
    cout << num << endl;
    markers = markers + 1;
    for (int i = 0; i < unkonwn.rows; i++)
    {
        for (int j = 0; j < unkonwn.cols; j++)
        {
            if (((int)unkonwn.at(i, j)) == 255)
            {
                markers.at<signed int>(i, j) = 0;
            }
        }
    }

详细理解该步骤:

现在我们已经知道哪些是背景,哪些是药片(前景区域)。

因此我们可以创建一个标签(和原图大小,类型为CV_32S),通过connectedComponents函数对前景区域进行标记

连通域相关博文:opencv——连通域标记与分析 - 唯有自己强大 - 博客园 (cnblogs.com)

该函数会对前景区域连通域分析,并将背景设定为0,其他区域从1开始正整数标记(这就是我们的种子,水漫时会从这里漫出),结果返回给markers。

但是对于分水岭算法,会将为0的区域认为是未知区域,因此要markers整体加一。


(六)进行分水岭操作,并显示边缘

watershed(src, markers);
    for (int row = 0; row < markers.rows; row++)
    {
        for (int col = 0; col < markers.cols; col++)
        {


            if (markers.at< int>(row, col) == -1)
            {
                src.at(row, col) = Vec3b(0, 0, 255);
            }
        }
    }


    imshow("结果", src);

9b434f9a-b920-11ed-bfe3-dac502259ad0.png

由于分水岭算法会将找到的边缘在markers置为-1,因此我们对原图操作,将索引为-1的位置的像素值改为红色(即显示边缘)。

参考链接:OpenCV---分水岭算法 - 山上有风景 -

(8条消息) c++和opencv小知识:基于距离变换的分水岭算法(固定流程)_梦游城市的博客

(8条消息) OpenCV分水岭算法图像分割_冰冰bing的博客-

审核编辑 :李倩


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器视觉
    +关注

    关注

    161

    文章

    4369

    浏览量

    120282
  • 检测
    +关注

    关注

    5

    文章

    4480

    浏览量

    91443
  • OpenCV
    +关注

    关注

    31

    文章

    634

    浏览量

    41338

原文标题:opencv实战——机器视觉检测和计数

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Opencv计数程序详解

    机器视觉中,有时需要对产品进行检测计数。其难点无非是对于产品的图像分割。
    的头像 发表于 12-18 16:45 1300次阅读
    <b class='flag-5'>Opencv</b><b class='flag-5'>计数</b>程序详解

    基于labview机器视觉的机件计数系统设计

    基于labview机器视觉的机件计数系统设计,谁能给我个程序,把ni范例修改下也行
    发表于 12-20 15:26

    机器视觉表面缺陷检测技术

    结果的不精确。当今社会,随着计算机技术,人工智能等科学技术的出现和发展,以及研究的深入,出现了基于机器视觉技术的表面缺陷检测技术。这种技术的出现,大大提高了生产作业的效率,避免了因作业条件,主观判断等
    发表于 01-20 10:29

    机器视觉

    有大神玩过机器视觉吗?opencv??
    发表于 03-11 14:11

    机器视觉行业常用视觉软件介绍

    《8周实战上手LabVIEW视觉项目案例特训营》5.20-6.23,正在招生中~机器视觉当前的比较流行的开发模式是“软件平台+视觉包”软件平
    发表于 11-18 18:13

    机器视觉检测设备的优势

    `机器视觉检测是指通过机器视觉产品将被摄取目标转换成图像信号,传送给专用的图像处理系统,根据像素分布和亮度、颜色等信息,转变成数字化信号;图
    发表于 10-14 15:31

    深圳机器视觉检测项目包括哪些?

    根据检测功能可划分:光学筛选机定位、缺陷检测计数/遗漏检测、尺寸测量。3.根据检测技术划分,通常有立体
    发表于 11-11 10:07

    基于opencv的扎针机器视觉导航

    实现了扎针机器人的视觉导航。以VC++作为开发工具,运用开源的计算机视觉OpenCv,采集图像信息,进行图像处理,得到活检针的数据,控制机器
    发表于 01-20 13:59 65次下载

    机器视觉软件OpenCV的软件安装与使用教程说明

    本文档的主要内容详细介绍的是机器视觉软件OpenCV的软件安装与使用教程说明。
    发表于 04-10 08:00 0次下载
    <b class='flag-5'>机器</b><b class='flag-5'>视觉</b>软件<b class='flag-5'>OpenCV</b>的软件安装与使用教程说明

    机器视觉检测技术的分类

    一般来说,机器视觉检测技术依照检测功用可区别:定位、缺点检测计数/遗失
    的头像 发表于 07-30 14:59 3340次阅读

    怎么样使用Opencv实现工业视觉检测系统的设计

    随着科学技术的发展,机器视觉技术也取得了长足的发展,目前已经广泛的应用在各个领域。如今该技术广泛地应用于工业流水线产品外观特征检测, 运用该技术能极快提升检测产品外观的速度。本文将介绍
    发表于 08-14 15:55 14次下载
    怎么样使用<b class='flag-5'>Opencv</b>实现工业<b class='flag-5'>视觉</b><b class='flag-5'>检测</b>系统的设计

    基于Opencv的工业视觉检测系统论文

    随着科学技术的发展,机器视觉技术也取得了长足的发展,目前已经广泛的应用在各个领域。如今该技术广泛地应用于工业流水线产品外观特征检测, 运用该技术能极快提升检测产品外观的速度。本文将介绍
    发表于 03-23 14:34 10次下载

    OpenCV中支持的非分类与检测视觉模型

    前面给大家分别汇总了OpenCV中支持的图像分类与对象检测模型,视觉视觉任务除了分类与检测还有很多其他任务,这里我们就来
    的头像 发表于 08-19 09:10 1304次阅读

    机器视觉精度检测

    机器视觉精度检测 机器视觉检测技术及应用随着越来越多的制造商使用
    发表于 06-29 11:18 937次阅读

    什么是机器视觉opencv?它有哪些优势?

    机器视觉(Machine Vision)是一种利用计算机和图像处理技术来模拟人类视觉系统的功能,实现对图像的识别、分析和理解的技术。OpenCV(Open Source Compute
    的头像 发表于 07-16 10:33 764次阅读