0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

从泊松方程的解法,聊到泊松图像融合

新机器视觉 来源:Opencv视觉实践 2023-02-17 10:02 次阅读

泊松融合(Poisson Blending)又作 Seamless clone,用于将两幅图像“无缝”的融合起来,基本原理就是最优化一个方程,尽量在和base边界处保持相关的亮度,同时保留剪切过来图像的梯度,这样看起来两张图像就“无缝”拼合在一起了。

2004 年 SIGGRAPH 上,Microsoft Research UK 有篇经典的图像融合文章《Poisson Image Editing》。先看看其惊人的融合结果(非论文配图,本人实验结果):

65035b20-ae60-11ed-bfe3-dac502259ad0.png

这篇文章的实现,无关目前算法领域大火的神经网络,而是基于泊松方程推导得出。

泊松方程是什么?

很多朋友比较熟悉概率论里面的泊松分布。泊松方程,也是同一个数学家泊松发明的。但却和泊松分布没有什么关系,是泊松物理学领域提出的一个偏微分方程

651e81ca-ae60-11ed-bfe3-dac502259ad0.jpg

这里表示的是拉普拉斯算子,在泊松方程中是已知量,可以是实数或复数值方程,特殊情况当65384330-ae60-11ed-bfe3-dac502259ad0.jpg时被称为拉普拉斯方程。当处于欧几里得空间时,拉普拉斯算子通常表示为

学习图像处理的朋友对于比较熟悉,分别表示二阶微分(直角坐标系下的散度)、一阶微分(直角坐标系下的梯度)。

微分与卷积

连续空间中的微分计算,就是大学里微积分那一套公式。但是在计算机的世界里,数据都是在离散空间中进行表示,对于图像而言,基本的计算单元就是像素点。让我们从最简单的情形,一维数组的微分说起:

表示位置 x 一阶微分计算(一阶中心导):

655321dc-ae60-11ed-bfe3-dac502259ad0.jpg

表示位置x二阶微分计算(二阶中心导):

6568976a-ae60-11ed-bfe3-dac502259ad0.jpg

随着h->0,上面的微分算式的结果会逐渐逼近真实的微分值。对于图像而言,这里 h 最小可分割单元是像素,也就表示像素间的间距,可视为 1。再看看,二阶微分的公式,是不是可以看成 1x3 的卷积核 [1,-2,1]在一维数组上进行卷积计算的结果(卷积中心在 x 上)。

至此,不难理解,离散数据(例如图像)上的微分操作完全可以转换为卷积操作

当数组维度更高,变成二维数组呢?也就是处理图像的拉普拉斯算子:

6585934c-ae60-11ed-bfe3-dac502259ad0.jpg

此时,卷积核尺寸应该是 3x3,具体数值为

65988baa-ae60-11ed-bfe3-dac502259ad0.jpg

称为拉普拉斯卷积核。

记住拉普拉斯卷积核,我们后面会用到。

泊松方程求解

这个时候,想想我们学会了什么?泊松方程的形式,以及拉普拉斯卷积核。

再想想,在图像场景下,什么是泊松方程的核心问题?

已知图像点二阶微分值(直角坐标系下即散度div)的情况下,求解各个图像点的像素值

一个简单的例子,假设有一张4x4的图像 x:

65ae9ba2-ae60-11ed-bfe3-dac502259ad0.jpg

Xi表示各个位置上的图像像素值,共 16 个未知参数需要被求解。

应用拉普拉斯卷积核后,得到 4 个方程式:

65c10cba-ae60-11ed-bfe3-dac502259ad0.jpg

4 个方程式求解出 16 个未知参数?这是不可能的。

因此,我们需要另加入至少 12 个更多的方程式,也就是说,需要把剩余 12 个边界点的值确定,即需要确定边界条件。边界一般符合 2 种常见的边界条件:

Neumann 边界,译为纽曼边界或黎曼边界,给出函数在边界处的二阶导数值;

Dirichlet 边界,狄利克雷边界,给出边界处函数在边界处的实际值。

但给定边界条件之后,就可以有 16 个方程式组成的方程组了,矩阵化表示此方程组之后,得到形式为 Ax=b。

看到Ax=b,大家就应该放松了,不就是解方程嘛,用雅可比迭代法或者高斯赛德尔迭代法来求解就 OK 了。

Poisson Image Editing

背景知识储备好了后,让我们把目光拉回到论文《Poisson Image Editing》上。

在图像融合任务中,前景放置在背景上时,需要保证两点:

前景本身主要内容相比于背景而言,尽量平滑;

边界处无缝,即前景、背景在边界点位置上的像素值,需要保持边界一致。

重点关注两个词:内容平滑、边界一致。平滑是什么?可以理解成图像前景、背景梯度相同。边界一致是指什么?可以理解成在边界上像素值相同。再用一张图来说明:

65e5ef08-ae60-11ed-bfe3-dac502259ad0.jpg

蓝色图片表示前景图片,需要被融合到肉色的背景图片上

上图中 u 表示需要被合成的前景图片, V 是u的梯度场。S是背景图片,是合并后目标图像中被前景所覆盖的区域,则的边界。设合并后图像在内的像素表示函数是,在外的像素值表示函数是

此时,平滑可表示为:

66010b62-ae60-11ed-bfe3-dac502259ad0.jpg

保持边界一致可表示为:

66178126-ae60-11ed-bfe3-dac502259ad0.jpg

这里如果接触过泛函的朋友会比较开心,没接触过的朋友可以先看看欧拉-拉格朗日方程。令

662ea22a-ae60-11ed-bfe3-dac502259ad0.jpg

代入欧拉-拉格朗日方程后则有:

66479ad2-ae60-11ed-bfe3-dac502259ad0.jpg

6658cdfc-ae60-11ed-bfe3-dac502259ad0.jpg

667a6020-ae60-11ed-bfe3-dac502259ad0.jpg

怎么样,看起来是不是一个泊松方程呢?当然,还差两步:

因为需要平滑, div v 取值需要同时参考前景图片和背景图片,可以直接等于前景像素的散度,也可以在前景和背景在同一点像素的散度进行某种组合得到(论文中在 Selection cloning 和 Selection editing 章节有讨论各自合适的场景,但个人以为这里采取学习的方法应该更鲁棒,而不是用固定的策略来区分)。anyway, div v 是可以计算的已知量;

因为需要保持边界一致,边界条件上像素值等于背景图片即可。当然也可以做一些策略,但同样也可以计算得到的已知量。

现在很轻松了,边界条件已知、散度已知,在离散空间中求解泊松方程中的,参考上一节的求解过程即可。

代码实现

函数代码已经收录在了 OpenCV 的官方函数seamlessClone里:github source code

使用的时候,需要三张图片:前景图、背景图、mask图(指明前景图中需要融合的区域,最简单的就是直接等于前景图大小的 mask,待融合区域是白色,其余位置黑色)。

下面我们使用 OpenCV 的 Python 接口来动手试试,用到以下两张图以及一段代码:

66957b58-ae60-11ed-bfe3-dac502259ad0.jpg

66a94cdc-ae60-11ed-bfe3-dac502259ad0.jpg

import cv2
import numpy as np


# Read images : src image will be cloned into dst
dst = cv2.imread("background.jpg")
obj= cv2.imread("foreground.jpg")


# Create an all white mask
mask = 255 * np.ones(obj.shape, obj.dtype)


# The location of the center of the src in the dst
width, height, channels = dst.shape
center = (height/2, width/2)


# Seamlessly clone src into dst and put the results in output
normal_clone = cv2.seamlessClone(obj, dst, mask, center, cv2.NORMAL_CLONE)
mixed_clone = cv2.seamlessClone(obj, dst, mask, center, cv2.MIXED_CLONE)


# Write results
cv2.imwrite("images/opencv-normal-clone-example.jpg", normal_clone)
cv2.imwrite("images/opencv-mixed-clone-example.jpg", mixed_clone)

最终效果如下:

66c2e67e-ae60-11ed-bfe3-dac502259ad0.jpg


													
														


审核编辑 :李倩


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4771

    浏览量

    100742
  • 数组
    +关注

    关注

    1

    文章

    417

    浏览量

    25941

原文标题:从泊松方程的解法,聊到泊松图像融合

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Matlab偏微分方程工具箱应用说明

    hyperbolic 求解双曲线型偏微分方程parabolic 求解抛物线型偏微分方程pdeeig 求解特征型偏微分方程pdenonlin 求解非线性型微分方程poisolv 利用矩阵
    发表于 09-22 15:26

    电子学领域的基本电磁定律,归纳/总结/点评

    高斯定理3.发拉弟定律4.安培定律4个定律+3个本构关系(E,D,H,B,J,E)得到麦克斯维方程组。说这个的书太多,公式什么的自己找,略。二级定律:1.标量和拉普拉斯方程2.矢量
    发表于 07-17 16:13

    嵌入式工控机保障港口靠零事故

    的晴雨表。在中国经济水平高速增长的大背景下,我国各地的港口也是呈现出一派繁荣的景象。对于技术手段助力现代化、信息化港口的手段中,就不得不说港口辅助靠系统。在如今港口吞吐量逐年增长的态势下,传统的办法
    发表于 11-27 14:23

    计算机Fortran编程实现偏微分方程拉普拉斯变换

    。 这一特性用于通道二极管以达到层的宽度在次数10**-6厘米(cm),通过重的掺杂于普通的p-n节比较的次数10**-4cm。我们刚刚演示了方程应用的例子,包含解答一个已知电荷分布的势能分布。
    发表于 08-14 20:38

    基于双TDA4VM行一体方案

    ,不再是专业人士的纸上谈兵。当前,整车的电子电气架构由分布式向集中式演进的过程中,泊车功能和行车功能融合,出现了越来越多的行一体技术方案即智能驾驶域控制器方案。多芯片的行一体化方案在已经得到了广泛应用
    发表于 11-03 07:54

    五点差分格式求解方程并行算法的研究

    以二维静电场方程数值求解的串行算法(雅可比迭代、超松弛迭代)为基础,提出了五点差分格式超松弛迭代(SOR)求解二维静电场
    发表于 11-20 12:05 30次下载

    基于计算机视觉的医学图像自动识别技术研究_胡晓

    基于计算机视觉的医学图像自动识别技术研究_胡晓
    发表于 03-16 14:35 0次下载

    基于数据驱动紧框架图像去噪模型

    图像去噪是图像处理中的基本问题之一。现如今,已经存在了大量的算法能够解决含高斯噪声的图像去噪问题。但是,含噪声的
    发表于 11-05 15:27 9次下载
    基于数据驱动紧框架<b class='flag-5'>图像</b>去噪模型

    三维方程并行求解算法

    方程的数值解法在许多物理或者工程问题上得到广泛应用,但是由于大部分三维
    发表于 11-17 17:27 16次下载

    机器学习:分布与指数分布

    统计概念其实容易理解多了。 我举一个例子,什么是分布和指数分布?恐怕大多数人都说不清楚。 我可以在10分钟内,让你毫不费力地理解这两个概念。一句话总结:分布是单位时间内独立事件
    发表于 11-29 03:44 4573次阅读

    pcb线路板铜概述和特点

    一、pcb线路板铜介绍 Copperfoil(铜):一种阴质性电解法原材料,沉定于PCBpcb线路板真皮层上的一层薄的、持续的金属材料箔,它做为PCB的电导体。它非常容易黏合于电缆护套,接纳包装
    的头像 发表于 04-04 09:41 3897次阅读

    基于簇过程的毫米波异构网络模型

    针对大规模热点通信场景中用户设备(UE)和基站空间的相关性描述问题,构建基于簇过程的毫米波异构网络模型,并提岀一种基于微微基站(PBS)最近距离比的UE簇分类方案。根据毫米波传输模型和路径损耗
    发表于 03-17 10:39 14次下载
    基于<b class='flag-5'>泊</b><b class='flag-5'>松</b>簇过程的毫米波异构网络模型

    基于方程的生成模型 PFGM

    扩散模型最早来源于物理中的热力学,最近却在人工智能领域大放异彩。还有什么物理理论可以推动生成模型研究的发展呢?
    的头像 发表于 10-20 09:22 1520次阅读

    光的波动性之亮斑介绍

    当单色光照射在直径恰当的小圆板或圆珠时,会在之后的光屏上出现环状的互为同心圆的衍射条纹,并且在所有同心圆的圆心处会出现一个极小的亮斑,这个亮斑就被称为亮斑。
    发表于 11-14 15:33 1.4w次阅读

    PCL盘采样具体流程

    盘采样 盘采样(possion disk sampling)的特点是任何两个点的距离都不会隔得太近。 比如下图,左边是随机生成的点,右边是
    的头像 发表于 11-21 17:42 1287次阅读
    PCL<b class='flag-5'>泊</b><b class='flag-5'>松</b>盘采样具体流程