双边滤波 for gray and color images
原理
在滤波加权的时候计算几何相似度和光学相似度,在亮度差别大的地方不进行平均加权,从而达到保边。
公式
在上述公式中,k代表正则化,c(.)代表几何相似度,也就是距离, s(.) 代表光学相似度,可以是色彩的差,亮度的差等。
实验现象
如果只做色彩滤镜相当于对直方图进行压缩,也就是只做色彩滤镜相当于把全图色彩平均,向中灰度压缩。
当像素相似度比较大的时候(100~300),对于小的范围参数影响不大了,因为几乎小范围内的所有数据都在像素相似度内。整图结果主要由范围半径控制。
当范围半径比较大的时候,双边滤波更像是色彩相似度滤镜,表现为对直方图的压缩,现象就是偏灰。
常说到的导致梯度反转
首先,是双边滤波在做Tone Mapping时才会导致梯度反转。并不是直接用双边滤波得到保边平滑图就会出现梯度反转。
双边滤波在做Tone Mapping时,Fast Bilateral Filtering for the Display of High-Dynamic-Range Images ,将图像分成base层和ditail 层 base = BF(ori_img) detail = ori_img./base。由于base层在边缘处加权的数据少,所以不稳定,偏向没有边缘的那一侧的值。导致的detail层也不稳定,在增强或者压缩base后,叠加detail会出现梯度反转。
Guided Filter
目的
保边平滑,线性时间复杂度(与滤波半径无关),以及和matting Laplacian matrix理论有相似形式。可以用于:去噪,细节增强/平滑,HDR压缩,抠图,羽化,去雾,联合双边上采样。
原理
在一个小的局部区域,输出是guidance I 的一个线性变化,通过这个假设来确保,在局部,输出q的梯度和guidance I的梯度成比例,从而引入,或者说保留guidance I的梯度。
在一个局部的区域内,输出q,或者说是去噪音后的输入p,是引导图I的一个kI+b的线性变化。kI也就是,引导图的变化趋势都被保留,b是为了模拟p所在域的bias。eps控制a不能太大,这项是为了控制平滑(模糊)程度的
公式
公式意义:
当I没有梯度的时候,a等于0 ;当p没有梯度的时候,a等于0; 也就是任意一方是平坦图的时候,输出q 退化为p的两次boxfilter
当I有比较大的梯度,p也有比较大梯度,且他们有相关性的时候(分母一定,也就是I方差一定,Ip相关性越大分子越大),a越大,I的梯度得到保留;
当引导图的方差远小于eps时,a几乎等于0,像素被平滑,也就是引导图方差相对于eps的关系决定了平滑的力度。
对于引导图I,滤波图p为一副图的情况,a = 方差/方差+eps b = avg - a*avg。输出就变成了根据方差和eps关系,来选择性输出原图或者是avg图。对于方差比较大的边缘,输出原图的权重高,对于方差比较小的地方,输出平均图的权重高。
公式几何意义:在一个局部区域内,I为横轴p为纵轴,q = aI+b,也就是一条直线尽量拟合每一个(I,p) ,那么根据这个拟合结果,可以对原本的p有一个新的输出q。
考虑到eps 对a的限制,输出可能更平滑一些
线性复杂度:由于一个固定方框内的均值方差可以采用box filter的优化方式变成线性复杂度,因此本算法也可以优化成线性复杂度。
实验现象
参数: GuidedFilter(guided,10,0.000001),对于引导图是黑白图像,输出会引入边缘处其他梯度,会导致有些边缘模糊。模糊可能是因为,第一,p在该区域不全为0,有梯度变化。引导图在该区域有梯度,a有值,再加上a的平均,导致在边缘区域加入了引导图。第二,引入边缘处的梯度就是不完全的加权加了一部分原图的自然结果。且a并不是1,是-1~11的数据。简单来说,在边缘处黑度图他们不可清晰分类。
对于引导图是彩色图,其结果好转。彩色图在计算时,a是引导图三通道3*3方差 * (I * P), 也就是单独通道颜色不匹配(哪怕亮度匹配),a依旧很小。防止引入相同亮度不同颜色的边缘信息。简单来说,在rgb色彩空间,边缘可分。
抠图潜在危险
半径不能太大。不然线性无法拟合。而且脸部要是有白色高光容易和背景墙混淆。
几乎完全相同颜色的边缘信息会引入。比如白色衣服白色墙体。黑色头发黑色椅子,因为本质上相同颜色不可分。于是会出现更多错误。
边缘处有rgb色彩重叠,会有些错分,带来就是部分引入错误,淡化原本01的强分割边界。
代码
https://github.com/lisabug/guided-filter
针对于抠图的潜在危险设计的S_Guided Filter
针对于缺点2,设计了选择区域的GF,总的来说是颜色差别较大的区域Guided Filter生效,当颜色差别较小的区域不使用Guided Filter
具体做法:在算引导图I 方差的时候,标记I 大于一定值的区域作为生效区域。当引导图为彩色图是,存在RR,RG,RB..等九个协方差,选取最大那个作为判定值。(因为当有一种颜色RR GG BB,或者一对颜色关系RG RB GB 可分时这个区域就可以区分)。
引入的危险:阈值如何计算。太小了的话,那些高噪音的平台区域也变成working area了,太大了的话,一些本来可以使用GF的区域也失效了。
测试case:尽量让浅肤色和白墙,深色头发和黑墙可以区分,不让白衣服白墙,全黑衣服和黑墙,以及高噪音全黑衣服和黑墙引入错误。
针对于缺点3,对GF后的结果进行了一些拉伸,让分割锐利,且剔除被分到前景的背景,但不在原基础上新增内容(可能有的前景被CNN分到了背景但是GF也无法加回来了)
具体做法:
•Q, Workingarea = GuidedFilter(guidedI,ori_mask) ;//得到可分区域或者纹理复杂区域
•Q是GF算法的直接结果,包含错分区域,纹理复杂区域,以及正确区域
•M = ori_mask - Q;//改变值, M本身在-1~1之间
•M = M * 2 – 0.3(beta);//将改变的数据进行拉伸,后在-2.3 ~1.7之间放大改变值的。
•M[M<0]= 0; // 1:不会新添加东西 2:如果改变值过小就忽视 。
•M[M>1] = 1; //数据合理性约束
•Output = (Workingarea == TRUE)? (ori_mask – M) : ori_mask
•Output < 0 = 0; // 数据合理性
引入的危险:*2 - 0.3 是手调拉伸超参数。为了保证变化锐利而非自然。且舍弃了将前景补足的潜力。
测试case:卷曲的头发剔除背景合理,不增加黑头发后面的复杂背景。