介紹

本文將討論如何快速地從圖像中刪除文本，作為圖像分類器的預(yù)處理步驟。

刪除文本可能有多種或多種原因，例如，我們可以使用無文本圖像進(jìn)行數(shù)據(jù)增強(qiáng)。

在本教程中，我們將使用OCR（光學(xué)字符識(shí)別）檢測(cè)圖像中的文本，并在修復(fù)過程中填充照片中丟失的部分以生成完整的圖像——以刪除我們檢測(cè)到的文本。

處理

為了從圖像中刪除文本，我們將執(zhí)行以下三個(gè)步驟：

1. 識(shí)別圖像中的文本，并使用KerasOCR獲取每個(gè)文本的邊界框坐標(biāo)。

2. 對(duì)于每個(gè)邊界框，應(yīng)用一個(gè)遮罩來告訴算法我們應(yīng)該修復(fù)圖像的哪個(gè)部分。

3. 最后，應(yīng)用一種修復(fù)算法對(duì)圖像的遮罩區(qū)域進(jìn)行修復(fù)，從而得到一個(gè)無文本圖像。

實(shí)現(xiàn)

Keras ocr簡(jiǎn)介

KerasOCR提供現(xiàn)成的ocr模型和端到端訓(xùn)練管道，以構(gòu)建新的ocr模型

在這種情況下，我們將使用預(yù)訓(xùn)練的模型，它對(duì)我們的任務(wù)非常有效。

KerasOCR將自動(dòng)下載探測(cè)器和識(shí)別器的預(yù)訓(xùn)練權(quán)重。

當(dāng)通過Keras orc傳遞圖像時(shí)，它將返回一個(gè)（word，box）元組，其中框包含四個(gè)角的坐標(biāo)（x，y）。

下面是一個(gè)快速示例：

import matplotlib．pyplot as plt

import keras＿ocr

pipeline ＝ keras＿ocr．pipeline．Pipeline（）

＃read image from the an image path （a jpg／png file or an image url）

img ＝ keras＿ocr．tools．read（image＿path）

＃ Prediction＿groups is a list of （word， box） tuples

prediction＿groups ＝ pipeline．recognize（［img］）

＃print image with annotation and boxes

keras＿ocr．tools．drawAnnotations（image＝img， predictions＝prediction＿groups［0］）

如果我們看一下prediction＿groups，我們會(huì)看到每個(gè)元素對(duì)應(yīng)一組坐標(biāo)。

例如，prediction＿groups［0］［10］如下：

（＇tuesday＇，

array（［［ 986．2778 ，  625．07764］，

               ［1192．3856 ，  622．7086 ］，

               ［1192．8888 ，  666．4836 ］，

               ［ 986．78094，  668．8526 ］］， dtype＝float32））

數(shù)組的第一個(gè)元素對(duì)應(yīng)左上角的坐標(biāo)，第二個(gè)元素對(duì)應(yīng)右下角，第三個(gè)元素是右上角，而第四個(gè)元素是左下角。

cv2修復(fù)函數(shù)

使用OpenCV應(yīng)用修復(fù)算法時(shí)，需要提供兩幅圖像：

1. 輸入圖像，包含我們要?jiǎng)h除的文本。

2. 遮罩圖像，它顯示圖像中要?jiǎng)h除的文本在哪里。第二個(gè)圖像的尺寸應(yīng)與輸入的尺寸相同。

Cv2具有兩種修復(fù)算法，并允許應(yīng)用矩形、圓形或線遮罩

在這種情況下，我決定使用線遮罩，因?yàn)樗鼈兏�靈活地覆蓋不同方向的文本（矩形遮罩只適用于平行或垂直于x軸的單詞，圓形遮罩將覆蓋比較大的區(qū)域）。

為了應(yīng)用遮罩，我們需要提供線的起點(diǎn)和終點(diǎn)坐標(biāo)以及線的厚度：

起點(diǎn)將是框的左上角和左下角之間的中點(diǎn)，終點(diǎn)將是右上角和右下角之間的中點(diǎn)。

對(duì)于厚度，我們將計(jì)算左上角和左下角之間的線長(zhǎng)度。

import math

import numpy as np

def midpoint（x1， y1， x2， y2）：

   x＿mid ＝ int（（x1 ＋ x2）／2）

   y＿mid ＝ int（（y1 ＋ y2）／2）

   return （x＿mid， y＿mid）

＃example of a line mask for the word ＂Tuesday＂

box ＝ prediction＿groups［0］［10］

x0， y0 ＝ box［1］［0］

x1， y1 ＝ box［1］［1］ 

x2， y2 ＝ box［1］［2］

x3， y3 ＝ box［1］［3］ 

x＿mid0， y＿mid0 ＝ midpoint（x1， y1， x2， y2）

x＿mid1， y＿mi1 ＝ midpoint（x0， y0， x3， y3）

thickness ＝ int（math．sqrt（ （x2 － x1）＊＊2 ＋ （y2 － y1）＊＊2 ））

現(xiàn)在我們可以創(chuàng)建我們的遮罩：

mask ＝ np．zeros（img．shape［：2］， dtype＝＂uint8＂）

cv2．line（mask， （x＿mid0， y＿mid0）， （x＿mid1， y＿mi1）， 255， thickness）

我們還可以檢查遮罩區(qū)域，確保其正常工作。

masked ＝ cv2．bitwise＿and（img， img， mask＝mask）

plt．imshow（masked）

最后，我們可以修復(fù)圖像。

在這種情況下，我們將使用cv2．INPAINT＿NS，指得是“Navier－Stokes， Fluid Dynamics， and Image and Video Inpainting”一文中描述的修復(fù)算法。

img＿inpainted ＝ cv2．inpaint（img， mask， 7， cv2．INPAINT＿NS）

plt．imshow（img＿inpainted）

正如你所看到的，“Tuesday”已從圖片中刪除。

匯總

現(xiàn)在，讓我們把它總結(jié)起來，創(chuàng)建一個(gè)函數(shù)來去除任何圖像中的文本。我們只需要生成框列表，并迭代每個(gè)文本框。

import matplotlib．pyplot as plt

import keras＿ocr

import cv2

import math

import numpy as np

def midpoint（x1， y1， x2， y2）：

   x＿mid ＝ int（（x1 ＋ x2）／2）

   y＿mid ＝ int（（y1 ＋ y2）／2）

   return （x＿mid， y＿mid）

pipeline ＝ keras＿ocr．pipeline．Pipeline（）

def inpaint＿text（img＿path， pipeline）：

   ＃ read image

   img ＝ keras＿ocr．tools．read（img＿path）

   ＃ generate （word， box） tuples 

   prediction＿groups ＝ pipeline．recognize（［img］）

   mask ＝ np．zeros（img．shape［：2］， dtype＝＂uint8＂）

   for box in prediction＿groups［0］：

       x0， y0 ＝ box［1］［0］

       x1， y1 ＝ box［1］［1］ 

       x2， y2 ＝ box［1］［2］

       x3， y3 ＝ box［1］［3］ 

       x＿mid0， y＿mid0 ＝ midpoint（x1， y1， x2， y2）

       x＿mid1， y＿mi1 ＝ midpoint（x0， y0， x3， y3）

       thickness ＝ int（math．sqrt（ （x2 － x1）＊＊2 ＋ （y2 － y1）＊＊2 ））

       cv2．line（mask， （x＿mid0， y＿mid0）， （x＿mid1， y＿mi1）， 255， thickness）

       img ＝ cv2．inpaint（img， mask， 7， cv2．INPAINT＿NS）

   return（img）

以下是最終結(jié)果（之前和之后）：

另外兩個(gè)例子：

請(qǐng)注意，如果要保存圖像，需要將其轉(zhuǎn)換為RGB格式，否則顏色會(huì)反轉(zhuǎn)！

img＿rgb ＝ cv2．cvtColor（img， cv2．COLOR＿BGR2RGB）

cv2．imwrite（‘text＿free＿image．jpg’，img＿rgb）

如果你只對(duì)刪除某些單詞感興趣，則可以包括一個(gè)if條件，如下所示：

給出了一個(gè)要?jiǎng)h除的單詞列表

remove＿list ＝ ［‘tuesday’， ‘monday’］

我們可以在for循環(huán)中包含if條件

def inpaint＿text（img＿path， remove＿list， pipeline）：
   

   ＃ read image

   img ＝ keras＿ocr．tools．read（img＿path）
   

   ＃ generate （word， box） tuples 

   prediction＿groups ＝ pipeline．recognize（［img］）

   mask ＝ np．zeros（img．shape［：2］， dtype＝＂uint8＂）
   

   for box in prediction＿groups［0］：
       

      if box［0］ in remove＿list：

          x0， y0 ＝ box［1］［0］

          x1， y1 ＝ box［1］［1］ 

          x2， y2 ＝ box［1］［2］

          x3， y3 ＝ box［1］［3］
       

          x＿mid0， y＿mid0 ＝ midpoint（x1， y1， x2， y2）
           

          x＿mid1， y＿mi1 ＝ midpoint（x0， y0， x3， y3）
       

          thickness ＝ int（math．sqrt（ （x2 － x1）＊＊2 ＋ （y2 － y1）＊＊2 ））
       

          cv2．line（mask， （x＿mid0， y＿mid0）， （x＿mid1， y＿mi1）， 255，    
          thickness）
           

          img ＝ cv2．inpaint（img， mask， 7， cv2．INPAINT＿NS）
                

   return（img）

當(dāng)然，這只是一個(gè)快速的例子，說明了如何對(duì)特定的單詞列表進(jìn)行修復(fù)。

結(jié)尾

在這篇文章中，我們討論了如何實(shí)現(xiàn)一種算法來自動(dòng)刪除圖像中的文本，該算法使用一個(gè)預(yù)訓(xùn)練好的OCR模型（使用Keras）和一個(gè)使用cv2的修復(fù)算法。該算法似乎可以很好地從圖像中快速刪除文本，而無需為此特定任務(wù)訓(xùn)練模型。

當(dāng)文本框靠近其他對(duì)象時(shí)，它通常表現(xiàn)不好，因?yàn)樗�可能�?huì)扭曲周圍環(huán)境。

感謝閱讀！

       原文標(biāo)題 : 使用CV2和Keras OCR從圖像中刪除文本