OpenCV×文字認識エンジン

前回、形状マッチングで文字認識をさせようとして見事に失敗した。

しょうがないので、偉大な誰かが作った文字認識エンジンをありがたく使わせていただく事に。

そんなこんなで本日作ったガラクタは、以下のようなカメラ映像から、赤枠内の文字を認識してくれるというシロモノだよ。

こういうものを読み込ませると…。

こんなふうに認識してくれる。

---

これを作るためにいろいろ探していたら、Tesseract-OCR という文字認識エンジンを見つけたので、さっそくダウンロード。 Windows 環境なら、tesseract-ocr-setup-3.00.exe あたりを落とせば幸せになれると思う。

これを、C:\Program Files\Tesseract-OCR というフォルダにインストール。

使い方は、認識させたい画像を tiff 形式（たとえば tmp.tiff ）で保存して、コマンドラインに

tesseract.exe tmp.tiff result

と打ち込む。

すると、自動的に生成されたテキストファイル（result.txt）に結果が書き込まれるのだ。

つまり、ぼくが実装するのは検出対象領域の tiff 画像を作り、tesseract.exe を呼ぶ事くらい。ほとんどオートマチックに実現できてしまう。

view plainprint?

1. #include<cv.h>  
2. #include<cxcore.h>  
3. #include<highgui.h>  
4.   
5. #include<fstream>  
6. #include<iostream>  
7. #include<string>  
8.   
9. #include<cstdlib>  
10.   
11. #pragma comment(lib,"cv200.lib")  
12. #pragma comment(lib,"cxcore200.lib")  
13. #pragma comment(lib,"highgui200.lib")  
14.   
15. int main() {  
16.   
17.     CvCapture* capture = NULL;  
18.     if((capture = cvCreateCameraCapture(0)) == NULL)   
19.         return -1;  
20.   
21.     cvNamedWindow("カメラ映像", CV_WINDOW_AUTOSIZE);  
22.   
23.     IplImage* rgbImg;  
24.   
25.     while(1) {  
26.   
27.         // ====================  
28.         // カメラからキャプチャ  
29.         // ====================  
30.         rgbImg = cvQueryFrame(capture);  
31.   
32.         // 識別対象枠の表示  
33.         int fieldSize = (int)(rgbImg->height * 0.9);  
34.         cvRectangle(rgbImg,  
35.             cvPoint(      
36.                 (rgbImg->width  - fieldSize) / 2 -1,  
37.                 (rgbImg->height - fieldSize) / 2 -1),  
38.             cvPoint(  
39.                 (rgbImg->width  + fieldSize) / 2 +1,  
40.                 (rgbImg->height + fieldSize) / 2 +1),  
41.             cvScalar(0, 0, 255));  
42.   
43.         cvShowImage("カメラ映像", rgbImg);  
44.   
45.         // =======  
46.         // ROI設定  
47.         // =======  
48.         cvSetImageROI(rgbImg,   
49.             cvRect((rgbImg->width - fieldSize) / 2,   
50.                    (rgbImg->height - fieldSize) / 2,   
51.                 fieldSize, fieldSize));  
52.   
53.           
54.         int key = cvWaitKey(33);  
55.         // ===========================  
56.         // Sキーが押されたら、文字認識  
57.         // ===========================  
58.         if (key == 's') {  
59.             cvSaveImage("test.tiff", rgbImg);  
60.               
61.             // コマンド実行（結果はtmp.txtに保存）  
62.             system("\"C:\\Program Files\\Tesseract-OCR\\tesseract.exe\" test.tiff tmp");  
63.             system("cls");  
64.   
65.             // tmp.txtの内容を表示  
66.             std::ifstream ifs("tmp.txt");  
67.             std::string str;  
68.             ifs >> str;  
69.             std::cout << "「" << str <<  
70.                 "」…と、検出されました。" << std::endl;  
71.   
72.         }  
73.   
74.         cvResetImageROI(rgbImg);  
75.         if (key == 'q') break;  
76.     }  
77.   
78.     cvReleaseCapture(&capture);  
79.     cvReleaseImage(&rgbImg);  
80.   
81.     cvDestroyWindow("カメラ映像");  
82.   
83.     return 0;  
84. }  

#include<cv.h>
#include<cxcore.h>
#include<highgui.h>

#include<fstream>
#include<iostream>
#include<string>

#include<cstdlib>

#pragma comment(lib,"cv200.lib")
#pragma comment(lib,"cxcore200.lib")
#pragma comment(lib,"highgui200.lib")

int main() {

    CvCapture* capture = NULL;
    if((capture = cvCreateCameraCapture(0)) == NULL) 
        return -1;

    cvNamedWindow("カメラ映像", CV_WINDOW_AUTOSIZE);

    IplImage* rgbImg;

    while(1) {

        // ====================
        // カメラからキャプチャ
        // ====================
        rgbImg = cvQueryFrame(capture);

        // 識別対象枠の表示
        int fieldSize = (int)(rgbImg->height * 0.9);
        cvRectangle(rgbImg,
            cvPoint(    
                (rgbImg->width  - fieldSize) / 2 -1,
                (rgbImg->height - fieldSize) / 2 -1),
            cvPoint(
                (rgbImg->width  + fieldSize) / 2 +1,
                (rgbImg->height + fieldSize) / 2 +1),
            cvScalar(0, 0, 255));

        cvShowImage("カメラ映像", rgbImg);

        // =======
        // ROI設定
        // =======
        cvSetImageROI(rgbImg, 
            cvRect((rgbImg->width - fieldSize) / 2, 
                   (rgbImg->height - fieldSize) / 2, 
                fieldSize, fieldSize));

        
        int key = cvWaitKey(33);
        // ===========================
        // Sキーが押されたら、文字認識
        // ===========================
        if (key == 's') {
            cvSaveImage("test.tiff", rgbImg);
            
            // コマンド実行（結果はtmp.txtに保存）
            system("\"C:\\Program Files\\Tesseract-OCR\\tesseract.exe\" test.tiff tmp");
            system("cls");

            // tmp.txtの内容を表示
            std::ifstream ifs("tmp.txt");
            std::string str;
            ifs >> str;
            std::cout << "「" << str <<
                "」…と、検出されました。" << std::endl;

        }

        cvResetImageROI(rgbImg);
        if (key == 'q') break;
    }

    cvReleaseCapture(&capture);
    cvReleaseImage(&rgbImg);

    cvDestroyWindow("カメラ映像");

    return 0;
}

操作方法は、対象物を写しつつ s キーを押すだけ。

すると、赤枠内の対象領域が test.tiff として保存され、tesseract.exe が呼ばれる。

保存された「test.tiff」

検出した文字は std::string オブジェクトに格納されるので、煮るなり焼くなりし放題だ（今回は単に表示しただけ）。


前回よりだいぶマシになったものの、残念ながら精度はまだ満足いくものではない（誤検出がけっこう多い）。

さらに前処理などを加える事で改善できそうな気もするけれど、ちょっと骨が折れそうなのでまた今度。