形状マッチングで文字認識をさせようとして失敗してみた

Web カメラから撮影した数字を自動的に認識できたらいいなぁと思い、こんなものを作ってみた。

Webカメラで撮った数字を認識しているところ。背景のコマンドプロンプトには識別した数値が表示されている。
その他のウィンドウ ／ 左:カメラの映像、右上:2値化してトリミングした画像、右下:対応するテンプレート画像。

一応、プログラム自体はできたのだけど、精度が悪過ぎて到底使い物にならなかった。

恥の記録として残しておく事にする。

---

プログラムを書く前に、0 ～ 9 の数字の「お手本」となる画像を用意する必要がある。それぞれに、0.jpg、1.jpg、…、9.jpg という連番を振っておく。

これをソースと同じフォルダに入れて、以下のプログラムを書いてみた。

view plainprint?

1. #include<cv.h>  
2. #include<cxcore.h>  
3. #include<highgui.h>  
4.   
5. #include<climits>  
6. #include<iostream>  
7. #include<string>  
8.   
9. #pragma comment(lib,"cv200.lib")  
10. #pragma comment(lib,"cxcore200.lib")  
11. #pragma comment(lib,"highgui200.lib")  
12.   
13. const int level = 110;  // 二値化する際の閾値  
14.   
15. int main() {  
16.   
17.     CvCapture* capture = NULL;  
18.     if((capture = cvCreateCameraCapture(0)) == NULL)   
19.         return -1;  
20.   
21.     cvNamedWindow("カメラ映像", CV_WINDOW_AUTOSIZE);  
22.     cvNamedWindow("識別対象", CV_WINDOW_AUTOSIZE);  
23.     cvNamedWindow("識別結果", CV_WINDOW_AUTOSIZE);  
24.   
25.     IplImage* rgbImg;  
26.     IplImage* grayImg;  
27.     IplImage* targetArea;  
28.   
29.     // ============================  
30.     // 連番ファイルを配列に読み込み  
31.     // ============================  
32.     IplImage* templateNumbers[10];  
33.     for(int i = 0; i < 10; ++i) {  
34.         std::ostringstream oss;  
35.         oss << i << ".jpg";  
36.           
37.         templateNumbers[i] =   
38.             cvLoadImage(oss.str().c_str(),   
39.                 CV_LOAD_IMAGE_GRAYSCALE);  
40.           
41.     }  
42.     targetArea = cvCreateImage(cvSize(200, 200),   
43.         IPL_DEPTH_8U, 1);  
44.   
45.     // ====================  
46.     // カメラからキャプチャ  
47.     // ====================  
48.     rgbImg = cvQueryFrame(capture);  
49.     grayImg = cvCreateImage(  
50.         cvSize(rgbImg->width, rgbImg->height),  
51.             rgbImg->depth, 1);  
52.   
53.     while(1) {  
54.         rgbImg = cvQueryFrame(capture);  
55.   
56.         // ======  
57.         // 二値化  
58.         // ======  
59.         cvCvtColor(rgbImg, grayImg, CV_BGR2GRAY);  
60.         cvThreshold(grayImg, grayImg,   
61.             level, 255, CV_THRESH_BINARY);  
62.   
63.         // 識別対象枠の表示  
64.         int fieldSize = (int)(rgbImg->height * 0.9);  
65.         cvRectangle(rgbImg,  
66.             cvPoint(      
67.                 (rgbImg->width  - fieldSize) / 2,  
68.                 (rgbImg->height - fieldSize) / 2),  
69.             cvPoint(  
70.                 (rgbImg->width  + fieldSize) / 2,  
71.                 (rgbImg->height + fieldSize) / 2),  
72.             cvScalar(0, 0, 255));  
73.   
74.         cvShowImage("カメラ映像", rgbImg);  
75.   
76.         // =======  
77.         // ROI設定  
78.         // =======  
79.         cvSetImageROI(grayImg,   
80.             cvRect((grayImg->width - fieldSize) / 2,   
81.                    (grayImg->height - fieldSize) / 2,   
82.                 fieldSize, fieldSize));  
83.   
84.         // ==============  
85.         // 形状マッチング  
86.         // ==============  
87.         double min = 9999;  
88.         int index = 0;  
89.         for(int i = 0; i <= 9; ++i) {  
90.             cvResize(grayImg, targetArea, 1);  
91.             double tmp = cvMatchShapes(targetArea,   
92.                 templateNumbers[i],   
93.                     CV_CONTOURS_MATCH_I3, 0);  
94.   
95.             if (min > tmp) {  
96.                 min = tmp;  
97.                 index = i;  
98.             }  
99.         }  
100.   
101.         // ========  
102.         // 結果表示  
103.         // ========  
104.         cvShowImage("識別対象", targetArea);  
105.         cvShowImage("識別結果", templateNumbers[index]);  
106.    
107.         cvResetImageROI(grayImg);  
108.         std::cout << index << "\n";     
109.   
110.         if( cvWaitKey(33) == 'q') break;  
111.     }  
112.   
113.     cvReleaseCapture(&capture);  
114.     cvReleaseImage(&rgbImg);  
115.     cvReleaseImage(&grayImg);  
116.   
117.     cvDestroyWindow("カメラ映像");  
118.     cvDestroyWindow("識別対象");  
119.     cvDestroyWindow("識別結果");  
120.   
121.     return 0;  
122. }  

#include<cv.h>
#include<cxcore.h>
#include<highgui.h>

#include<climits>
#include<iostream>
#include<string>

#pragma comment(lib,"cv200.lib")
#pragma comment(lib,"cxcore200.lib")
#pragma comment(lib,"highgui200.lib")

const int level = 110;  // 二値化する際の閾値

int main() {

    CvCapture* capture = NULL;
    if((capture = cvCreateCameraCapture(0)) == NULL) 
        return -1;

    cvNamedWindow("カメラ映像", CV_WINDOW_AUTOSIZE);
    cvNamedWindow("識別対象", CV_WINDOW_AUTOSIZE);
    cvNamedWindow("識別結果", CV_WINDOW_AUTOSIZE);

    IplImage* rgbImg;
    IplImage* grayImg;
    IplImage* targetArea;

    // ============================
    // 連番ファイルを配列に読み込み
    // ============================
    IplImage* templateNumbers[10];
    for(int i = 0; i < 10; ++i) {
        std::ostringstream oss;
        oss << i << ".jpg";
        
        templateNumbers[i] = 
            cvLoadImage(oss.str().c_str(), 
                CV_LOAD_IMAGE_GRAYSCALE);
        
    }
    targetArea = cvCreateImage(cvSize(200, 200), 
        IPL_DEPTH_8U, 1);

    // ====================
    // カメラからキャプチャ
    // ====================
    rgbImg = cvQueryFrame(capture);
    grayImg = cvCreateImage(
        cvSize(rgbImg->width, rgbImg->height),
            rgbImg->depth, 1);

    while(1) {
        rgbImg = cvQueryFrame(capture);

        // ======
        // 二値化
        // ======
        cvCvtColor(rgbImg, grayImg, CV_BGR2GRAY);
        cvThreshold(grayImg, grayImg, 
            level, 255, CV_THRESH_BINARY);

        // 識別対象枠の表示
        int fieldSize = (int)(rgbImg->height * 0.9);
        cvRectangle(rgbImg,
            cvPoint(    
                (rgbImg->width  - fieldSize) / 2,
                (rgbImg->height - fieldSize) / 2),
            cvPoint(
                (rgbImg->width  + fieldSize) / 2,
                (rgbImg->height + fieldSize) / 2),
            cvScalar(0, 0, 255));

        cvShowImage("カメラ映像", rgbImg);

        // =======
        // ROI設定
        // =======
        cvSetImageROI(grayImg, 
            cvRect((grayImg->width - fieldSize) / 2, 
                   (grayImg->height - fieldSize) / 2, 
                fieldSize, fieldSize));

        // ==============
        // 形状マッチング
        // ==============
        double min = 9999;
        int index = 0;
        for(int i = 0; i <= 9; ++i) {
            cvResize(grayImg, targetArea, 1);
            double tmp = cvMatchShapes(targetArea, 
                templateNumbers[i], 
                    CV_CONTOURS_MATCH_I3, 0);

            if (min > tmp) {
                min = tmp;
                index = i;
            }
        }

        // ========
        // 結果表示
        // ========
        cvShowImage("識別対象", targetArea);
        cvShowImage("識別結果", templateNumbers[index]);
 
        cvResetImageROI(grayImg);
        std::cout << index << "\n";   

        if( cvWaitKey(33) == 'q') break;
    }

    cvReleaseCapture(&capture);
    cvReleaseImage(&rgbImg);
    cvReleaseImage(&grayImg);

    cvDestroyWindow("カメラ映像");
    cvDestroyWindow("識別対象");
    cvDestroyWindow("識別結果");

    return 0;
}

理論としては、お手本画像の輪郭とカメラ画像の識別対象領域の輪郭それぞれの Hu 不変モーメントを比較し、最も適合するものを結果として表示している……はずなのだが、全くうまくいかない。

お手本画像をもうちょっとマシなものに変えればいいのだろうか。

ちなみに、なんでこんな事をしたかったかというと、カメラでナンバープレイスの問題を撮るだけで自動的に解答を導いてくれるプログラムができたら素敵だなと感じたからである。

こんな面倒な事をやるくらいなら、普通に解いた方が早い気もしてきた。

---

それはそうと、ぼくの環境（Windows Vista + Visual C++ 2008 + OpenCV 2.0）では、IplImage （や、CvCapture 等）を cv::Ptr で包むと、いろいろややこしいバグが生じるようだ。

試しに、rgbImage の宣言部を

view plainprint?

25. cv::Ptr<IplImage> rgbImg;  

cv::Ptr<IplImage> rgbImg;

に書き換えて、さらに

view plainprint?

114. cvReleaseImage(&rgbImg);  

cvReleaseImage(&rgbImg);

をコメントアウトしてからビルド・実行したところ、こんなエラーが出た。

ステップ実行を駆使してエラーの発生源を突き止めたところ、なんと

view plainprint?

59. cvCvtColor(rgbImg, grayImg, CV_BGR2GRAY);  

cvCvtColor(rgbImg, grayImg, CV_BGR2GRAY);

であった。たぶん、この関数の中では超ストイックな処理でメモリアクセスが行われていて、スマートポインタなどという軟弱きわまりない機構の利用などは設計者の想定外だったのだろう。

このバグのせいで数時間に亘って頭を抱える事となり、原因究明後はメモリの確保・解放を自力でやる事によって一応の解決をみた。