OpenCVを使ってみる

この記述は、2010/07/10のものです。内容は古くなっています。

OpenCV関連の記述は、新しいサイトのAIカテゴリーに移動中です、ご了承ください。

何で、地図サイトにOpenCVなの....というと。

ここが気になっているからです--->IM2GPS

カーネギーメロンのプロジェクトのようで、サイトは最近更新されていないので大丈夫かいな、という感じですがやってることは興味津々です。

IM2GPSについては、めも（余談）の中に資料を集めています。参考までに。

SRTMと連動すれば、もっとOpenCVが生きてくるような気もするんですが（ＣＧデータも使えそう、カシミール３Ｄみたいな）。

まあ、ＡＲともまんざら無関係でもなさそうなので.....。

インストールから運用までの工程を順番に書いておきます

後日、なんかの参考になるでしょう(^^)

前書き

インストール

インストールの確認

顔認識の前にまずは、お顔の検出をやってみる

機械学習をやってみる

物体検出をやってみる

めも（余談）

いろいろなカスケードを試してみる

矩形座標取得(haartraining用)
一応ＩＥは対応しました。

お顔のパーツを検出

他のOpenCV関連ページ New

前書き

今更ながらのOpenCVですが、とにかく使ってみます。

第一の目標は、もちろん顔認識のWebサービスをやってみる...というところ。

第二の目標は、風景写真の位置特定です....(先は長いですが、できれば年代特定も）。

プラットフォームは、Windows2000/XPという、くそレガシーな環境。

これで動けば、後どこだって動くだろう....という感じです。

組み合わせは、Windows + OpenCV + Python + Apache

Pythonを選んだのは、速いし、ドキュメントも多そう..というだけの理由。

因みに、ローカルでやろうとすれば、MSのVisualStudioのC++なんかがよさげなようです。

バージョンは以下の通り

OpenCV --> 2.0

Python --> 2.6.5

Apache --> 2.2.12

OpenCVの最新は現在(2010/07/10)、2.1ですがインストーラがたまたま2.0だったので、これを使用。

Pythonは2.6.5。これ以外のバージョンでは2.7と2.6.2を試してみましたが、メモリエラーなどが出て、OpenCV2.0との相性がよろしくなさそうだったので、これでいきます。

ダウンロードページは以下の通り

OpenCV(sourceforge)

Python公式ページ

Apache公式ページ

めんどくさい方は、以下から直ＤＬしてください。

OpenCV-2.0.0a-win32.exe(Windowsインストーラー)

Python-2.6.5.msi(Windowsインストーラー)

OpenCVってなんじゃい、というかたはこちら。

TOP

インストール

●OpenCVとPythonのインストールはどっちが先でもかまいません。

インストール時にPATHをどうする？と聞いてきますが、all usersに設定しとけばいいです。

確認するところは２つ。

①：Windowsの環境変数に、Pythonのパスを設定

python.exeはPythonのインストールフォルダーの直下にあるので

pathにはC:¥Python26を記述しておきます。

②：PythonにOpenCVを認識させる

   Pythonのフォルダーが、C:¥Python26の場合

   C:¥Python26¥Lib¥site-packagesフォルダーにOpenCV関連のファイルがあるかどうか確認

   ない場合は、OpenCV2.0¥Python2.6¥Lib¥site-packages内の

   opencvフォルダーと、cv.pyd、libcv.dll.aの２つのファイルをコピー

●今回は、PythonをApacheのCGIとして使うつもりなので、Apacheのhttpd.confを編集します。

Pythonはcgiとして機能させます。通常、cgiはApacheフォルダー内の、cgi-binに置かれます。

Pythonのファイルの拡張子は、.py ですが、今回の場合、拡張子は、.cgiです。

さらに、cgi-binのままでは不便なので、ドキュメントルートにPythonファイルを置くようにします。

httpd.confを編集します。

以下の３つを追加（最後の１つは任意）

ドキュメントルートが、C:¥docroute、だとします(ここは各自の環境で読み替えてください)。

①

ScriptAlias /cgi-bin/ "C:¥docroute/"

②

<Directory "C:¥docroute">

   AllowOverride None

   Options +ExecCGI

   Order allow,deny

   Allow from all

</Directory>

③

DirectoryIndex

   index.cgi

TOP

インストールの確認

例えば、OpenCVのインストール先フォルダー内の

samples¥swig_python¥delaunay.pyをダブルクリックして実行してみてください。

これは、ドロネー三角形（とボロノイ分割）を描画します。

ウィンドウが開いて、描画が始まればOKです。

（キーを何か押せばクローズします）

TOP

顔認識の前にまずは、お顔の検出をやってみる

インストール時に用意されているカスケードファイルを使ってみます。

これは「ブーストされた分類器のカスケードを使う」と表現されます。

ブーストはアルゴリズムを指し、分類器のカスケードは、識別器の連結のことです

詳細は別に譲るとして、具体的には、インストールされたOpnCVの中の、data/haarcascadesフォルダー内の XMLファイルのことです。デフォルトでは１９個ほどがインストールされています。

ソースはこんな感じです。

サンプルにも顔検出のコードがありますが、なぜかうまく動きません。

で、主要なコードを抽出してみました。

Pythonは、C:¥Python26

OpenCVは、C:¥OpenCV2.0

にインストールされているとします。

カスケードはhaarcascade_frontalface_default.xml。

faces.jpgというファイルを読んで、検出後、お顔の部分を矩形で囲って、detected_faces.jpgというファイルに吐き出します。

結果はこんな感じ。サンプルのでは、横顔とかは検出できません。

いちおうCGIを謳ってますので、お顔の検出をWebサービスでアップしてみました。

OpenCVのサンプル

お顔の写ったJPEGファイルをアップロードしてみてください

ご注意

このサンプルにはPythonコードにまだ問題があるようで、Windowsのデスクトップのファイルのクエリ送信ではエラーになります。

できれば、どこかのドライブ上にあるファイルでお試しください。

下段に「ファイル参照」のリンクが出ますので、クリックするとお顔検出の結果が見れます。

もし、ファイル参照して、「オブジェクトがないです」という意味のメッセージがでたら、

サーバー側のPythonに問題が起こっていると考えられます。日を改めてチャレンジしてみてください。

CGIのソースは今のところこんな感じ(index.cgi)。

このソースでは、「OpenCV」フォルダーをindex.cgiのホームとします。

実際は、上記の.pyファイルと組み合わせて使います。

（しかし、Pythonは使い慣れないとややこしい）

to be continued.

TOP

機械学習をやってみる

カスケードファイルをつくってみることにします。これをやってみないことには先に進めません。

この手の情報は他のサイトにいっぱいあるので、とっととやってみます。

まず、機械学習用の作業領域を作ります（仮に、C:\OpenCV\work）。

OpenCVのインストールフォルダーのbinフォルダーから、以下のファイルをコピー

●opencv_createsamples.exe

●opencv_haartraining.exe

●libcv200.dll

●libhighgui200.dll

●libcxcore200.dll

Windowsの場合、OpenCVは再コンパイルする必要がありますよ...ということでしたが、インストール時の環境でも問題ないみたいです。でもコンパイルしておきたいという向きには、以下参照、コンパイル後、Releaseフォルダーのファイルを workフォルダーにコピー。

このサイトを参考にさせていただきます

ここでは、文字認識のための機械学習をやってます。

で、まずは正解画像を作成してみました。

DOS窓を開いて、作業フォルダーへ移動。

以下のコマンドをたたきます。

opencv_createsamples.exe -img TH400_01.png -vec pos_gihyo.vec -num 4000 -bgcolor 255 -w 44 -h 9

pos_gihyo.vecが作成されます。

こんな感じ。

続いて、ハールトレーニングをやってみます。こんなコマンドです。

opencv_haartraining.exe -data gihyo_logo -vec pos_gihyo.vec -bg NG.txt -npos 4000 -nneg 1685 -w 44 -h 9 -mode ALL

ところがどっこい、エラーになってしまいました。

こんな感じ。

~~pos_gihyo.vec作成でミスったのか、opencv_haartraining.exeに問題があるのか、現時点では不明。~~
~~opencv_haartraining.exeをリコンパイルして、様子をみてみます。~~

どうも私の理解に問題があったようです(><;)

エラーの内容は、非正解画像がありませんよ、ということのようです。で、試しにnegativeというフォルダーを作って、そこに４枚ほどの非正解画像を入れてみました（４枚なのは、実行にやたら時間がかかるよ、という話だったのでまずは４枚から）。

で、NG.txtというファイルを作って、以下を記述。

(これをやっておかないと、Runtime Errorがどうしたこうしたと文句を言われます)

negatives/nega1.jpg
negatives/nega2.jpg
negatives/nega3.jpg
negatives/nega4.jpg

コマンドは以下のように変更

opencv_haartraining.exe -data gihyo_logo -vec pos_gihyo.vec -bg NG.txt -npos 4000 -nneg 4 -w 44 -h 9 -mode ALL

走らせてみたところ、機嫌よう走りました。こんな感じ。

結果として、gihyo_logoフォルダーに１４個のサブフォルダーが作られ、そこにAdaBoostCARTHarrClassifier.txtというファイルができており、 gihyo_logo.xmlというファイルもできてました。
~~結果については、また次にということで...~~

結果は...失敗！やはり、NGサンプルが少なすぎるようで。

で、ここは参照サイトのおおせのとおりに、サンプルデータを使ってフルで実行。めちゃくちゃ時間がかかりそうなので、とりあえず実行済みのカスケードを使ってみたら、結果はＯＫでした。

~~現在実行中のハールトレーニングについては、また次ということで。~~

サンプルどおりによると、検出器の精度が不足するようです。

で、少々数を増やして実行、で、成功！

結果はこんな感じ。

精度や確度にまだ問題が残っているようです。

どうやったら向上するか、その辺はまた次にということで....

to be continued.

物体検出をやってみる

顔以外になんかを検出してみようかな...ということで、テーマは「サッカーボール」...。
ハールトレーニング用のデータ作成支援ページを作ったので、これを使ってみます。

まずは正解画像の収集ですが、

カリフォルニア工科大学のオブジェクト画像データ
を使います。63枚ほどのデータがあります。

で、「OK」というフォルダーを作ってここにダウンロードしておきます。

ハールトレーニング用のデータ作成支援ページを開いて、ひたすらボールを囲ってデータを作ります。

データは、OK.txtというファイルに保存。

さらに、サッカーボールとは無関係のデータを468枚集めて、非正解画像のリストファイル(NG.txt)を作成。

ちなみに、画像の枚数の、63とか468に特に意味はありません。その位の数しか集まりませんでした..ということ。

OK.txtのサンプル     NG.txtのサンプル

以下のようなコマンドをたたいて、vecファイルを作成。

opencv_createsamples.exe -info OK.txt -vec ball.vec -num 63 -bg NG.txt

ハールトレーニングを開始。

opencv_haartraining.exe -data BALL -vec ball.vec -bg NG.txt -npos 63 -nneg 468 -mode ALL

データ数が少ないので、４時間くらいでカスケード作成終了。

以下のような画像でテスト。

結果はこんな感じ。

精度を高めるには、どうしてもトレーニング用の画像数を増やす必要がありますね。

   Google Ajax Search API

   サッカーボール画像

    サッカーボール画像２

めも（余談）

OpenCVのサンプルにはいくつかおもしろいものがあります。
------------------------------
例えば、delaunay.py
------------------------------

これは、デモではランダムな点を生成してドロネー三角形とボロノイ分割を描画しています。

こんな感じ。

OpenCVはDelaunayとVoronoiのライブラリを持ってるっちゅうことですね。

WisteriaHillでは、ボロノイ分割のページを持っていますが、これは現在Windows用のサービスプログラムを

バックグラウンドで走らせています。そのうち、OpenCVのライブラリを使うことにします。
------------------------------
例えば、camshift.py
------------------------------

これは、接続されたCCDカメラの映像をキャプチャして、任意の部分の色のヒストグラムを取得するデモのようです。こんな感じ。

WisteriaHillでは、あまぐも（Cバンドレーダー雨量）のページで雨量の表示にヒストグラムを使っています。

これは現在Windows用のサービスプログラムをバックグラウンドで走らせているのですが、OpenCVのライブラリを使うことにします。

OpenCVをVisualStudioでリコンパイル

OpenCVをWindowsで使う場合は、まずはリコンパイルした方がよろしいよ、ということをよく聞きますんで、ここは素直に聞くことにします（＾＾）。
で、OpenCVを再コンパイルします。用意するものは....

●OpenCV2.0

●CMake 2.6.4

●VisualStudio 2005 開発環境

その他のコンパイラ

OpenCVのインストールは上記のとおり。

OpenCVのフォルダーの中に、再コンパイル用のフォルダー(例：rebuild）を作っておきます。

CMakeはダウンロードして適当にインストール

CMakeを起動しますが、起動は、インストール時に出来たアイコンではなく、Menuの中の「CMake2.6 ->Cmake(cmake-gui)」で起動。

起動したら、OpenCVのフォルダーとビルド先のフォルダーを指定して、「Configure」を実行。

こんな感じ。

今回は、VisualStudio 2005を使うので、以下のようにして「Finish」。

まっかかの画面がでてきます。OpenCVは素でインストールしたままでは、OpenMPは入っていないので、チェックを外して「Configure」します。

で、画面が白っぽくなったら、「Generate」を実行します。これで、VisualStudio用のプロジェクトが作成されます。

VisualStudio2005を起動。

ファイル-->開く-->プロジェクト/ソリューション

OpenCV2.0/rebuild/OpenCV.slnを選んで開きます。

このまま「ビルド」するとDebugモードのみでビルドされてしまうので、「バッチビルド」を開いて、すべて選択してから、ビルドします。

こんな感じ

警告を山ほど吐き出しながら、ながながと実行されて終了。

こんな感じ

OpenCV/rebuild/binフォルダーにDebugモードとReleaseモードの両方作られていますので、適時使い分けてご使用ください。

CMake対応のコンパイラ情報

VisualStudioの場合、以下にも対応

Visual Studio 6
Visual Studio 7
Visual Studio 7 .NET 2003
Visual Studio 8 2005 Win64
Visual Studio 9 2008

VisualStudioは有料なので、他に何かないんかいな....という方に。

Borland Makefiles
MSYS Makefiles
MinGW Makefiles
NMake Makefiles
UNIX Makefiles
Watcom WMake
CodeBlocks - MinGW Makefiles
CodeBlocks - UNIX Makefiles
Eclipse CDT4 - MinGW Makefiles
Eclipse CDT4 - NMake Makefiles
Eclipse CDT4 - UNIX Makefiles

Borlandは2010/03/01をもってMicroFocusに統合されちゃいました。
ここを見てもわからなかったので、ここからもダウンロードできるようです。

その他、参考までに。

MYS MinGWについてはここか、ここ

NMakeについて

Watcomについて

CodeBlocksについて

on IM2GPS

IM2GPS

資料１

資料２

資料３

資料４

資料５

番外編

色情報とエッジ情報を総合的に用いたサッカー画像からの物体検出

球技スポーツ映像の自動解析の研究

動画像からの移動物体の認識技術

矩形座標取得(haartraining用)

ハールトレーニング用のデータを作成する場合の支援ページです。

データの並びは、
<画像パス> <スペース> <取得数> <タブ> <左上(X)> <スペース>　<左上(Y)> <スペース>　<幅>　<スペース>　<高さ>

矩形座標取得(haartraining用)
初期画面は、こんな感じ。

正解画像は、「OK」というフォルダーを作って保存。画像はそこから読み込みます。

画像をアップロードして、開始します。

~~矩形は、左上から右下、という感じで描画してください。~~

クリックしたままドラッグ。

読み込み時に、表示される数値は画像の左上、右下の座標です。

１つの画像に複数の対象物がある場合は、これを繰り返します。

矩形で範囲指定する必要がなければ、このまま取得。

リセットすれば、この値が再表示されます。

データの取得が終了すると、「収集」ボタンをクリック。
「収集」をクリックすると、順次画像データが追加されます。

クリップボードコピーをクリックすると、コピー画面がでます。ここからデータを保存することもできます。

7000枚の画像は、途中でＰＣがダウンしたら大変なので、こまめにファイルに保存しておくことをお奨めします。

IE用の場合、半透明の幕がかかっている感じになってますが、仕様です。
Canvas要素の取り扱いが面倒だったもんで....。

NG画像のデータをつくる場合

Webベースでは、セキュリティ上ローカルの情報を収集するのが困難。

Flashベースで、画像のアップロードをマルチでやる手段で実現できるかもしれませんが、面倒です。

WindowsやUnixなどでは、Dir関数が使えると思いますので、それで対処しましょう。

NGフォルダーを作って、そこに非正解画像を集めて、コンソールから、Dir一発で、標準出力で吐き出す。

後はExcelなどで整形。

いろいろなカスケードを試してみる

どれも、精度はいまいちですが、機械学習の可能性は感じられますです、はい。

参考までに、コントラストのはっきりした大き目の画像がいいようです。

お顔を検出

目を検出

口を検出

上半身を検出 (上のＡ代表の画像でも確かめられます。)

番外編
おっぱいを検出（カスケードのみ）
これはちょっと....これもんなんで、カスケードのURLのみ表示。
いや別に、カスケード自体が「１８禁」な訳ではなく、CGiを用意してもいいのですが、それにアップする画像を用意しようとした場合にですね.........うんたらかんたら.........どうしたこうした。
でも、これを作った方は「偉い！」です。ブログを覗いたら、おっぱいの画像を30000枚近くも集めて、そこから1000枚の正解画像を選び出し、しかもhaartraining用に位置特定も行ったそうな。
すごい！
検出率もいいですし、「物体検出」としてはよくできています。
この流れで、「チ○○」検出のカスケードがあれば、”青少年健全育成フィルター”が、できるんじゃないか？
でも管理人にはその気(ケ）はないので、ポジティブ画像を１０枚も集めた時点でヘド吐きそう。
だれかやってみてください。

アニメ顔の検出

これをやりたい方は、この方のページを参照してください。
注意書きなども書かれているので、お読みください。
で、それを踏まえてカスケードファイルを使ってみます。

このページ参照
OpenCV 2.3.1でカスケードを作って、Androidで使ってみる

お顔のパーツを検出

iアプリの写真でお顔を認識のWeb版を作りました。

Web Face Detection

こんな感じ。

インクリメントさんのAPIを使っています。

ブラウザーでローカルのWebカメラを使うWeb CAMと連携しています。

お試しください。

追加

描画に、スプライン補間を追加してみました。ただし、IEは未対応です。

画像上で、クリックして制御点を置いて、「Spline補間」ボタンをクリック。

スプライン補間はコントロールが結構難しいのでご注意ください。

こんな感じ。