Coding Memorandum

プログラミングに関する備忘録

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

サポートベクターマシン (SVM)

サポートベクターマシンについて,情報源に関するメモを纏めておきます。

▼ 参考書
Marahon Match用に次の参考書籍を購入しました。
        サポートベクターマシン入門

理論から実践(インプリ)まで一通り書かれていて良い本だと思います。機械学習の基礎となるところから書かれていますので,機械学習の入門書としても良いように思います。
また,各章の最後に「さらなる文献と話題」の節が設けられ,参考文献の紹介が充実しています。

▼ Web公開の資料
サポートベクターマシンは旬な技術なようで,数多くの資料が公開されています。(特に大学の研究室での公開資料が多いですね)

今回は,以下の資料を参考にさせて頂きました。

SVMを調べていると「2次の目的関数が得られ,これを最適化すれば良い」というところまではすぐに到達できると思います。しかしながら,この最適化問題をどう解くのかという部分を見つけるのには,わりと時間がかかりました。(結局,この部分の詳細を知ることができず参考書籍を購入することになったのですが)

いくつかの手法がある中で,逐次最小最適化(Sequential Minimal Optimization,SMO)という手法が優れているようです。

▼ SMO実装に関する参考資料
SMOの実装については前述の参考書籍にも触れられているのですが,実際にコードを書き起こすにはいくつかの情報が足りていません。コードを書くためには本家の資料を参照する必要があります。
        J. Platt. Fast training of support vector machines using sequential minimal optimization.
        In B. Schölkopf, C. J. C. Burges, and A. J. Smola, editors, Advances in Kernel Methods
        -- Support Vector Learning
, pages 185--208. MIT  Press, 1999.

 ここから入手できます。

次のサイトには,SMOの擬似コードが掲載されています。
       SMO Pseudo-Code

 コードについてはこちらを参照ください。

コメント

コメントの投稿


管理者にだけ表示を許可する

トラックバック

トラックバック URL
http://msirocoder.blog35.fc2.com/tb.php/34-62ecf77e
この記事にトラックバックする(FC2ブログユーザー)

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。