ブースティング入門の話をしました

10月11日にレトリバセミナーでブースティング入門の話をしました。

前回は情報検索の基礎について話しましたが、今回は前々から興味のあった機械学習のブースティングについて調べてまとめてみました。最近営業さんも増えたので、発表資料は機械学習の問題設定のところからの説明になっています。

ブースティングは、アンサンブル学習の一つで、アンサンブル学習は性能の低い学習器を組み合わせて性能の高い学習器を作る手法のことをいいます。ブースティングでは、前の学習器が誤分類してしまった学習データを優先的に分類できるように新しい学習器を選び、正解率(正確には重み付きの誤分類率)をもとにその学習器の重みを決定し、追加します。最終的には、たくさんの学習器の重み付き多数決で分類することになります。

ブースティングについて書かれている日本語の本は色々ありましたが、一番詳しく書かれていそうなのはこちらの本でした。PAC学習の話から入って、ブースティング性などの性質についてまで説明している本は、自分が見た本の中ではこれだけでした。

もう少しとっつきやすい本だと、杉山先生のイラストで学ぶ機械学習でしょうか。

一時期xgboostなどがよく話題に上がっていたので、勾配ブースティングについても詳しく調べてみたかったのですが間に合わず、また機会があれば。

スポンサーリンク
レスポンシブ広告




レスポンシブ広告




スポンサーリンク
レスポンシブ広告




コメントをどうぞ

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です