深層信念ネットワークとは。 【JDLA】G検定受験に向けたメモ ~part5~

深層強化学習の統計的機械学習、強化学習の関数近似器としての深層学習

深層信念ネットワークとは

「ニューラルネットワーク(Neural Network:NN)」とは、人間の脳内にある神経細胞(ニューロン)とそのつながり、つまり神経回路網を人工ニューロンという数式的なモデルで表現したものだ。 近年、人工知能(AI)領域がブームになっているが、ニューラルネットワークは機械学習や深層学習(ディープラーニング)などを学ぶ際に知っておくべき基本的な仕組みである。 <目次>• 「ニューラルネットワーク」とは何か? 近年注目されている機械学習や深層学習(ディープラーニング)を学習する際に、おさえておきたいのが「ニューラルネットワーク」という概念だ。 機械学習と呼ばれるものには多くの手法があるが、そのひとつがニューラルネットワークを使った手法である。 ニューラルネットワークとは、人間の脳内にある神経細胞(ニューロン)とそのつながり、つまり神経回路網を人工ニューロンという数式的なモデルで表現したものである。 ニューラルネットワークは、入力層、出力層、隠れ層から構成され、層と層の間には、ニューロン同士のつながりの強さを示す重み「W」がある。 「人間の脳の中にあるニューロンは電気信号として情報伝達を行います。 その際にシナプスの結合強度(つながりの強さ)によって、情報の伝わりやすさが変わってきます。 この結合強度を、人工ニューロンでは重みWで表現します」(村上氏) 脳のシナプスと人工ニューラルネットワーク(NN)。 ニューラルネットワークは神経回路網を数式的なモデル(アルゴリズム)として表現したもの ニューラルネットワークの仕組みと構造 一つひとつの人工ニューロンは単純な仕組みだが、それを多数組み合わせる事で複雑な関数近似を行う事ができるのが、ニューラルネットワークの大きな特徴である。 「複雑な関数近似をしなければ分類や回帰ができない場合に、従来型の機械学習手法ではうまくいかないケースも多く、そういった問題に対して、ディープラーニング手法を使用するケースが増えています。 ディープラーニングの手法を用いた事で、従来に比べて飛躍的に認識精度が向上するケースもあり、現在世の中でディープラーニングはたいへん注目されています。 最近ではレコメンデーションや自動運転の分野など、幅広い分野で利用されています」(村上氏) よく質問される「分類」と「回帰」の違い。 分類はすでにあるデータを分ける。 回帰は未知のデータまで予測する さまざまな種類のアプローチ ニューラルネットワークの各層の重みを少しずつ調整し、正解ラベルとの誤差を小さくする事を、ディープラーニングでは「学習」と呼ぶ。 村上氏は、「学習には『誤差逆伝播法』が使われており、重みの更新には最適化手法の一つである『勾配降下法』が使われている」と説明した。 これは、すでに「TensorFlow」「Chainer」「Caffe」といったディープラーニング用のフレームワークを利用しているユーザーには耳慣れたものだろう。 勾配降下法には、確率的勾配降下法をはじめ、いくつかの種類が存在する。 いわゆる「Solver」の設定では、この勾配降下法のアルゴリズムをどれにするのかの選択を行っている。 勾配降下法の原理は次の通りだ。 現在の値と教師データが近い場合は、誤差が小さくなる。 これをヒントに最適化していく。 つまり最も誤差が小さい値が最適解になる。 「現在値から誤差が小さくなるように、重みを増加させるのか、あるいは減少させたほうがよいのか。 それを知るために変化量を調べる必要があります。 そこで微分して接線の傾きが正か負かを見て、誤差が減る方向に重みの値を更新していきます。 その操作をゴールである最適解に近付くように何度も何度も繰り返します。 このときの更新量の幅が重要で、学習率(Learning Rate)で決まります」(村上氏) 重みを更新する際には、いくつかの注意点が存在する。 最適化がうまくいかないと局所解に陥ってしまう事があるためだ。 局所解に陥らない為に、ディープラーニングの学習時にはさまざまな工夫を行う。 たとえば、最初は学習率(Learning Rate)を大きくして重みの更新をどんどん行い、最後の方は学習率を小さくして重みの微調整を行うというように、学習率を変化させる手法を用いる事がある。 重みの更新量は学習率(Learning Rate)で調整 また、重みWをあらかじめ別途学習したプレ・トレーニングデータで初期化する手法を用いる事もある。 「ディープラーニングの学習では、ニューラルネットワークの入力層にデータを入力し重みをかけて出力するという操作を最終層までN回繰り返します。 これをフォワード・プロパゲーションと呼びます」(村上氏) 初期段階では、すぐに期待した通りの答えは出力されないため、正解ラベルと出力値の誤差をとり、誤差を各層に伝播させて正解値に近付くように各層の重みを調整する。 この誤差を逆伝播させる事を「Back Propagation(バックプロパゲーション)」と呼ぶ。 これが誤差逆伝播法の仕組みだ。

次の

【AI入門・G検定】JDLA Deep Learning for GENERAL 2018#1 推薦図書キーワードまとめ

深層信念ネットワークとは

本書は,人工ニューラルネットワークの一つであるボルツマンマシンについて,その基本的な理論から学習方法そして機械学習や強化学習への用い方について直観的に理解できるように解説をした。 筆者とボルツマンマシンとの出会いは2013年のことである。 その前にも何度かすれ違っていると思うが,出会いには至っていない。 そのころ「複数の選択肢から人がなにを選択するかをデータから学習する」という研究テーマに取り組んでいた。 筆者が考えていたモデルをボルツマンマシンとして定式化してさらに拡張してくれたのが大塚誠氏である。 また,大塚氏が取り組んでいた動的ボルツマンマシンの研究 にも一緒に取り組むようになった。 それからボルツマンマシンに関係する研究を行ってきて,2017年には人工知能の国際会議International Joint Conference on Artificial Intelligence(IJCAI-17)においてチュートリアルも実施した。 その過程で,ボルツマンマシンに関する既存研究を調査し,それを筆者が納得できるように理解しようと努めてきた。 その中で筆者が理解したことを,筆者の言葉でまとめたのが本書である。 その結果,勾配法から強化学習まで広範な話題を扱いつつ,その中のいくつかの話題については深く掘り下げることになった。 深く掘り下げた話題については,結果を導出するだけでなく,直感的な理解が得られるように努めた。 Ross,Steven E. Shreveといった著者の影響を強く受けている。 これらの著者の域には残念ながら達していないが,直感的な理解を助けるような説明を本書にもいくつか取り入れられたと思う。 本書はボルツマンマシンに関する話題を網羅的に集めたものではないが,ボルツマンマシン・機械学習・強化学習に関わる重要な話題を盛り込んでいる。 ボルツマンマシンに関するいくつかの話題は深く掘り下げているが,簡単に触れただけの話題もあり,まったく触れていない話題も多くある。 参考文献をできるだけ挙げるようにしたので,これらで補足してほしい。 また,ボルツマンマシンを用いた機械学習が本書の中心的なテーマではあるが,正則化などの機械学習の一般的な技術についてはほとんど触れておらず,ボルツマンマシンに特有な点を中心に取り上げている。 本書を読み進めるうえで機械学習の知識は必要ではないが,ボルツマンマシンを機械学習の実問題に適用するには,本書の内容だけでは不十分である。 優れた書籍が多くあるので,これらで機械学習を学んで欲しい。 一方で,強化学習は基礎的な事柄から説明を始めた。 そうしないとボルツマンマシンを強化学習でどのように使うのかを説明するのが難しいこともあるが,筆者の興味によるところも大きい。 結果的に,7章は強化学習の入門にもなる内容になっている。 原稿に目を通していただき,詳細にコメントをくださった吉住貴幸氏に深く感謝いたします。 2018年12月 恐神貴行 1. はじめに 1. 1 ボルツマンマシンと深層学習 1. 2 ボルツマンマシンの定義 1. 3 ボルツマンマシンの可能性 1. 4 学習の目的関数 1. 5 勾配法 1. 6 確率的勾配法 章末問題 2. ボルツマンマシンの学習 2. 1 可視ユニットのみの場合 2. 1 勾配 2. 2 確率的勾配 2. 3 ヘブ則との関係 2. 4 ヘッセ行列 2. 5 まとめ 2. 2 隠れユニットを持つ場合 2. 1 隠れユニットの必要性 2. 2 自由エネルギー 2. 3 勾配 2. 4 確率的勾配 2. 5 ヘッセ行列 2. 6 まとめ 2. 3 判別モデルの学習 2. 1 目的関数 2. 2 勾配とヘッセ行列 2. 3 まとめ 2. 4 回帰モデルの学習 2. 1 自由エネルギーを用いた回帰 2. 2 制限ボルツマンマシンの自由エネルギー 2. 3 期待エネルギー 2. 4 期待エネルギーを用いた回帰 章末問題 3. サンプリングと期待値の評価 3. 1 ギブスサンプリング 3. 2 コントラスティブダイバージェンス 3. 3 制限ボルツマンマシンからのサンプリング 3. 1 ブロック化ギブスサンプラー 3. 2 生成モデルの学習 3. 4 平均場近似 3. 5 その他の手法 3. 1 重点サンプリング 3. 2 独立した生成器の利用 3. 3 フィッシャーダイバージェンス 章末問題 4. 深層モデルとその他の関連するモデル 4. 1 深層信念ネットワーク 4. 1 確率分布とサンプリング 4. 2 層ごとの貪欲学習法 4. 3 自己符号化器 4. 2 深層ボルツマンマシン 4. 3 ガウスボルツマンマシン 4. 1 期待値で実数値を表現する場合の問題点 4. 2 ガウスベルヌーイ制限ボルツマンマシン 4. 3 スパイクスラブ制限ボルツマンマシン 4. 4 マルコフ確率場 4. 1 ボルツマンマシンとイジングモデル 4. 2 高階ボルツマンマシン 章末問題 5. 時系列モデルの学習 5. 1 目的関数と勾配法 5. 2 条件付き制限ボルツマンマシン 5. 1 条件付き制限ボルツマンマシンの導出 5. 2 条件付き制限ボルツマンマシンの拡張 5. 3 再帰的時間的制限ボルツマンマシン 5. 1 時間的制限ボルツマンマシン 5. 2 再帰的時間的制限ボルツマンマシンの導出 5. 3 再帰的時間的制限ボルツマンマシンにおける確率の評価 5. 4 再帰的時間的制限ボルツマンマシンの学習 章末問題 6. 時系列モデルのオンライン学習 6. 1 はじめに 6. 2 動的ボルツマンマシン 6. 1 有限動的ボルツマンマシン 6. 2 動的ボルツマンマシンの導出 6. 3 スパイク時間依存可塑性との関係 6. 3 制約の緩和 6. 4 連続値をとる時系列に対する動的ボルツマンマシン 6. 1 ガウス動的ボルツマンマシン 6. 2 自然勾配 6. 3 非線形特徴量 6. 5 動的ボルツマンマシンの連続拡張 章末問題 7. 強化学習 7. 1 マルコフ決定過程 7. 2 最適性方程式と価値反復法 7. 1 有限期間の場合 7. 2 無限期間の場合 7. 3 Q学習 7. 4 活用と探索 7. 5 SARSA法 7. 6 方策反復法 7. 7 価値関数の近似 7. 1 Q学習での関数近似 7. 2 SARSA法での関数近似 7. 8 自由エネルギーを用いた強化学習 7. 1 自由エネルギーの勾配 7. 2 ボルツマン探索 7. 9 部分観測環境における強化学習 7. 1 部分観測マルコフ決定過程 7. 2 動的ボルツマンマシンによる強化学習 章末問題 付録:隠れユニットを持つ動的ボルツマンマシン A. 1 確率分布 A. 2 学習則 引用・参考文献 章末問題解答 索引 『シリーズ 情報科学における確率モデル』ラインナップ• 栗田多喜夫・日高章理 共著 発売中!! 恐神貴行 著 発売中!! 宝崎隆祐・飯田耕司 共著 発売中!! -理論とアルゴリズム- 中出康一 著 発売中!! 田中 勝 著 発売中!! 向谷博明 著 発売中!! 大鑄史男 著 発売中!! 以下続刊• マルコフ連鎖と計算アルゴリズム 岡村寛之 著• 確率モデルによる性能評価 笠原正治 著• ソフトウェア信頼性のための統計モデリング 土肥 正・岡村寛之 共著• ファジィ確率モデル 片桐英樹 著• 高次元データの科学 酒井智弥 著• 最良選択問題の諸相 -秘書問題とその周辺-• 確率的ゲーム理論• ベイズ学習とマルコフ決定過程• 空間点過程とセルラネットワークモデル 刊行のことば われわれを取り巻く環境は,多くの場合,確定的というよりもむしろ不確実性にさらされており,自然科学,人文・社会科学,工学のあらゆる領域において不確実な現象を定量的に取り扱う必然性が生じる。 「確率モデル」とは不確実な現象を数理的に記述する手段であり,古くから多くの領域において独自のモデルが考案されてきた経緯がある。 情報化社会の成熟期である現在,幅広い裾野をもつ情報科学における多様な分野においてさえも,不確実性下での現象を数理的に記述し,データに基づいた定量的分析を行う必要性が増している。 一言で「確率モデル」といっても,その本質的な意味や粒度は各個別領域ごとに異なっている。 統計物理学や数理生物学で現れる確率モデルでは,物理的な現象や実験的観測結果を数理的に記述する過程において不確実性を考慮し,さまざまな現象を説明するための描写をより精緻化することを目指している。 一方,統計学やデータサイエンスの文脈で出現する確率モデルは,データ分析技術における数理的な仮定や確率分布関数そのものを表すことが多い。 社会科学や工学の領域では,あらかじめモデルの抽象度を規定したうえで,人工物としてのシステムやそれによって派生する複雑な現象をモデルによって表現し,モデルの制御や評価を通じて現実に役立つ知見を導くことが目的となる。 昨今注目を集めている,ビッグデータ解析や人工知能開発の核となる機械学習の分野においても,確率モデルの重要性は十分に認識されていることは周知の通りである。 一見して,機械学習技術は,深層学習,強化学習,サポートベクターマシンといったアルゴリズムの違いに基づいた縦串の分類と,自然言語処理,音声・画像認識,ロボット制御などの応用領域の違いによる横串の分類によって特徴づけられる。 しかしながら,現実の問題を「モデリング」するためには経験とセンスが必要であるため,既存の手法やアルゴリズムをそのまま適用するだけでは不十分であることが多い。 本シリーズでは,情報科学分野で必要とされる確率・統計技法に焦点を当て,個別分野ごとに発展してきた確率モデルに関する理論的成果をオムニバス形式で俯瞰することを目指す。 各分野固有の理論的な背景を深く理解しながらも,理論展開の主役はあくまでモデリングとアルゴリズムであり,確率論,統計学,最適化理論,学習理論がコア技術に相当する。 このように「確率モデル」にスポットライトを当てながら,情報科学の広範な領域を深く概観するシリーズは多く見当たらず,データサイエンス,情報工学,オペレーションズ・リサーチなどの各領域に点在していた成果をモデリングの観点からあらためて整理した内容となっている。 本シリーズを構成する各書目は,おのおのの分野の第一線で活躍する研究者に執筆をお願いしており,初学者を対象とした教科書というよりも,各分野の体系を網羅的に著した専門書の色彩が強い。 よって,基本的な数理的技法をマスターしたうえで,各分野における研究の最先端に上り詰めようとする意欲のある研究者や大学院生を読者として想定している。 本シリーズの中に,読者の皆さんのアイデアやイマジネーションを掻き立てるような座右の書が含まれていたならば,編者にとっては存外の喜びである。 2018年11月 編集委員長 土肥 正.

次の

ジェフリー・ヒントン

深層信念ネットワークとは

可視変数のみのボルツマンマシンの導出(2. 4節)• 隠れ変数ありのボルツマンマシンの導出(2. 5節)• 制限ボルツマンマシンの導出(2. 7節) この本の説明も十分わかりやすいが制限ボルツマンマシンのよい解説をいくつか見つけたので参考にしたサイトを上げておく。 ほとんどの資料は最終的な式しか書かれておらずどうやって導出したのかぱっと見ではわからなかった。 この記事ではその導出過程をまとめておきたい。 定義 エネルギー関数 可視層と隠れ層のバイアス項を分けている。 ボルツマン分布 分配関数 可視層を固定した上での隠れ層の条件付き分布 2. 42 の導出 RBMの特殊なグラフ構造で成り立つ下の式 2. 42 を導出する。 この式は可視層のユニットを固定すると隠れ軸のユニット間で条件付き独立性が成り立つことを意味している。 実際は、RBMを無向グラフィカルモデルとみなすと二つの隠れユニット間の経路を可視層が遮断するので条件付き独立が成り立つことは数式がなくてもグラフ構造を見るだけですぐにわかる。 さっそく導出しよう。 まず分子から展開する。 この段階では何でこんな展開が必要なのか意味不明だがあとできいてくる。 次に分母を展開。 分子とほとんど同じだが周辺化のための がついてまわる。 この式の後半部分をさらに細かく展開する。 ここで隠れユニットの数はm個でバイナリユニット(0または1の値を取る)と仮定している。 この展開では2式目から3式目への変換に気付けるかがキモな気がする。 下のように同じ構造でもっと簡単な式で確認すると納得できる。 これまでの分母の展開をまとめると結局 となる。 さらに分子と分母の結果をまとめると 分子と分母の前半部分はまったく同じなのでばっさり消える。 ここで と置く。 2つめの式はシグモイド信念(sigmoid belief)と呼ばれる式とのこと。 この本以外ではお目にかかったことないけど。 最終的に となり、式 2. 42 が得られた。 証明終了! この本には載っていないが、ついでに隠れ層のj番目のユニットが1を取る確率も導出しておこう。 この式はユニットから値をサンプリングするときに重要になる。 隠れ層を固定した上での可視層の条件付き分布 2. 43 の導出 次に式 2. 43 を導出する。 これが最終目標。 先ほどは可視層を固定したときの隠れ層の分布だったが、今回は逆で隠れ層を固定したときの可視層の分布だ。 こちらはhとvが逆なだけでほとんど同じだけど導出しておこう。 途中は少しはしょる。 分子は 分母は 分子と分母から ここで と置くと となり、式 2. 43 が導出できた! ついでに可視層のi番目のユニットが1を取る確率も導出しておこう。 長くなったのでいったんここで切る。 次はRBMの対数尤度関数とパラメータでの偏微分の式を導出したい。 aidiary.

次の