C#

1/299ページ

【ニューラルネットワークの基礎研究21】 重みの初期値依存性

ニューラルネットワークの自由度は各ユニットごとに与えられたバイアスと、各ユニット間をつなぐ重みです。これまで、重みは平均を0、絶対値の最大値を\sqrt(6.0/unit数)とするランダムな値を与えていました(Heの初期値)。今回は重みの初期値を小さくしてみます。具体的には0.9倍, 0.7倍, 0.5倍, 0.3倍, 0.1倍を同一条件で比較してみます。 対象とする関数は三角関数です。 【これまでの結果】 → 1変数の2次関数の学習 […]

【ニューラルネットワークの基礎研究29】放物運動の初期位置と初速度と経過時間から位置と速度を学習

「解析解は得られないが数値解が容易に得られる系で、学習の成果を簡単に検証できる問題」として、空気抵抗力が存在する放物運動を対象として物理的な運動を学習させています。 ・ここまでの学習でできることをまとめると以下のとおりです。 (1)軌跡から粘性抵抗係数を見積もることができる。 (2)その粘性抵抗係数を用いて初速度と投射角度を与えるとその飛距離がわかる。 → その結果、最大飛距離となる初速度に対する投射角度を予測できる。 (3)粘性係数と […]

【ニューラルネットワークの基礎研究20】 層数やユニット数による学習結果の違いについて6(関数の入力数と出力数を一致させた構造)の続き

前回の続きで、今度は中間層のユニット数を100として1層から10層まで増やして、学習回数に対する損失値をグラフ化して学習効果を確かめます。 【これまでの結果】 → 1変数の2次関数の学習 1 2 3 4 → 係数が変化する2次関数の学習 1 2 3 4 → べきが変化するべき関数 1 2 3 → 学習効果を高めるにはディープ(層数)と並列数(ユニット数)のどちらが有効か? → 底が変化する指数関数の学習 1 2 3 → 関数形ごとの学習 […]

【ニューラルネットワークの基礎研究14】 層数やユニット数による学習結果の違いについて4(底が変化する指数関数)の続き

ニューラルネットワークを勉強した後に、実際の系を学習させる際に問題になるのがネットワークの構造です。 本稿では底が変化する指数関数を用意し、前回の続きで中間層を2層とした場合の学習回数に対する損失値をグラフ化して学習効果を確かめます。 【これまでの結果】 → 1変数の2次関数の学習 1 2 3 4 → 係数が変化する2次関数の学習 1 2 3 4 → べきが変化するべき関数 1 2 3 → 学習効果を高めるにはディープ(層数)と並列数( […]

【ニューラルネットワークの基礎研究18】 層数やユニット数による学習結果の違いについて5(角振動数が変化する三角関数)の続き

ニューラルネットワークを勉強した後に、実際の系を学習させる際に問題になるのがネットワークの構造です。 本稿では周波数が変化する三角関数を用意し、前回の続きで中間層のユニット数を100に固定したまま層数を増やした場合の学習回数に対する損失値をグラフ化して学習効果を確かめます。 【これまでの結果】 → 1変数の2次関数の学習 1 2 3 4 → 係数が変化する2次関数の学習 1 2 3 4 → べきが変化するべき関数 1 2 3 → 学習効 […]

【ニューラルネットワークの基礎研究13】 層数やユニット数による学習結果の違いについて4(底が変化する指数関数)

ニューラルネットワークを勉強した後に、実際の系を学習させる際に問題になるのがネットワークの構造です。 本稿では底が変化する指数関数を用意し、実際に様々なニューラルネットワーク構造で試してみます。 学習回数に対する損失値をグラフ化して学習効果を確かめます。 【これまでの結果】 → 1変数の2次関数の学習 1 2 3 4 → 係数が変化する2次関数の学習 1 2 3 4 → べきが変化するべき関数 1 2 3 → 学習効果を高めるにはディー […]

Microsoftの自然言語分類技術を本気で検証してみた。〈Microsoft Cognitive ToolkitでのChatBot実装〉

はじめに MicrosoftのDeep Learningツール(Cognitive Toolkit)を使った自然言語分類技術を、機会あって本気で実装したので共有しようと思います。 今回のテーマは自然言語分類技術としていますが、もう少し具体的にいうと 自然言語の質問文に一問一答形式で回答するチャットボット です。「チャットボット」という言葉でも少しイメージが広くなってしまうので、今回は「ヘルプデスクの代替として使う問合せチャットボット」に […]

【ニューラルネットワークの基礎研究19】層数やユニット数による学習結果の違いについて6(関数の入力数と出力数を一致させた構造)

ニューラルネットワークを勉強した後に、実際の系を学習させる際に問題になるのがネットワークの構造です。 これまでは、関数の定数aと引数xを入力してその値yを受け取るという形で関数を学習させました。この方法では100,000回の学習で1変数の三角関数ですら満足のいく精度を得られませんでした。精度が上がらないのはネットワークへ入力される値の自由度が高いことが原因として考えられます。 1変数関数の場合、変数として与えられる値の範囲を等間隔に分割 […]

【ニューラルネットワークの基礎研究17】 層数やユニット数による学習結果の違いについて5(角振動数が変化する三角関数)

ニューラルネットワークを勉強した後に、実際の系を学習させる際に問題になるのがネットワークの構造です。 本稿では周波数が変化する三角関数を用意し、実際に様々なニューラルネットワーク構造で試してみます。 学習回数に対する損失値をグラフ化して学習効果を確かめます。 【これまでの結果】 → 1変数の2次関数の学習 1 2 3 4 → 係数が変化する2次関数の学習 1 2 3 4 → べきが変化するべき関数 1 2 3 → 学習効果を高めるにはデ […]

【ニューラルネットワークの基礎研究15】 層数やユニット数による学習結果の違いについて4(底が変化する指数関数)の続き2

ニューラルネットワークを勉強した後に、実際の系を学習させる際に問題になるのがネットワークの構造です。 本稿では底が変化する指数関数を用意し、前回の続きで中間層のユニット数を100に固定したまま層数を増やした場合の学習回数に対する損失値をグラフ化して学習効果を確かめます。 【これまでの結果】 → 1変数の2次関数の学習 1 2 3 4 → 係数が変化する2次関数の学習 1 2 3 4 → べきが変化するべき関数 1 2 3 → 学習効果を […]

1 299