RNN

1/5ページ

【論文シリーズ】新しいRNNの学習方法(Hessian FreeとRBM利用)

原文 RNNの学習 (Training recurrent neural networks) Ilya Sutskever (2013) 1. 要約/背景 新しいRNNの学習方法として、 ①RBMを使う手法 ②脱ヘシアン(Hessian-free)最適化 を提案した。 ②では、長期時系列の予測にも耐えうることが知られている。 筆者らは、手法を文字列レベル(単語レベルでない)のNLPに適用した。 2. 骨子の理論 (1)Temporal […]

pythonでRNN実装

はじめに pythonでRNNを実装しました. 教科書として『深層学習』を使いました. 本記事の構成 はじめに RNN 順伝播計算 逆伝播計算 重みの更新 pythonでの実装 結果 ロス 系列データの予測 sin波の予測 おわりに RNN RNNとは,系列データを扱う再帰型のニューラルネットワークです. 系列データの例として,音声や言語,動画像などが挙げられます. このような系列データは,サンプルごとに系列の長さが異なり,系列内の要素 […]

Recurrent Convolutional NNでテキスト分類

機械学習でテキスト分類をできないかと調べたところ、2種類の手法が提案されていました。 CNNによるテキスト分類 RNNで文書分類(Text Classification) 前者の手法は既にTensorFlowによる実装があったのと、直接Chainerで記述できなかった(covolution_2dではx軸固定の畳み込みができない)ので、後者を実装してみました。 https://github.com/knok/rcnn-text-class […]

Recurrent Neural Networkの基礎(Peterさんのチュートリアルの翻訳)

はじめに RNNについての分かりやすいチュートリアルとして、TensorFlowのRNNを基本的なモデルで試すでも触れられていた、Peter’s notesのHow to implement a recurrent neural network Part1を翻訳しました。 Tutorial 翻訳 翻訳するにあたり、日本語にすべきか、英単語のままにすべきか悩むところが多かったです。 訳の誤りや分かりづらいところございましたら、 […]

Kerasで実践的な為替予測をしてみたかった(RNN編)

元ブログ記事とソースはこちらから。 ロジック RNNではよく「次の日の終値を予測する」といった記事を見かけますが、 実際のトレードではそのような予測は行いません。 実際のトレードでは必ずストップロスを設定するので、 たとえ終値が上昇していても日中下がってしまってストップロスに引っかかってしまったら意味がありません。 今回は「10pips下がる前に30pips上昇する」という条件をつけてエントリーポイントを学習できるかを考えます。 まずは […]

CaffeでLSTM

はじめに この記事では,公式のCaffeを用いたLSTMサンプルプログラムの解説を行います.Caffeを用いたLSTMサンプルプログラムの解説というと,有名なものでChristopherさんのブログがありますが,これは公式のCaffeではなく,Junhyuk Ohさんが独自にLSTMを実装した改造Caffe(以降Caffe-LSTMと記述)を使用したものです.このCaffe-LSTMを使用しても良いのですが,公式CaffeにJeff D […]

RNNにsin波を学習させて予測してみた

0. ざっくり言うと TensorFlowで簡単なRNN(Recurrent Neural Network)を実装した。 RNNを使い、sin波を学習させて、sin(t)からsin(t+1)(次ステップ)を予測させた。 RNNの出力結果を連鎖させて、sin(t+n)(複数ステップ)の予測を実現できた。 RNNのセルにはLSTM(Long Short-Term Memory)を使った。 2016年5月27日追記: 続編『RNNにsin波を […]

1 5