リモートなお仕事募集中でござるぞ

@vivisuke

津田伸秀。テニス・オセロ・ゲーム・パズル類が趣味の年齢不詳のおじさん。 自宅研究員（主席）。vi と C++が好き。迷走中・・・ ボードゲーム・パズル系アプリ開発・リリースしてます：

年に数回雪が降る福岡市西区, Japan
vivi.dyndns.org
Joined May 2007
2,624 Photos and videos Photos and videos

Tweets

You blocked @vivisuke

Are you sure you want to view these Tweets? Viewing Tweets won't unblock @vivisuke

  1. 13 minutes ago

    【ハーフギャモンNN】隠れ層ノード数をもっと増やして100にしてみたところ、なんと誤差がほとんど０になっちまった。いったいどういうこと？？？

    Undo
  2. 16 minutes ago

    【ハーフギャモンNN】ちなみに tanh() の場合でも誤差はあるけど、ReLU() に比べるとかなり小さいでござるぞ。

    Undo
  3. 19 minutes ago

    【ハーフギャモンNN】ReLU で学習すると重みが発散する件：ななな、なんということでしょう、隠れ層のノード数が20だと微分結果が不正になるのを発見してしまいましたよ（喜）。

    1 like
    Undo
  4. 23 minutes ago

    【ハーフギャモンNN】ReLU で学習すると重みが発散する件：念の為に5層の場合でも微分が正しいかチェックしてみた。

    Undo
  5. 2 hours ago

    【ハーフギャモンNN】46局面学習した時点で重み係数の値が大変なことになってるぞ。なして？？？

    Undo
  6. 3 hours ago

    【ハーフギャモンNN】しょうがないので、直接的に発散問題をデバッグすることにする。まずは、100試合（約４千局面）で学習した場合の重みのダンプ。結果は添付画像のように nan の嵐でござるぞ。

    Undo
  7. 3 hours ago

    【ハーフギャモンNN】活性化関数：ReLU の場合に発散することがあるので、∂L/∂W の計算があっているかどうかをチェックするコードを書いて、実行してみた。結果は添付画像の通りで、W を変化させた場合の L の変化は ∂L/∂W に一致したでござるぞ。

    2 likes
    Undo
  8. Jan 26

    んだけど、去年の誤差を調べたら約0.6だったので、なんだずいぶん改善されてたんじゃん、と気分を持ち直したなう。

    1 like
    Undo
  9. Jan 26

    【ハーフギャモンNN】ランダムプレイアウトによる得点期待値を学習し、その結果の平方平均自乗誤差が 0.25 以下になるのが目標なんだけど、千対局（約４万局面）の学習で 0.35 程度にしかならず、また入力の正規化を行っても誤差が減らないのでちょっと落ち込んでた。

    Undo
  10. Jan 26

    ハーフギャモンNNがなかなか目標誤差まで学習できないのだが、データ生成とか評価とかに時間がかかりすぎるので、さらに小さい 1/3 サイズのギャモンでいろいろ実験してみることにするお

    Undo
  11. Jan 26

    【ハーフギャモンNN】ランダムプレイアウトによる期待得点を千対局（約４万局面）生成し、10周学習させてみた。結果は添付画像の通りで、誤差が100対局より約0.1減った。この感じなら1万～10万対局の学習データを生成すれば、目標の誤差0.25をクリアできそうかな？

    Undo
  12. Jan 25

    とりあえず学習データを10倍に増やしてみるか、各層全部をバッチノーマライゼーションしてみるか、うーむ、どうしよう。

    Undo
  13. Jan 25

    【ハーフギャモンNN】２変数関数の学習ではすごく強力だったバッチ・ノーマライゼーションが効果が無いというかむしろ逆効果なのは謎。ReLU で発散してしまう現象も出てるので、なにかバグがあるのかもしれない。

    Undo
  14. Jan 25

    【ハーフギャモンNN】入力層を平均０、分散１に正規化してみた。結果は添付画像の通りで、なぜか学習が速くなりませんでしたぞ。orz

    Undo
  15. Jan 25

    【ハーブギャモンNN】100試合（約4千局面）の学習データをシャフルしつつ10回学習させてみた。結果は添付画像の通り。目標は RMS = 0.25 以下なので、まだまだですな。

    Undo
  16. Jan 25

    【ハーフギャモンNN】活性化関数を ReLU() から tanh() に変えたら、発散しなかったでござるぞ。。。

    Undo
  17. Jan 25

    【ハーフギャモン】なんということでしょう、ランダムプレイアウトでの期待スコアを学習させたところ、予測値が発散するようになっちまったでござるぞ orz

    1 like
    Undo
  18. Jan 25

    【ハーフギャモンNN】今度は2変数関数の学習。入力をバッチ・ノーマライズしない場合とした場合。

    Undo
  19. Jan 25

    【ハーフギャモンNN】VS2019 でも sin(2πx) の学習がうまくいきましたよ（喜）。

    Undo
  20. Jan 24

    Qt もインストールだん。 んだけど、コンパイラのパスが違うとかエラーがでてる。ううむ・・・

    1 like
    Undo

@vivisuke hasn't Tweeted yet.

Loading seems to be taking a while.

Twitter may be over capacity or experiencing a momentary hiccup. Try again or visit Twitter Status for more information.

    You may also like

    ·