Pytorchでニューラルネットワークモデルのパラメータが更新されているかどうかを確認したいときがある。モデルのパラメータを確認する方法はいくつかあるけど、Pytorchはモジュールごとにモデルを作っていくことが多いので、とりあえず簡単に確認する方法を…

Pytorchでモデルを保存する場合、モデルのパラメータのみを保存することが多い。しかし、モデルパラメータだけではlossがどれくらいか、optimizerは何を使ったか、何イテレーション学習してあるかなどの情報がわからない。これらがわからないと特に途中から…

Deep learningで学習するとき、ほとんどどんなタスクでも使うデータ拡張（data augmentation）。画像の輝度値をランダムで変化させたり、zoom in/outや画像のshift, flip, 回転などを使って、ネットワークを入力の分布にできる正則化の効果がある。 だけどOp…

Python の numpy では複素数のdtypeがあるけど、pytorch tensorには複素数型がない。Githubでtensor自体を複素数にしているものがあるけど、なんとなくまだcudaサポートしていないとか、発展途上な感じ。 github.com そもそもtensorを複素数にするとconvolut…

高解像度の画像を生成できるProgressive GAN (PGGAN)を実装してみた。 色々と苦労があって1週間以上時間を使った。ガチで研究するなら再現で1週間くらいかかるようなくらいはやらないといけないのかもしれない。論文ではさらに評価指標をどうするかなどの細…

GPUが古くなったせいか、nvidiaドライバの自動制御があってもGPU温度が高くなるとGPUが勝手に止まるようになってきたので、nvidia-smiをpythonからたたいて温度情報を取り出し、温度が高くなったらGPU計算をいったん停止するスクリプトを書いてみる。 nvidia…

PytorchでGANをやってみる。前からずっとGANの記事を書こうと思ってたんだけど、自宅PCのGPUまわりの挙動が怪しくなって、しばらくうまくGPUでの学習ができなくなってた。やっと動くようになったので、GANのtrainingをしてみた。 Generative Adversarial Net…