自動微分の forward モードと reverse モードを外部ライブラリなしで実装し、入力次元と出力次元を振って速度を実測した。逆転はどこで起きるか、勾配は関数評価の何回分か、reverse が払っている代償は何か。全部数字で確かめる。
makoto-developer's テックブログ
自動微分の forward モードと reverse モードを外部ライブラリなしで実装し、入力次元と出力次元を振って速度を実測した。逆転はどこで起きるか、勾配は関数評価の何回分か、reverse が払っている代償は何か。全部数字で確かめる。