With the numbers of parameters and step sizes in current deep networks, how often does gradient descent wind up going uphill?
-
To truly test this, you’d need to measure the val loss (over the whole validation dataset) at each step, which would be quite slow (usually done once-every-1000-steps ish) But my guess is a high % of all steps are downhill. Optimization becomes *easier* with more params.
No, over the training minibatch. And more parameters make the gradient’s linear approximation worse.
-
-
And even if a sizable fraction of steps is uphill, that’s already pretty shocking.
Kiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
Lataaminen näyttää kestävän hetken.
Twitter saattaa olla ruuhkautunut tai ongelma on muuten hetkellinen. Yritä uudelleen tai käy Twitterin tilasivulla saadaksesi lisätietoja.