Why infinitesimal steps???
By definition, gradient descent takes infinitesimal steps. In other words, it's a maximally inefficient way to learn.
-
-
-
By definition of gradient.
- Näytä vastaukset
Uusi keskustelu -
-
-
Is random search any better?
-
Infinitesimal search takes forever, but does attain the exact optimum. Brute force Search Every Value also takes forever and gets the exact optimum--- but if infinities are equal, is no worse. Discrete search and random search never get there, except with zero probability.
- Näytä vastaukset
Uusi keskustelu -
-
-
Only stochastic gradient descent, and techniques that don’t use the hessian or higher order approximations.
Kiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
-
-
If you are complaining that deep learning is computation intensive, try global search or evolutionary strategies on extremely high-dimension problems. All of a sudden, deep learning will appear a very efficient way to learning in such unbelievable high-dimension search spaces.
- Näytä vastaukset
Uusi keskustelu -
-
-
Achilles overtakes the turtle with infinitesimal steps.
-
I think deep learning is more like the hare.
Keskustelun loppu
Uusi keskustelu -
-
-
I am wondering is there any research under way to find out other alternatives for gradient descent?
Kiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
Lataaminen näyttää kestävän hetken.
Twitter saattaa olla ruuhkautunut tai ongelma on muuten hetkellinen. Yritä uudelleen tai käy Twitterin tilasivulla saadaksesi lisätietoja.