We won’t find intelligence at the bottom of gradient descent.
-
Certainly not. Gradient-based optimization beats gradient-free any day. Genetic algos are a particular instance of gradient-free algorithms.
You seem to be missing a lot here. Saying that anything that is not gradient descent is gradient-free optimization and therefore worse is not valid reasoning. Crossover is not local search, evolution is a multiagent game, etc., etc.
-
-
Give me a non-gradient-based method that produce decent results in a reasonable amount of time on, say, ImageNet, LibriSpeech, whatever NLP benchmark you want. 1/2
-
Local or not local, swarm or not swarm, the things you mention are just particular ways to do gradient-free optimization.
- Näytä vastaukset
Uusi keskustelu -
-
-
Kiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
Lataaminen näyttää kestävän hetken.
Twitter saattaa olla ruuhkautunut tai ongelma on muuten hetkellinen. Yritä uudelleen tai käy Twitterin tilasivulla saadaksesi lisätietoja.