We won’t find intelligence at the bottom of gradient descent.
-
Q1: Does the cortex learn? Q2: if it does, does it do it by minimizing some objective? Q3: if it does, does it do it by estimating some sort of gradient information, or something to that effect? Q4: if it doesn't, then what type of (gradient-free) optimization does it use?
A1: Obviously yes. A2: Open question. A3: Probably not. A4: See, e.g., discussion in https://arxiv.org/abs/2012.00152 .
-
-
I learn a lot following titans of machine learning joust on Twitter. Glad I can be a spectator. And add my graffiti comments.
Kiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
-
-
I'm with Pedro on this, and yes, A2 is the crucial issue. E.g., how we relevance-filter incoming signal to avoid combinatorial death seems to me impossible to learn in the current ML paradigm since it leads to circularity.
Kiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
-
-
The cortex doesn't perform backpropagation
-
Exactly. (The cerebellum, maybe.)
Keskustelun loppu
Uusi keskustelu -
Lataaminen näyttää kestävän hetken.
Twitter saattaa olla ruuhkautunut tai ongelma on muuten hetkellinen. Yritä uudelleen tai käy Twitterin tilasivulla saadaksesi lisätietoja.