It’s happening already, see RAG, RETRO for retrieval augmented models; webGPT & KEAR are also attempts to complement LM with web search & knowledge graph respectively. The days when we can train a LM in our garage will come back again…
The race in AI should be toward models with fewer and fewer parameters for a given performance, not the opposite.
-
-
Kiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
-
-
So true.
Kiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
-
-
That's for those of us in field robotics. We need lean/mean models, but the big ones can be leveraged.
Kiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
-
-
Normally makes for the best stats models, so why not for AI
Kiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
-
-
I think compared to the brain they have very few parameters if you look at the specific information content per neuron. The hardware needs a change
-
Basically matrix multiplication is the wrong basis because through every backwards pass most of the numbers stay the same
- Näytä vastaukset
Uusi keskustelu -
-
-
While there are a few scientists training impractically large models, there are infinitely more engineers using distillation, pruning, quantization, and architecture optimization to get the same result with smaller and deployable models.
-
I am one of them and hope to publish soon.
Keskustelun loppu
Uusi keskustelu -
-
-
Kiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
-
-
Aren't our brains first learning with lots of parameters, then pruning for efficiency?
Kiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
Lataaminen näyttää kestävän hetken.
Twitter saattaa olla ruuhkautunut tai ongelma on muuten hetkellinen. Yritä uudelleen tai käy Twitterin tilasivulla saadaksesi lisätietoja.