Explain what a gradient is, how to compute it and why we should follow it without the hinderance of continuous math. 
-
-
Vastauksena käyttäjälle @shortstein
Look at what the computer is doing.
1 vastaus 0 uudelleentwiittausta 0 tykkäystä -
Vastauksena käyttäjälle @pmddomingos
It's approximating continuous math.
1 vastaus 0 uudelleentwiittausta 1 tykkäys -
Vastauksena käyttäjälle @shortstein
No, continuous math is approximating what the computer is doing.
1 vastaus 0 uudelleentwiittausta 0 tykkäystä -
Vastauksena käyttäjälle @pmddomingos
Gradients were invented long before computers started approximating them for us.
1 vastaus 0 uudelleentwiittausta 3 tykkäystä -
Vastauksena käyttäjälle @shortstein
Gradients are approximations.
2 vastausta 0 uudelleentwiittausta 0 tykkäystä -
Vastauksena käyttäjille @pmddomingos ja @shortstein
That’s my point. Derivatives, limits and continuous math are approximations that computers need not make.
1 vastaus 0 uudelleentwiittausta 0 tykkäystä -
Vastauksena käyttäjälle @pmddomingos
Thomas Steinke uudelleentwiittasi Thomas Steinke
So why do we compute gradients via continuous math (product rule, chain rule, etc.) instead of by evaluating the function at several points and taking differences?https://twitter.com/shortstein/status/1473836163609739264 …
Thomas Steinke lisäsi,
Thomas Steinke @shortsteinVastauksena käyttäjälle @pmddomingosGradients/derivatives are a limit, and limits are definitely continuous math. More importantly, how do computers actually compute gradients? Do they evaluate the function at a bunch of points and take differences? No, backprop is based on continuous math. pic.twitter.com/SRlmyWqGh21 vastaus 0 uudelleentwiittausta 1 tykkäys -
Vastauksena käyttäjälle @shortstein
You’re not listening. Have a nice day.
1 vastaus 0 uudelleentwiittausta 0 tykkäystä -
Vastauksena käyttäjille @pmddomingos ja @shortstein
why is gradient an approximation?
1 vastaus 0 uudelleentwiittausta 0 tykkäystä
Because derivatives are approximations (neglecting higher-order terms).
-
-
Vastauksena käyttäjille @pmddomingos ja @kwangsungjun
An approximation to what?
0 vastausta 0 uudelleentwiittausta 1 tykkäysKiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
Lataaminen näyttää kestävän hetken.
Twitter saattaa olla ruuhkautunut tai ongelma on muuten hetkellinen. Yritä uudelleen tai käy Twitterin tilasivulla saadaksesi lisätietoja.