A nice post by @GuggerSylvain and @jeremyphoward on the recent papers discussing Adam!
The conclusion mirrors my personal feelings on AdamW (liked the down-to-earth approach and I use it in most of my trainings now) and Amsgrad (interesting to think about it but I don't use it).https://twitter.com/GuggerSylvain/status/1013911734527188992 …
-
এই থ্রেডটি দেখান
By the way, here is an implementation of AdamW in PyTorch:https://gist.github.com/thomwolf/35bdc5a159fc2122b4f3b3e2e5f1ab3b …
০ reply
৫ টি পুনঃটুইট
১১টি পছন্দ
লোড হতে বেশ কিছুক্ষণ সময় নিচ্ছে।
টুইটার তার ক্ষমতার বাইরে চলে গেছে বা কোনো সাময়িক সমস্যার সম্মুখীন হয়েছে আবার চেষ্টা করুন বা আরও তথ্যের জন্য টুইটারের স্থিতি দেখুন।
Prev. PhD in physics @ UPMC