Nice job! One question, did you find the hashed momentums helped better than the usual triangular decay?
-
-
-
Ah you are right! Let me fix this and will push a new version in a couple of minutes. Thank you very much for spotting this
I haven't played much with this yet - there is no deeper reason for not using the triangular policy apart from omission on my side. -
Thank you very much again for noticing this Sylvain
New version pushed.
This is what the learning rate and the momentum look like now:pic.twitter.com/IOwnVXyNBL
-
Much better :)
কথা-বার্তা শেষ
নতুন কথা-বার্তা -
লোড হতে বেশ কিছুক্ষণ সময় নিচ্ছে।
টুইটার তার ক্ষমতার বাইরে চলে গেছে বা কোনো সাময়িক সমস্যার সম্মুখীন হয়েছে আবার চেষ্টা করুন বা আরও তথ্যের জন্য টুইটারের স্থিতি দেখুন।
ML / DL ideas - I tweet about them / write about them / implement them. Self-taught RoR developer by trade.
included docker setup featuring recent work by