A quick thread on two of my favorite theory hacks for machine learning research
-
-
With Theory Hack #2, now optimizing over functions is just a regular calculus problem. Hack #2 is intuitive but not 100% accurate. For a more formal version and some information on restrictions about when you can use it, see http://www.deeplearningbook.org/contents/inference.html … sec 19.4.2
এই থ্রেডটি দেখান -
My co-authors and I used both theory hack #1 and #2 to derive eq 2 of the GAN paper: https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf …
এই থ্রেডটি দেখান -
Bonus: A great source of related theory hacks is Sec 3.2 of https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf … . You can use these properties to prove that functions of functions are convex by construction using composition rules. No need to prove that second functional derivatives are positive, etc.
এই থ্রেডটি দেখান
কথা-বার্তা শেষ
নতুন কথা-বার্তা -
লোড হতে বেশ কিছুক্ষণ সময় নিচ্ছে।
টুইটার তার ক্ষমতার বাইরে চলে গেছে বা কোনো সাময়িক সমস্যার সম্মুখীন হয়েছে আবার চেষ্টা করুন বা আরও তথ্যের জন্য টুইটারের স্থিতি দেখুন।