A quick thread on two of my favorite theory hacks for machine learning research
-
-
Theory Hack #2: If you're having trouble thinking about optimizing in the space of all functions, imagine that a function is just a vector with very many entries. Instead of a function evaluation f(x) with x in R^n, imagine a vector lookup f_x where x is an integer index.
এই থ্রেডটি দেখান -
With Theory Hack #2, now optimizing over functions is just a regular calculus problem. Hack #2 is intuitive but not 100% accurate. For a more formal version and some information on restrictions about when you can use it, see http://www.deeplearningbook.org/contents/inference.html … sec 19.4.2
এই থ্রেডটি দেখান -
My co-authors and I used both theory hack #1 and #2 to derive eq 2 of the GAN paper: https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf …
এই থ্রেডটি দেখান -
Bonus: A great source of related theory hacks is Sec 3.2 of https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf … . You can use these properties to prove that functions of functions are convex by construction using composition rules. No need to prove that second functional derivatives are positive, etc.
এই থ্রেডটি দেখান
কথা-বার্তা শেষ
নতুন কথা-বার্তা -
-
-
on compact sets!
ধন্যবাদ। আপনার সময়রেখাকে আরো ভালো করে তুলতে টুইটার এটিকে ব্যবহার করবে। পূর্বাবস্থায়পূর্বাবস্থায়
-
-
-
well... depends on the order of quantifiers... but the interesting ones you want to bound sup norm
ধন্যবাদ। আপনার সময়রেখাকে আরো ভালো করে তুলতে টুইটার এটিকে ব্যবহার করবে। পূর্বাবস্থায়পূর্বাবস্থায়
-
লোড হতে বেশ কিছুক্ষণ সময় নিচ্ছে।
টুইটার তার ক্ষমতার বাইরে চলে গেছে বা কোনো সাময়িক সমস্যার সম্মুখীন হয়েছে আবার চেষ্টা করুন বা আরও তথ্যের জন্য টুইটারের স্থিতি দেখুন।