A quick thread on two of my favorite theory hacks for machine learning research
-
-
The neural-net-as-function metaphor retains the main advantage of the linear model: many interesting problems are convex! For example, cross-entropy loss for a classifier is convex in function space.
এই থ্রেডটি দেখান -
This is also not too inaccurate of an assumption, especially compared to the linear model assumption. The universal approximator theorem says that neural nets can approximate arbitrary functions arbitrarily well.
এই থ্রেডটি দেখান -
Theory Hack #2: If you're having trouble thinking about optimizing in the space of all functions, imagine that a function is just a vector with very many entries. Instead of a function evaluation f(x) with x in R^n, imagine a vector lookup f_x where x is an integer index.
এই থ্রেডটি দেখান -
With Theory Hack #2, now optimizing over functions is just a regular calculus problem. Hack #2 is intuitive but not 100% accurate. For a more formal version and some information on restrictions about when you can use it, see http://www.deeplearningbook.org/contents/inference.html … sec 19.4.2
এই থ্রেডটি দেখান -
My co-authors and I used both theory hack #1 and #2 to derive eq 2 of the GAN paper: https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf …
এই থ্রেডটি দেখান -
Bonus: A great source of related theory hacks is Sec 3.2 of https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf … . You can use these properties to prove that functions of functions are convex by construction using composition rules. No need to prove that second functional derivatives are positive, etc.
এই থ্রেডটি দেখান
কথা-বার্তা শেষ
নতুন কথা-বার্তা -
-
-
Similar to proposing a distribution over functions such as in Gaussian process (GP) regression.
ধন্যবাদ। আপনার সময়রেখাকে আরো ভালো করে তুলতে টুইটার এটিকে ব্যবহার করবে। পূর্বাবস্থায়পূর্বাবস্থায়
-
-
-
Hey! Can you expand on this? Or link me to some material? Thanks!
ধন্যবাদ। আপনার সময়রেখাকে আরো ভালো করে তুলতে টুইটার এটিকে ব্যবহার করবে। পূর্বাবস্থায়পূর্বাবস্থায়
-
-
-
Awesome!!!!
ধন্যবাদ। আপনার সময়রেখাকে আরো ভালো করে তুলতে টুইটার এটিকে ব্যবহার করবে। পূর্বাবস্থায়পূর্বাবস্থায়
-
-
-
Yes! This is how I learned it when I was reading Shai Ben-David's UML: H is the set of hypotheses. Really helped me think about what we're _really_ optimizing (or approximating!)
ধন্যবাদ। আপনার সময়রেখাকে আরো ভালো করে তুলতে টুইটার এটিকে ব্যবহার করবে। পূর্বাবস্থায়পূর্বাবস্থায়
-
লোড হতে বেশ কিছুক্ষণ সময় নিচ্ছে।
টুইটার তার ক্ষমতার বাইরে চলে গেছে বা কোনো সাময়িক সমস্যার সম্মুখীন হয়েছে আবার চেষ্টা করুন বা আরও তথ্যের জন্য টুইটারের স্থিতি দেখুন।