I think it's useful to point out how small the gains from some of these systems are -- DARTS on CIFAR10 search beats a random arch. from their search space by avg. of ~0.2%, and there is significant overlap between dist. of random and DARTS models.
-
-
-
That is... if you run your DARTS search for 12 hours you may end up with a model that's literally no better than if you ran it for 0 seconds.
-
0.2% on avg is not nothing, and I have examples that show DARTS doing well on other (smaller) problems. But I think it's a) useful to know if you're considering NAS as a tool in your belt and b) a reminder that the search spaces in some of these experiments are very engineered.
-
Yeah that's how I see it too.
কথা-বার্তা শেষ
নতুন কথা-বার্তা -
-
-
Is Pichai really incorrect in saying "neural nets to design neural nets”? Beacuse a recurrent neural network along with policy gradient is used in ENAS.
-
You're correct, I'll change that part.
কথা-বার্তা শেষ
নতুন কথা-বার্তা -
-
-
Great article! Couldn't agree more - building ML/DL products is *so* much more than just architecture search.
ধন্যবাদ। আপনার সময়রেখাকে আরো ভালো করে তুলতে টুইটার এটিকে ব্যবহার করবে। পূর্বাবস্থায়পূর্বাবস্থায়
-
লোড হতে বেশ কিছুক্ষণ সময় নিচ্ছে।
টুইটার তার ক্ষমতার বাইরে চলে গেছে বা কোনো সাময়িক সমস্যার সম্মুখীন হয়েছে আবার চেষ্টা করুন বা আরও তথ্যের জন্য টুইটারের স্থিতি দেখুন।