Radek

@radekosmulski

I ❤️ ML / DL ideas - I tweet about them / write about them / implement them. Self-taught RoR developer by trade.

যোগদান করেছেন এপ্রিল ২০১৪

টুইট

আপনি @radekosmulski-কে ব্লক করেছেন

আপনি কি এই টুইটগুলি দেখতে চাওয়ার বিষয়ে নিশ্চিত? টুইটগুলি দেখা হলে @radekosmulski অবরোধ মুক্ত হবে না।

  1. পিন করা টুইট
    ২৬ ডিসেম্বর, ২০১৭

    Favorite recent jupyter notebook discovery - the %debug magic: 1. Get an exception. 2. Insert a new cell, type %debug and run it. An interactive debugger will open bringing you to where the exception occurred and allowing you to look around!

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  2. ৫ জুলাই

    Fastest way to train on CIFAR10 - now available on a PC near you! 🙂 This is a 🔋 included docker setup featuring recent work by & (training with AdamW and the 1 cycle policy). Very excited by the development!

    পূর্বাবস্থায়
  3. ৩০ জুন

    How to tell what your tree classifier is doing? A really nice kernel just showed up on

    পূর্বাবস্থায়
  4. ৫ জুন

    A great into to pipelines! Learning this is one of my mini-projects. Gives you superpowers when working with structured data and is a very nice way to reason about calculations in general. Did you know sklearn had FunctionTransformer and Imputer? 👌🙂

    পূর্বাবস্থায়
  5. ৪ জুন

    "To start, focus on what things DO, not what they ARE" - such an unbelievably powerful idea on learning shared by in one of her lectures!!! Planning on making this the basis of what I'm going to work on next.

    পূর্বাবস্থায়
  6. ৩১ মে

    I wrote a few more words that you can read on the Kaggle forums here . Happy to answer any questions that you might have!

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  7. ৩১ মে

    But enough of making statements based on perceptions! Time to look at some data 🙂 Here is model performance on the val set. Not indicative of arch performance in general but carries some info on the ability to train said models using the tools I used on a single 1080ti

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  8. ৩১ মে

    The extent to which the lib and were instrumental to this is beyond what can be expressed in a tweet. I usually was minutes away from trying something new and both gave me amazingly engineered building blocks to combine / extend.

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  9. ৩১ মে

    The final solution consists of a couple of archs fine tuned in various ways (different things worked for different archs). I ran xgboost on the predictions and combined all the outputs on the GPU using heuristics based on a couple of papers to optimize the micro averaged f1.

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  10. ৩১ মে

    One of the most interesting aspects of the solution was using high lr as regularization. I fine tuned large architectures on 7k of images for as many as 120 epochs with a batch size of 42 and lr of 0.1 using the 1cycle policy without overfitting (multiple 30 epoch cycles)

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  11. ৩১ মে

    1yr ago I gave up on ML. I didn't know what to learn nor how After a 5 mths break I decided to give ML one last try. If it would not work out I would need to let it go to not continue to waste my time - maybe I am unable to learn this I then signed up for the course

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  12. ১৯ মে

    This relies heavily on the work of my colleagues. Among other things, I learned how to use from an outstanding intro by that you can find here

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  13. ১৯ মে

    Interested in running experiments on CIFAR10? Would like to benchmark your DL box? Let me please share a docker setup that can be useful for both. You can find some reference times here:

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  14. পুনঃ টুইট করেছেন
    ১৮ মে
    পূর্বাবস্থায়
  15. ১৮ মে

    How does nvidia-docker impact train times? The good news is that there is no difference! So we get all the convenience and portability essentially for free. I am planning on sharing a docker image where everyone will be able to benchmark their own setup - should be ready soon.

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  16. ১৮ মে

    How do V100s compare? A p3.2xlarge at 9m 34s stands a clear winner. But we also know thx to 's outstanding DAWNbench result that with additional tuning (and not relying on TTA I believe) we can get there in as little as 6m 45s!

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  17. ১৮ মে

    Just how fast is a 1080ti? Training on cifar10 to 94% accuracy on a p2.8xlarge takes 4 min 10 sec (30%) longer than locally on a 1080ti! On a p2.xlarge that's nearly 1hr. The hyperparams have been tweaked for squeezing out every ounce of performance out of 1080ti but still...

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  18. ১৭ মে

    `ssh -A` so good and yet I didn't know about it until recently! Effectively allows you to take your identity with you to the machines you ssh into. Committing to github / bitbucket without having to generate / add key on remote machine? No problem!

    পূর্বাবস্থায়
  19. পুনঃ টুইট করেছেন
    ১৫ মে

    New work with : "Universal Language Model Fine-tuning for Text Classification", with code and pre-trained models. Text classification with ~20% better accuracy, or with ~100x less labeled data

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  20. ১৫ মে

    seemed like a good moment to fly the banner 🙂 (this is from the iMaterialist Challenge (Fashion) at FGVC5 competition that is still under way)

    পূর্বাবস্থায়
  21. ২ মে

    And this is GPU utilization.

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়

লোড হতে বেশ কিছুক্ষণ সময় নিচ্ছে।

টুইটার তার ক্ষমতার বাইরে চলে গেছে বা কোনো সাময়িক সমস্যার সম্মুখীন হয়েছে আবার চেষ্টা করুন বা আরও তথ্যের জন্য টুইটারের স্থিতি দেখুন।

    আপনিও পছন্দ করতে পারেন

    ·