Martin Görner

@martin_gorner

Parallel processing and machine learning, as well as all the cool things you can do with them.

যোগদান করেছেন মে ২০১৬

টুইট

আপনি @martin_gorner-কে ব্লক করেছেন

আপনি কি এই টুইটগুলি দেখতে চাওয়ার বিষয়ে নিশ্চিত? টুইটগুলি দেখা হলে @martin_gorner অবরোধ মুক্ত হবে না।

  1. পিন করা টুইট
    ১১ মে

    From playing pong to creating neural networks that can architect neural networks: " and deep reinforcement learning, without a PhD". The recording is out:

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  2. ১৪ জুন

    Datastream processing, with autoscaling, is unique to Google Dataflow. And it just got better: . There is solid engineering behind features like this.

    পূর্বাবস্থায়
  3. ৩১ মে

    The researchers made heavy use of TPUs to get there.

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  4. ৩১ মে

    AmoebaNet by the way is really interesting. Its architecture itself has been computer-generated. This post compares various approaches to architecture search: evolutionary algorithms, reinforcement learning and handcrafting:

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  5. ৩১ মে

    And here are multiple reference models tested and configured for TPU training: resnet, retinanet, squeezenet, tensor2tensor, amoebanet, dcgan, ...

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  6. ৩১ মে

    Google's TPUs are now available in Cloud ML Engine. Swap Estimator for TPUEstimator and use --scale-tier=BASIC_TPU and you are up and training on a TPU. Step by step docs here:

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  7. ২৩ মে

    ⚡️ “Tensorflow eager execution in 12 tweets”

    পূর্বাবস্থায়
  8. ২৩ মে

    12/ And now the really cool part. Here is my model paused during training in a vanilla Python debugger: the values of weights, biases, activations, you name it are now visible. Yay! Eager rocks!

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  9. ২৩ মে
    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  10. ২৩ মে

    10/ Also, tfe.GradientTape for differentiating any piece of code against any set of variables. Handy if you do not want to wrap your loss into a function and know the list of trainable variables explicitly, as in Keras Models where the list is in model.variables.

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  11. ২৩ মে

    9/ For power-users, there are alternative functions for computing gradients in eager mode: implicit_value_and_gradients gets the value of the loss at the same time as gradients. The code above can be made slightly more efficient:

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  12. ২৩ মে

    8/ To pipe data into your training loop, my_next_batch() can be implemented with vanilla Python or use the .Dataset API which allows training on out of memory datasets. In eager mode, it is very natural to use:

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  13. ২৩ মে

    7/ And finally the training loop. You are passing your model as a parameter to grads so it is pretty obvious what weights and biases are being modified by the training.

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  14. ২৩ মে

    6/ instantiate your model, pick an optimizer.

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  15. ২৩ মে

    5/ Tensorflow eager knows how to compute the gradient for this loss, relatively to the implicit weights and biases of your layers. "grads" is now a function of the same parameters as your loss function.

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  16. ২৩ মে

    4/ You need a loss function, comparing what your model makes of the features against a target answer "yt"

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  17. ২৩ মে

    3/ In Eager mode, you know where your weights are because you have to put them somewhere yourself. My preferred pattern: a basic class. Define your layers in the constructor, line them up according to your preferred architecture in a "predict" function.

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  18. ২৩ মে

    2/ In classic Tensorflow, this just works: y = tf.layers.dense(x, 10) It creates a 10-neuron dense layer with appropriate weights and biases. Where do these weights live? In a global somewhere. Convenient but hair-curling for a software developer !

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  19. ২৩ মে

    1/ Tensorflow eager mode in 12 tweets. You are going to love tweet #12 😁 To begin, import and enable eager mode:

    এই থ্রেডটি দেখান
    পূর্বাবস্থায়
  20. ১১ মে
    এই থ্রেডটি দেখান
    পূর্বাবস্থায়

লোড হতে বেশ কিছুক্ষণ সময় নিচ্ছে।

টুইটার তার ক্ষমতার বাইরে চলে গেছে বা কোনো সাময়িক সমস্যার সম্মুখীন হয়েছে আবার চেষ্টা করুন বা আরও তথ্যের জন্য টুইটারের স্থিতি দেখুন।

    আপনিও পছন্দ করতে পারেন

    ·