I wrote a post on how you can make your Python NLP module 50-100 times faster!
Bonus: a Jupyter notebook with examples processing over 80 millions words per sec…
Spoiler: use spaCy's internals and a bit of Cython magic
Hat tips @honnibal @_inesmontanihttps://medium.com/huggingface/100-times-faster-natural-language-processing-in-python-ee32033bdced …
-
এই থ্রেডটি দেখান
-
উত্তর দিচ্ছেনReplying to @Thom_Wolf @XandaSchofield এবং অন্য
Great, many thanks! I still wonder though if we could do multi-threading with Cython (in cases when we don't delegate things to Spacy and other modules)? Modern CPUs have 16-70 cores.
১ reply ০ টি পুনঃটুইট ১টি পছন্দ -
উত্তর দিচ্ছেনReplying to @srchvrs @XandaSchofield এবং অন্য
Yes we can!! And that may actually even be the best part of Cython because the GIL is released! Cython basically directly use OpenMP under the hood. (see e.g. https://cython.readthedocs.io/en/latest/src/userguide/parallelism.html …)
১ reply ০ টি পুনঃটুইট ৩টি পছন্দ -
উত্তর দিচ্ছেনReplying to @Thom_Wolf @XandaSchofield এবং অন্য
Great, many thanks! This could be very helpful.
১ reply ০ টি পুনঃটুইট ০টি পছন্দ
উত্তর দিচ্ছেনReplying to @srchvrs @XandaSchofield এবং অন্য
I'll add a word about that in the post, it's important indeed!
৮:১৮ AM - ১২ জুন, ২০১৮
০ reply
০ টি পুনঃটুইট
১টি পছন্দ
লোড হতে বেশ কিছুক্ষণ সময় নিচ্ছে।
টুইটার তার ক্ষমতার বাইরে চলে গেছে বা কোনো সাময়িক সমস্যার সম্মুখীন হয়েছে আবার চেষ্টা করুন বা আরও তথ্যের জন্য টুইটারের স্থিতি দেখুন।
Prev. PhD in physics @ UPMC