Repository and doc: https://github.com/huggingface/tokenizers … To install: - Rust: https://crates.io/crates/tokenizers … - Python: pip install tokenizers - Node: npm install tokenizers
-
-
Prikaži ovu nit
-
Novi razgovor -
-
-
Looks really great
Btw: is it currently possible to train and obtain a BERT-like vocab from scratch 
-
Thank you
@_stefan_munich! It is totally possible! You can train a new vocabulary using the `BertWordPieceTokenizer` class.
Kraj razgovora
Novi razgovor -
-
-
I love to see
@rustlang entering the NLP ecosystem thanks to@huggingface

- Još 1 odgovor
Novi razgovor -
-
-
Awesome
Exactly what we need for our project. Thanks
Hvala. Twitter će to iskoristiti za poboljšanje vaše vremenske crte. PoništiPoništi
-
-
-
Fantastic
Hvala. Twitter će to iskoristiti za poboljšanje vaše vremenske crte. PoništiPoništi
-
-
-
Amazing! Hope this means I can stop using a separate fork to apply multiprocessing to the tokenization step
Hvala. Twitter će to iskoristiti za poboljšanje vaše vremenske crte. PoništiPoništi
-
-
-
Holy moly
Hvala. Twitter će to iskoristiti za poboljšanje vaše vremenske crte. PoništiPoništi
-
Čini se da učitavanje traje već neko vrijeme.
Twitter je možda preopterećen ili ima kratkotrajnih poteškoća u radu. Pokušajte ponovno ili potražite dodatne informacije u odjeljku Status Twittera.
model inputs.
Welcome
Tokenizers: ultra-fast & versatile tokenization led by