Are you using the best version for each HuggingFace ALBERT size? If I recall correctly, ALBERT-[small,large,xlarge]-v2 and ALBERT-xxlarge-v1 are the performance leaders.
-
-
-
I tried all v2 sizes, similar issues. V1 did slightly better but still not comparable to BERT
- Još 1 odgovor
Novi razgovor -
-
-
I get bad results with the v2 models, but v1 work
Hvala. Twitter će to iskoristiti za poboljšanje vaše vremenske crte. PoništiPoništi
-
-
-
Are you using the LAMB optimizer? I got much better results with that but still not Roberta. Also the Albert's are sloooooooow, at least on the GPU.
Hvala. Twitter će to iskoristiti za poboljšanje vaše vremenske crte. PoništiPoništi
-
Čini se da učitavanje traje već neko vrijeme.
Twitter je možda preopterećen ili ima kratkotrajnih poteškoća u radu. Pokušajte ponovno ili potražite dodatne informacije u odjeljku Status Twittera.