No, I will not make any such change, for two reasons:https://twitter.com/yoavgo/status/1353413967889244161 …
-
Näytä tämä ketju
-
1. Process: The camera ready is done, and approved by all of the authors. If I make any changes past this point it will be literally only fixing typos/citations. No changes to content let alone the title.
2 vastausta 1 uudelleentwiittaus 33 tykkäystäNäytä tämä ketju -
2. Content: I stand by the title and the question we are asking. The question is motivated because the field has been dominated by "bigger bigger bigger!" (yes in terms of both training data and model size), with most* of the discourse only fawning over the results. >>
3 vastausta 2 uudelleentwiittausta 53 tykkäystäNäytä tämä ketju -
*(Exceptions to this: (1) the big body of work--including yours--into whether the models absorb bias and (2) the GPT-2 staged roll-out paper (and references cited in its sec 1.)https://arxiv.org/abs/1908.09203
1 vastaus 1 uudelleentwiittaus 29 tykkäystäNäytä tämä ketju -
Thus, the motivation for writing this paper. We aren't saying "LLMs are bad" but rather: these are the dangers we see, that should be accounted for in risk/benefit analyses and, if research proceeds in this direction, mitigated. >>
1 vastaus 7 uudelleentwiittausta 61 tykkäystäNäytä tämä ketju -
Furthermore, I've now had a minute to read your critique, and I disagree with your claim that our criticisms are independent of model size. Difficulty in curating and documenting datasets absolutely scales with dataset size, as we clearly lay out in the paper: >>pic.twitter.com/CKLsFXIKwD
1 vastaus 11 uudelleentwiittausta 69 tykkäystäNäytä tämä ketju -
Likewise, nowhere do we say that small LMs are necessarily good/risk-free. There, and in your points about smaller models possibly being less energy efficient, you seem to have bought into a world view where language modeling must necessarily exist and continue. >>
1 vastaus 2 uudelleentwiittausta 27 tykkäystäNäytä tämä ketju -
This isn't a presupposition we share. (And please don't misread: I'm not saying it should all stop this instant, but rather that research in this area should include cost/benefit analyses.) >>
1 vastaus 1 uudelleentwiittaus 27 tykkäystäNäytä tämä ketju -
As for the claim that our paper is one-sided, this is exhausting. All of ML gets to write papers that talk up the benefits of the tech without mentioning any risks (at least until 2020 w/broader impact statements), but when a paper focuses on the risks, it's "one-sided"? >>
5 vastausta 56 uudelleentwiittausta 367 tykkäystäNäytä tämä ketju
Minor detail: ML papers, unlike this one, have actual technical contributions.
Lataaminen näyttää kestävän hetken.
Twitter saattaa olla ruuhkautunut tai ongelma on muuten hetkellinen. Yritä uudelleen tai käy Twitterin tilasivulla saadaksesi lisätietoja.