Is this rhetoric or a genuine question? If it's the former then it reveals a lot of ignorance. If it's the latter then it shows humility.https://twitter.com/pmddomingos/status/1397699557408985093 …
-
Näytä tämä ketju
-
A lot of human intelligence involves discovering the language game (see: Wittgenstein) that a speaker is playing.
1 vastaus 0 uudelleentwiittausta 2 tykkäystäNäytä tämä ketju -
Transformers like GPT-3 reveal an incredible capability of correctly generating grammatically correct text. What it has shown is that competence in grammar is not enough for understanding. This is where Chomsky was entirely wrong. Transformers have falsified Chomsky's conjecture.
3 vastausta 1 uudelleentwiittaus 7 tykkäystäNäytä tämä ketju -
Vastauksena käyttäjälle @IntuitMachine
Nothing new here. We've known that for decades.
1 vastaus 0 uudelleentwiittausta 0 tykkäystä -
Vastauksena käyttäjälle @pmddomingos
'Knowing' is very different from an actual demonstration.
1 vastaus 0 uudelleentwiittausta 0 tykkäystä -
Vastauksena käyttäjälle @IntuitMachine
It's been profusely demonstrated by decades of statistical NLP research.
1 vastaus 0 uudelleentwiittausta 0 tykkäystä -
Vastauksena käyttäjälle @pmddomingos
Read
@chrmanning take on NLP and DL before rewriting history. https://watermark.silverchair.com/coli_a_00239.pdf?token=AQECAHi208BE49Ooan9kkhW_Ercy7Dm3ZL_9Cf3qfKAc485ysgAAAnowggJ2BgkqhkiG9w0BBwagggJnMIICYwIBADCCAlwGCSqGSIb3DQEHATAeBglghkgBZQMEAS4wEQQMef9zjyHZknzK6y8HAgEQgIICLfeNqsZCtW80oxe9xFOMSQCnQmL-prJWYVCrDwEtar3RuCqXsdnY5xvq-s60r1AqAXQR7jZYxSFS0kNRC1puk5UfavDO45F50y7u7c9DEQHlqqEmLcY_u7LRM9II09s0P4TI1FrrQrL20GmTwrrju-29FZ4GOtLb76xkfCTi7eYy2cCQJxIuodrYeSot-q9-DA7dXKJ8zxacLm8tEnBgjSvGEs7gQE-JRcE7aPgu5uXH4rYX7tEp4qH8F-6RIZqTPhvCYEEJKZmayy0_-y4TQAbVrUU39gGxlM_hkR_E2Ja7MpfPLzoaeJj5ouNFY7qcrrSTC9C0JFLbu22T1sAzPdVw_YbweiCJFqzP2vky2kLKgGrrl8tnQOhUkzBvCOH3bhN66pGJyz1iICxfkfhEkKfK3Icr8LNtTJMZcE90u3J9MozFQCj11nvHBv3klVq_vE1lWLrbp_-ImdxD-TWJ4TMhN135AN6npsASh0oaBcBI3P6CLHg4osbyvsY4MieekZ6q33K3HmtrodtkOmMYlcPQ-pXUqZAI_Lv-E5hNp2tKiQ67RIABQY1jhQZX0kAWYgCLWpmfuHxQHIS6izRwNjGta_cISOTL9a6vZAjhcDSW3ymkuwmDqbx-ziheVR5XeIZbVyFso7Xx26estkkMopzanMmtyXOmQbYR-48lG4zJW_D-ypf3PiBZaugl-bQ7mA_eSZjxYiVIUAAItdNJgEuEiLHcUxKuOKJvQXxE …1 vastaus 0 uudelleentwiittausta 0 tykkäystä -
The point though is that prior to GPT-3 you did not have the kind of zero-shot learning demonstrated by the system. A kind of system that does not make grammatical mistakes on arbitrary topics. Nothing from statistical learning approaches decades ago comes close.
1 vastaus 0 uudelleentwiittausta 1 tykkäys -
Vastauksena käyttäjille @IntuitMachine ja @chrmanning
And what does that teach us about language?
1 vastaus 0 uudelleentwiittausta 0 tykkäystä -
Vastauksena käyttäjille @pmddomingos ja @chrmanning
That mastery of grammar is insufficient for language understanding.
1 vastaus 0 uudelleentwiittausta 0 tykkäystä
We’ve known that for decades.
-
-
Vastauksena käyttäjille @pmddomingos ja @chrmanning
'Knowing' is very different from an actual demonstration.
0 vastausta 0 uudelleentwiittausta 0 tykkäystäKiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
-
-
I agree. Grammar is arbitrary but semantics sits on top of perception. To have true language understanding, perception must be solved first. GPT-x is just stats. It isn't grounded in a perceptual model. Thus it can never truly understand anything.
0 vastausta 0 uudelleentwiittausta 0 tykkäystäKiitos. Käytämme tätä aikajanasi parantamiseen. KumoaKumoa
-
Lataaminen näyttää kestävän hetken.
Twitter saattaa olla ruuhkautunut tai ongelma on muuten hetkellinen. Yritä uudelleen tai käy Twitterin tilasivulla saadaksesi lisätietoja.