“Un LLM è un sequenziatore linguistico-probabilistico a bassa crossentropicità. Ridotto ai suoi minimi termini, è un modello matematico della distribuzione di probabilità delle parole di una lingua scritta. E’ il frutto di un lungo percorso nella storia moderna del NLP (Li, 2022) che partendo dalle catene di Markov a inizio Novecento applicate alla letteratura (sequenza di vocali e consonanti nel romanzo) e passando per i lavori di Shannon a metà anni Cinquanta sulla misura dell’entropia e la distribuzione delle probabilità (sequenza di parole nel linguaggio), arriva a inizio anni Duemila con Bengio & C. all’applicazione delle reti neurali artificiali per la costruzione di modelli linguistici di grandi dimensioni (large language model) con sequenziamento linguistico-probabilistico ottimizzato a ricercare la crossentropicità più bassa possibile. Per questo, come ha ben scritto filosoficamente Shanahan (2022): “It is very important to bear in mind that this is what large language models really do. Suppose we give an LLM the prompt “The first person to walk on the Moon was … ”, and suppose it responds with “Neil Armstrong”. What are we really asking here? In an important sense, we are not really asking who was the first person to walk on the Moon. What we are really asking the model is the following question: Given the statistical distribution of words in the vast public corpus of (English) text, what words are most likely to follow the sequence “The first person to walk on the Moon was …”? A good reply to this question is “Neil Armstrong”. A oggi, potenzialità e limitazioni lessicali, sintattiche e semantiche di GPT et similia sono conseguenti a questa modalità di processamento antropo-macchinico (o meglio sociotecnico) della lingua. Con un pò di filosofia del linguaggio (a partire da Stalmaszczyk 2022), evitando l’essenzialismo e focalizzandoci sull’operazionismo, molte banalità e ingenuità di analisi correnti si diradano. A questo però va aggiunto che affrontare la questione dei linguaggi sintetici, simulativi ed inflattivi (tipo ChatGPT) significa fronteggiare e attraversare un passaggio di civiltà epocale e non episodico. Un passaggio molto commentato ma poco compreso. In questo frangente, qualcuno velocemente viene riproponendo il ban platonico delle arti imitative (“della cosa imitata l’imitatore non sa nulla che valga nulla”: Platone, La Repubblica) nella sua versione contemporanea degli “stochastic parrots”, dei pappagalli probabilistici. Altri ingenuamente si stupiscono delle nuove meraviglie tecnologiche simulacrali e del grado di verosimiglianza raggiunto e sempre più via via affinato a superamento di soglie un tempo immaginate invalicabili. Ma l’arrivo del “linguaggio sintetico” (Bratton) scardina e decostruisce (Gunkel) gli apparati, i domini e i dispositivi istituzionali del discorso, della parola e del parlante così come della scrittura e dell’autorialità con profondità e ampiezza d’impatto” (Accoto 2022 continua qui >) …
continua qui >> https://cosimoaccoto.com/2022/12/22/economia-politica-della-parola-sintetica-accoto-2022-2/
cosimoaccoto.com 