< Dalle reti ai programmi dalle nuvole ai modelli (network, software, cloud, machine observability), l’osservazione dei sistemi informatici e computazionali è divenuta pratica vitale per la gestione operativa e l’innovazione creativa di business digitali, architetture di rete e dispositivi artificiali. Da ultimo, portare in produzione un modello linguistico (LLM) richiederà a imprese e organizzazioni di affrontare nuovamente e ulteriormente la questione ingegneristica dell’instrumentazione dell’osservabilità di risultati e comportamenti macchinici, in buona misura indeterministici e imprevedibili. Come valutare e come assicurare, allora, l’affidabilità di modelli e dispositivi linguistici su larga scala che incrociano, in maniera interconnessa, stratificata, dinamica oltre che fortemente innovativa, la computazione macchinica e la comunicazione umana, l’operazione di calcolo e il senso della parola? Pensare tecnicamente e strategicamente l’osservabilità significa progettare la capacità di comprendere al meglio il comportamento interno di un sistema (nel nostro caso un LLM in produzione) in base ai dati esterni (generati in fase di esecuzione) costantemente monitorati nei loro segnali informativi al fine di ottenere conoscenze rilevanti destinate a influenzare il sistema stesso.
“On the other end of the spectrum, in many cases an LLM is completely un-debuggable in the traditional sense. You can’t load debug symbols and step through each phase of execution with an LLM like you can with most software. Unless you’re an ML researcher by profession, chances are you don’t have any way to explain why an LLM emits a particular output for a given input. Yes, there are some controls you can place on it to affect the randomness of outputs—namely, the temperature and top_p sampling parameters—but they don’t guarantee repeatability of outputs. And when you combine this with an excessively broad class of inputs like natural language, you’re left with a system that’s incredibly powerful but very difficult to understand and guide into good behavior … Put differently, you should be aware of the following things when building with LLMs: Failure will happen—it’s a question of when, not if; Users will do things you can’t possibly predict; You will ship a bug fix that breaks something else; You can’t write unit tests for LLMs (or practice test-driven development); Early access programs won’t really help you” (Carter, 2024).
Dunque, chi e come (si) conosce il mondo e i suoi linguaggi sintetici? Nuovi attanti dell’osservazione, nuovi assemblaggi dell’osservabilità, nuove epifanie dell’osservabile si stanno evocando e si stanno producendo. Umane e sovrumane. Dunque, quanto e come, perché e da chi/cosa è osservabile un LLM? Non si tratta solo di un modo più complesso di osservare, ma proprio di un modo nuovo dell’osservare > (Accoto 2024, postilla, The Latent Planet)
cosimoaccoto.com 