go-llm-stream
Une bibliothèque open source en Go, pour lire le JSON qu’un modèle de langage envoie morceau par morceau.
Ce qu’elle fait
- Chaque champ est utilisable dès qu’il est complet, sans attendre la fin de la réponse.
- Quand la réponse est coupée ou entourée de balises Markdown, elle la répare : chaînes, listes et objets ouverts sont refermés.
- L’état de lecture peut être sauvegardé, puis repris après une reconnexion.
- Elle lit les flux au format d’OpenAI comme d’Anthropic.
Fiabilité
- Le scanner et la réparation sont testés par fuzzing et recoupés avec encoding/json.Valid.
Ce qu’elle ne fait pas
- Dans mon banc d’essai de juin 2026, le Decoder de la bibliothèque standard était 2 à 3 fois plus rapide qu’elle par opération, sur des entrées découpées.