Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

French reliability intro md + json #1124

Merged
merged 3 commits into from
Feb 18, 2024
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Original file line number Diff line number Diff line change
@@ -0,0 +1,8 @@
{
"label": "⚖️ Fiabilité",
"position": 30,
"link": {
"type": "generated-index",
"description": "Comment rendre les LLM plus fiables"
}
}
Original file line number Diff line number Diff line change
@@ -0,0 +1,13 @@
---
sidebar_position: 1
---

# 🟢 Introduction

Ce chapitre couvre comment rendre les complétions plus fiables, ainsi que la manière d'implémenter des contrôles pour assurer la fiabilité des résultats.

Dans une certaine mesure, la plupart des techniques précédemment abordées ont pour but d'améliorer la précision des complétions, et donc leur fiabilité, en particulier l'auto-consistance(@wang2022selfconsistency). Cependant, il existe un certain nombre d'autres techniques qui peuvent être utilisées pour améliorer la fiabilité, au-delà des stratégies de prompting de base.

Les %%LLMs|LLM%% se sont révélés être plus fiables que ce que nous pourrions attendre en interprétant ce qu'un prompt *essaie* de dire lorsqu'ils répondent à des prompts mal orthographiés, mal formulés ou même activement trompeurs(@webson2023itscomplicated). Malgré cette capacité, ils présentent encore divers problèmes, y compris des hallucinations(@ye2022unreliability), des explications erronées avec les méthodes de %%CoT|CoT prompting%%(@ye2022unreliability), et de multiples biais, y compris le biais de l'étiquette majoritaire, le biais de récence et le biais de jeton commun(@zhao2021calibrate). De plus, le CoT en zero-shot peut être particulièrement biaisé lorsqu'il traite de sujets sensibles(@shaikh2022second).

Parmi les solutions courantes à certains de ces problèmes figurent les calibrateurs pour éliminer les biais _a priori_, et les vérificateurs pour évaluer les complétions, ainsi que la promotion de la diversité dans les complétions.
Loading