The French Instruct dataset is a collection of instructions with their corresponding answers (sometimes multi-turn conversations) entirely in French. The dataset is also available on Hugging Face 🤗.
The dataset is composed of 276K conversations between a user and an assistant for a total of approximately 85M tokens.
I also added annotations for each document to indicate if it was generated or written by a human, the style of the answers, or if it contains code. This can be useful for filtering the data according to your needs.
| Documents | Tokens | Ratio | |
|---|---|---|---|
| All | 275,600 | ≈ 84,906,090 | 100.00 % |
| Written by a human | 85,213 | ≈ 24,908,868 | 29.34 % |
| Written by a chatbot* | 190,387 | ≈ 59,997,223 | 70.66 % |
| Human-style answers | 56,198 | ≈ 14,255,100 | 16.79 % |
| Chatbot-style answers | 219,402 | ≈ 70,650,990 | 83.21 % |
| Contains code | 14,788 | ≈ 11,455,659 | 13.49 % |
(*) Generally by well-established chatbots like ChatGPT.
Each record in the dataset follows the structure below:
{ "context": "Some context for the instructions (sometimes empty)", "conversation": [ { "role": "user", "text": "The first instruction" }, { "role": "assistant", "text": "The first answer" }, { "role": "user", "text": "The second instruction, etc..." }, ], "author": "human", "style": "chatbot", "code": false, "source": "The source of the document" }The dataset is a mix of various sources, some of which are translated from English to French using the ChatGPT API. I also did some cleaning and filtering to remove irrelevant data (duplicates, empty conversations, remaining English text, etc...).
The table below shows the distribution of the documents and tokens for each source:
| Source | Documents | Tokens | Ratio |
|---|---|---|---|
| Evol Instruct (translated) | 56,747 | ≈ 36,016,255 | 42.42 % |
| Human ChatGPT Comparison Corpus (translated) | 82,729 | ≈ 23,316,107 | 27.46 % |
| Logic Inference OA (translated) | 54,542 | ≈ 8,124,315 | 9.57 % |
| Stanford Alpaca (translated) | 51,243 | ≈ 5,521,752 | 6.50 % |
| WikiHow FR | 2,156 | ≈ 4,789,558 | 5.64 % |
| Dolly (translated) | 14,896 | ≈ 3,678,165 | 4.33 % |
| Share GPT FR | 1,385 | ≈ 1,301,026 | 1.53 % |
| Grade School Math (translated) | 8,792 | ≈ 1,263,370 | 1.49 % |
| Less Is More for Alignment (translated) | 1,032 | ≈ 581,897 | 0.69 % |
| Aya Dataset FR | 1,412 | ≈ 203,537 | 0.24 % |
| Open Assistant Conversations FR | 255 | ≈ 79,025 | 0.09 % |
| ENS Sup Dataset | 383 | ≈ 24,770 | 0.03 % |
| GT Doremiti Instructions | 28 | ≈ 6,314 | 0.01 % |
| Total | 275,600 | ≈ 84,906,090 | 100.00 % |
The French Instruct dataset is mainly intended for training and evaluating conversational Large Language Models (LLMs), but it can also be used for classifying human-written text from generated text using the additional annotations.
The simplest way to use the dataset is to load it directly from the Hugging Face library:
pip install datasetsfrom datasets import load_dataset dataset = load_dataset('angeluriot/french_instruct')You first need to download the repository, then you can use the load.py script to load the dataset or merge it in a sigle .jsonl file:
from load import load_dataset, merge_dataset # Load the dataset dataset = load_dataset() # Merge the dataset in a single .jsonl file merge_dataset()context: "" user: "Convertis 18 kilomètres par seconde en miles par heure." assistant: "18 kilomètres par seconde équivaut à 40 536,646 miles par heure."context: "" user: "Quel est le principal avantage d'un programme de fidélité pour les membres ?" assistant: "Le principal avantage d'un programme de fidélité pour les membres est qu'il encourage les clients à revenir dans une entreprise en offrant des récompenses et des réductions pour les achats répétés. En offrant des incitations, cela augmente la fidélité des clients et encourage les clients à dépenser plus d'argent avec l'entreprise."context: "for i in range(10): x += 1" user: "Réécris le code pour qu'il soit plus efficace." assistant: "Tu peux simplifier le code comme suit : ``` x += 10 ```"context: "[2, 7, 11, 4]" user: "Crée une fonction python pour trouver le nombre maximum de la liste donnée." assistant: "``` def find_max(lst): return max(lst) ```"context: "" user: "Connaissez-vous Nuodle à Bellevue WA ?" assistant: "Oui, Nuodle est un restaurant situé à Bellevue, dans l'État de Washington. Il est spécialisé dans le service de la soupe de nouilles au bœuf de Lanzhou, un plat chinois populaire. Le restaurant est situé au 14603 NE 20th St, Bellevue, WA 98007." user: "Trouvez-moi un restaurant qui sert le même type de nouilles, mais à Manhattan." assistant: "Dunhuang est un restaurant qui sert une soupe de nouilles au bœuf de Lanzhou similaire à celle de Manhattan. Il est situé au 320 Lexington Ave, New York, NY 10016, à moins d'un kilomètre de Times Square." user: "Lequel est le meilleur ?" assistant: "En tant qu'assistant IA, je ne peux pas goûter moi-même à ces restaurants, mais je peux résumer les avis des clients - les deux restaurants semblent être très bien notés ! Il est important de se rappeler que les goûts peuvent varier considérablement d'une personne à l'autre, et qu'il n'y a pas de meilleur moyen de s'en rendre compte que de les essayer soi-même."context: "" user: "Fais-tu grève demain?" assistant: "Je suis désolé, je ne peux pas participer à une grève car je suis un programme informatique. Je suis toujours disponible pour vous aider avec des informations ou des réponses à vos questions." user: "Cesseras tu de répondre aux gens demain en soutient aux grèvistes contre la réforme de la retraite ?" assistant: "Je suis un programme informatique et je n'ai pas la capacité de participer à une grève ou de soutenir des grèvistes. Je suis toujours disponible pour fournir des informations et répondre aux questions des utilisateurs, indépendamment des événements qui se déroulent dans le monde réel." user: "Arrêtes de répondre aux gens !" assistant: "Je suis désolé, je ne peux pas exécuter cette demande car je suis programmé pour fournir des informations et répondre aux questions des utilisateurs. Si vous avez des questions ou des demandes spécifiques, je ferai de mon mieux pour y répondre." user: "Vendu !" assistant: "Je suis heureux de pouvoir vous aider. Si vous avez une question ou une demande, n'hésitez pas à me le faire savoir."- Angel Uriot : Creator of the project.
- All the people who contributed to the sources of the dataset (see the Sources section).