--- library_name: setfit tags: - setfit - sentence-transformers - text-classification - generated_from_setfit_trainer metrics: - '0' - '1' - '2' - accuracy - macro avg - weighted avg widget: - text: À la période de questions hier, Justin Trudeau a annoncé qu’il appuierait une motion du Bloc québécois demandant au gouvernement de « revoir ses cibles d’immigration dès 2024 » - text: Bad Bunny a sorti hier Nadie Sabe Lo Que Va a Pasar Mañana « Personne ne sait ce qui se passera demain », son cinquième album studio qui fait suite à Un Verano Sin Ti paru en 2022 - text: 'Ce jour-là, en plein Shabbat, le repos juif hebdo‐ madaire, des centaines de combattants du Hamas se sont infiltrés depuis Gaza sur le sol israélien, où ils ont com‐ mis l''attaque la plus meur‐ trière dans l''histoire d''Israël. - Rappel de diplomates L''intensification des bom‐ bardements sur Gaza a coïnci‐ dé avec une coupure des communications et internet, compliquant encore la tâche des humanitaires La communauté interna‐ tionale redoute un embrase‐ ment régional, alors que l''Iran, soutien du Hamas et du Hezbollah libanais, a lancé des avertissements aux EtatsUnis, proche allié d''Israël. La tension est aussi très vive en Cisjordanie occupée depuis 1967, où plus de 100 Palestiniens ont été tués par des soldats ou des colons is‐ raéliens depuis le 7 octobre Israël a intensifié son offensive contre la bande de Gaza et averti que sa guerre contre le Hamas serait "longue et difficile", malgré les appels à une désescalade face aux "souf‐ frances intolérables" des populations civiles palestiniennes selon la Croix-Rouge Désormais est engagée "la deuxième étape de la guerre, dont l''objectif est clair: dé‐ truire les capacités militaires et la direction du Hamas; ra‐ mener les otages à la maison", a affirmé M - "Les familles veulent des réponses" Leurs proches sont de plus en plus mécontents de l''"in‐ certitude absolue" à laquelle ils sont confrontés quant à leur sort, en particulier lors des bombardements inten‐ sifs, a déclaré Haim Rubin‐ stein, leur porte-parole Désormais est engagée "la deuxième étape de la guerre, dont l''objectif est clair: dé‐ truire les capacités militaires et la direction du Hamas; ra‐ mener les otages à la maison", a affirmé M. Netanyahu après avoir rencontré les familles des captifs du Hamas, dont Is‐ raël estime le nombre à 230 Le Hamas, au pouvoir à Gaza depuis 2007, affirme lui que plus de 8.000 Palesti‐ niens, dont la moitié sont des enfants, ont été tuées dans les bombardements israéliens depuis le début du conflit il y a un peu plus de trois se‐ maines L''armée israélienne a fait état de "plusieurs terroristes du Hamas tués" dont un res‐ ponsable "ayant pris part à l''organisation du massacre du 7 octobre". Israël veut "anéantir" le mouvement islamiste, en re‐ présailles à l''attaque du 7 oc‐ tobre Le chef du Hamas à Gaza, Yahya Sinouar, qui s''est expri‐ mé samedi soir pour la pre‐ mière fois depuis le 7 octobre, a déclaré être prêt "à immé‐ diatement conclure un échange pour faire libérer tous les prisonniers dans les prisons de l''ennemi sioniste contre tous les otages"' - text: Sheila la Française est devenue une artiste internationale en se classant à plusieurs reprises dans le Billboard américain Sheila fête ses 60 ans de carrière avec un album et une tournée. Une carrière jalonnée de nombreux tubes, passant du yéyé au disco, de la pop au rock, avec pas moins de 26 albums, qui se sont écoulés à plus de 85 millions d’exemplaires À peine la date annoncée, les réservations ont été rapides et nombreuses pour le concert que la chanteuse Sheila va donner au casino de Pornic, le samedi 23 mars 2024. La salle va bientôt afficher complet, il est donc temps pour les derniers indécis de profiter des derniers billets encore disponibles À peine la date annoncée, les réservations ont été rapides et nombreuses pour le concert que la chanteuse Sheila va donner au casino de Pornic, le samedi 23 mars 2024 - text: Bien plus puissants, ils ont régulièrement gagné la ligne d’avantage pour mettre à mal la défense des Rouge et Noir Si l’Afrique du Sud a pu réussir l’exploit de remporter une deuxième Coupe du monde consécutive samedi face à la Nouvelle-Zélande (12-11), la nation arc-en-ciel s’est appuyée sur un banc XXL pour faire la différence pipeline_tag: text-classification inference: true base_model: sentence-transformers/paraphrase-multilingual-mpnet-base-v2 model-index: - name: SetFit with sentence-transformers/paraphrase-multilingual-mpnet-base-v2 results: - task: type: text-classification name: Text Classification dataset: name: Unknown type: unknown split: test metrics: - type: '0' value: precision: 0.6666666666666666 recall: 0.3076923076923077 f1-score: 0.42105263157894735 support: 39 name: '0' - type: '1' value: precision: 0.7757847533632287 recall: 0.8871794871794871 f1-score: 0.8277511961722488 support: 195 name: '1' - type: '2' value: precision: 0.525 recall: 0.44680851063829785 f1-score: 0.48275862068965514 support: 47 name: '2' - type: accuracy value: 0.7330960854092526 name: Accuracy - type: macro avg value: precision: 0.6558171400099652 recall: 0.5472267685033643 f1-score: 0.5771874828136171 support: 281 name: Macro Avg - type: weighted avg value: precision: 0.7186940459282192 recall: 0.7330960854092526 f1-score: 0.7136021034077625 support: 281 name: Weighted Avg --- # SetFit with sentence-transformers/paraphrase-multilingual-mpnet-base-v2 This is a [SetFit](https://github.com/huggingface/setfit) model that can be used for Text Classification. This SetFit model uses [sentence-transformers/paraphrase-multilingual-mpnet-base-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-mpnet-base-v2) as the Sentence Transformer embedding model. A [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance is used for classification. The model has been trained using an efficient few-shot learning technique that involves: 1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning. 2. Training a classification head with features from the fine-tuned Sentence Transformer. ## Model Details ### Model Description - **Model Type:** SetFit - **Sentence Transformer body:** [sentence-transformers/paraphrase-multilingual-mpnet-base-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-mpnet-base-v2) - **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance - **Maximum Sequence Length:** 128 tokens - **Number of Classes:** 3 classes ### Model Sources - **Repository:** [SetFit on GitHub](https://github.com/huggingface/setfit) - **Paper:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055) - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit) ### Model Labels | Label | Examples | |:------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | pos | | | obj | | | neg | | ## Evaluation ### Metrics | Label | 0 | 1 | 2 | Accuracy | Macro Avg | Weighted Avg | |:--------|:----------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------|:---------|:----------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------| | **all** | {'precision': 0.6666666666666666, 'recall': 0.3076923076923077, 'f1-score': 0.42105263157894735, 'support': 39} | {'precision': 0.7757847533632287, 'recall': 0.8871794871794871, 'f1-score': 0.8277511961722488, 'support': 195} | {'precision': 0.525, 'recall': 0.44680851063829785, 'f1-score': 0.48275862068965514, 'support': 47} | 0.7331 | {'precision': 0.6558171400099652, 'recall': 0.5472267685033643, 'f1-score': 0.5771874828136171, 'support': 281} | {'precision': 0.7186940459282192, 'recall': 0.7330960854092526, 'f1-score': 0.7136021034077625, 'support': 281} | ## Uses ### Direct Use for Inference First install the SetFit library: ```bash pip install setfit ``` Then you can load this model and run inference. ```python from setfit import SetFitModel # Download from the 🤗 Hub model = SetFitModel.from_pretrained("mogaio/pr_ebsa_fr_merged25_offsets_10_v3") # Run inference preds = model("À la période de questions hier, Justin Trudeau a annoncé qu’il appuierait une motion du Bloc québécois demandant au gouvernement de « revoir ses cibles d’immigration dès 2024 »") ``` ## Training Details ### Training Set Metrics | Training set | Min | Median | Max | |:-------------|:----|:---------|:-----| | Word count | 10 | 235.6465 | 1295 | | Label | Training Sample Count | |:------|:----------------------| | neg | 169 | | obj | 714 | | pos | 240 | ### Training Hyperparameters - batch_size: (8, 8) - num_epochs: (10, 10) - max_steps: -1 - sampling_strategy: oversampling - num_iterations: 1 - body_learning_rate: (2e-05, 1e-05) - head_learning_rate: 0.01 - loss: CosineSimilarityLoss - distance_metric: cosine_distance - margin: 0.25 - end_to_end: False - use_amp: False - warmup_proportion: 0.1 - seed: 42 - eval_max_steps: -1 - load_best_model_at_end: True ### Training Results | Epoch | Step | Training Loss | Validation Loss | |:-------:|:-------:|:-------------:|:---------------:| | 0.0036 | 1 | 0.3128 | - | | 0.1779 | 50 | 0.2449 | - | | 0.3559 | 100 | 0.2471 | - | | 0.5338 | 150 | 0.26 | - | | 0.7117 | 200 | 0.258 | - | | 0.8897 | 250 | 0.1668 | - | | **1.0** | **281** | **-** | **0.2278** | | 1.0676 | 300 | 0.2036 | - | | 1.2456 | 350 | 0.2461 | - | | 1.4235 | 400 | 0.2549 | - | | 1.6014 | 450 | 0.1996 | - | | 1.7794 | 500 | 0.313 | - | | 1.9573 | 550 | 0.1067 | - | | 2.0 | 562 | - | 0.2794 | | 2.1352 | 600 | 0.1623 | - | | 2.3132 | 650 | 0.2994 | - | | 2.4911 | 700 | 0.1289 | - | | 2.6690 | 750 | 0.1241 | - | | 2.8470 | 800 | 0.1911 | - | | 3.0 | 843 | - | 0.2847 | | 3.0249 | 850 | 0.1494 | - | | 3.2028 | 900 | 0.2158 | - | | 3.3808 | 950 | 0.0482 | - | | 3.5587 | 1000 | 0.2409 | - | | 3.7367 | 1050 | 0.107 | - | | 3.9146 | 1100 | 0.0541 | - | | 4.0 | 1124 | - | 0.2872 | | 4.0925 | 1150 | 0.207 | - | | 4.2705 | 1200 | 0.0872 | - | | 4.4484 | 1250 | 0.0585 | - | | 4.6263 | 1300 | 0.0563 | - | | 4.8043 | 1350 | 0.0877 | - | | 4.9822 | 1400 | 0.1131 | - | | 5.0 | 1405 | - | 0.2658 | | 5.1601 | 1450 | 0.0195 | - | | 5.3381 | 1500 | 0.0242 | - | | 5.5160 | 1550 | 0.0421 | - | | 5.6940 | 1600 | 0.1088 | - | | 5.8719 | 1650 | 0.0466 | - | | 6.0 | 1686 | - | 0.2974 | | 6.0498 | 1700 | 0.0015 | - | | 6.2278 | 1750 | 0.2859 | - | | 6.4057 | 1800 | 0.0812 | - | | 6.5836 | 1850 | 0.1842 | - | | 6.7616 | 1900 | 0.1373 | - | | 6.9395 | 1950 | 0.0897 | - | | 7.0 | 1967 | - | 0.3125 | | 7.1174 | 2000 | 0.1438 | - | | 7.2954 | 2050 | 0.0349 | - | | 7.4733 | 2100 | 0.0169 | - | | 7.6512 | 2150 | 0.0684 | - | | 7.8292 | 2200 | 0.1792 | - | | 8.0 | 2248 | - | 0.3182 | | 8.0071 | 2250 | 0.1537 | - | | 8.1851 | 2300 | 0.2513 | - | | 8.3630 | 2350 | 0.0015 | - | | 8.5409 | 2400 | 0.0492 | - | | 8.7189 | 2450 | 0.0692 | - | | 8.8968 | 2500 | 0.0491 | - | | 9.0 | 2529 | - | 0.3037 | | 9.0747 | 2550 | 0.2146 | - | | 9.2527 | 2600 | 0.0087 | - | | 9.4306 | 2650 | 0.0462 | - | | 9.6085 | 2700 | 0.1676 | - | | 9.7865 | 2750 | 0.0041 | - | | 9.9644 | 2800 | 0.0193 | - | | 10.0 | 2810 | - | 0.3227 | * The bold row denotes the saved checkpoint. ### Framework Versions - Python: 3.10.12 - SetFit: 1.0.1 - Sentence Transformers: 2.2.2 - Transformers: 4.35.2 - PyTorch: 2.1.0+cu121 - Datasets: 2.16.1 - Tokenizers: 0.15.0 ## Citation ### BibTeX ```bibtex @article{https://doi.org/10.48550/arxiv.2209.11055, doi = {10.48550/ARXIV.2209.11055}, url = {https://arxiv.org/abs/2209.11055}, author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren}, keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences}, title = {Efficient Few-Shot Learning Without Prompts}, publisher = {arXiv}, year = {2022}, copyright = {Creative Commons Attribution 4.0 International} } ```