Azure99 commited on
Commit
fc2ecf4
1 Parent(s): 029e6f2

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +41 -0
README.md CHANGED
@@ -1,3 +1,44 @@
1
  ---
2
  license: apache-2.0
 
 
 
 
 
 
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  license: apache-2.0
3
+ datasets:
4
+ - Azure99/blossom-chat-v1
5
+ - Azure99/blossom-math-v2
6
+ - Azure99/blossom-wizard-v1
7
+ - Azure99/blossom-orca-v1
8
+ language:
9
+ - zh
10
+ - en
11
  ---
12
+ # **BLOSSOM-v3-mistral-7b**
13
+
14
+ ### 介绍
15
+
16
+ Blossom是一个对话式语言模型,基于Mistral-7B-v0.1预训练模型,在Blossom Orca/Wizard/Chat/Math混合数据集上进行指令精调得来。Blossom拥有强大的通用能力及上下文理解能力,此外,训练使用的高质量中英文数据集也进行了开源。
17
+
18
+ 训练分为两阶段,第一阶段使用100K Wizard、100K Orca单轮指令数据集,训练1个epoch;第二阶段使用2K Blossom math数学推理数据集、50K Blossom chat多轮对话数据集、以及上一阶段中随机采样1%的数据,训练3个epoch。
19
+
20
+ 注意:Mistral-7B-v0.1预训练模型的中文知识较为欠缺,因此对于中文场景,更推荐使用[blossom-v3-baichuan2-7b](https://huggingface.co/Azure99/blossom-v3-baichuan2-7b)
21
+
22
+ ### 推理
23
+
24
+ 推理采用对话续写的形式。
25
+
26
+ 单轮对话
27
+
28
+ ```
29
+ A chat between a human and an artificial intelligence bot. The bot gives helpful, detailed, and polite answers to the human's questions.
30
+ |Human|: 你好
31
+ |Bot|:
32
+ ```
33
+
34
+ 多轮对话
35
+
36
+ ```
37
+ A chat between a human and an artificial intelligence bot. The bot gives helpful, detailed, and polite answers to the human's questions.
38
+ |Human|: 你好
39
+ |Bot|: 你好,有什么我能帮助你的?</s>
40
+ |Human|: 介绍下中国的首都吧
41
+ |Bot|:
42
+ ```
43
+
44
+ 注意:在历史对话的Bot输出结尾,拼接一个&lt;/s&gt;