Qwen-7B-Chat 技术亮点 与Qwen7B预训练模型相同,Qwen7BChat模型规模基本情况如下所示: Hyperparameter Value nlayers 32 nheads 32 dmodel 4096 vocab size 151851 sequence length 8192 在位置编码、FFN激活函数和normalization的实现方式上,采用目前最流行的做法,即RoPE相对位置编码、SwiGLU激活函数、RMSNorm(可选安装flashattention加速)。 在分词器方面,相比目前主流开源模型以中英词表为主,Qwen7BChat使用了约15万token大小的词表。该词表在GPT4使用的BPE词表cl100kbase基础上,对中文、多语言进行了优化,在对中、英、代码数据的高效编解码的基础上,对部分多语言更加友好,方便用户在不扩展词表的情况下对部分语种进行能力增强。词表对数字按单个数字位切分。调用较为高效的tiktoken分词库进行分词。 相关引用 如对你有帮助,欢迎引用! plaintext @article{qwen, title{Qwen Technical Report}, author{Jinze Bai and Shuai Bai and Yunfei Chu and Zeyu Cui and Kai Dang and Xiaodong Deng and Yang Fan and Wenbin Ge and Yu Han and Fei Huang and Binyuan Hui and Luo Ji and Mei Li and Junyang Lin and Runji Lin and Dayiheng Liu and Gao Liu and Chengqiang Lu and Keming Lu and Jianxin Ma and Rui Men and Xingzhang Ren and Xuancheng Ren and Chuanqi Tan and Sinan Tan and Jianhong Tu and Peng Wang and Shijie Wang and Wei Wang and Shengguang Wu and Benfeng Xu and Jin Xu and An Yang and Hao Yang and Jian Yang and Shusheng Yang and Yang Yao and Bowen Yu and Hongyi Yuan and Zheng Yuan and Jianwei Zhang and Xingxuan Zhang and Yichang Zhang and Zhenru Zhang and Chang Zhou and Jingren Zhou and Xiaohuan Zhou and Tianhang Zhu}, journal{arXiv preprint arXiv:2309.16609}, year{2023} }