admin管理员组文章数量:1608851
Pytorch 中文语言模型（Bert/Roberta）进一步预训练（further pretrain）
- 1.Motivation
- 2.相关链接
- 3. 具体步骤
-
- 3.1 依赖项
- 3.2 数据格式
- 3.3 代码运行
- 4. 结果
-
- 4.1 完整的目录结构
- 4.2 训练过程
- 4.3 训练结果
- 5 .附录
1.Motivation
Bert是在大规模的语料下进行MLM训练得到的结果。然而，在具体的任务下，再在自己新的数据集进行finetune的效果并不会特别好。因此，需要利用domain内的语料对Bert预训练模型进行进一步的MLM训练，也就是further pretrain/ repretrain，与此相关的论文有ACL2020论文《Don’t Stop Pretraining 》，也有一篇将主题模型与bert相结合做semantic matching的工作，它们的目的都是提升Bert在target domain的效果。
2.相关链接
主要参考以下链接
- Pytorch中文语言模型bert预训练代码
- 旧版本transformer官方再训练链接
- 新版本transformer官方再训练链接
按照链接1上的说明进行操作，我没有将代码跑通，主要是版本问题和Out of memory 问题。于是，尝试链接3下的官方链接，但是也失败了，数据预处理过程就出现了问题，因为服务器不能访问dataset 库里面提供的text.py外网链接，后来通过copy的方式将text.py 文件保存在本地解决了该问题，但是后面又出现了0 sample的问题、index出界的问题，根源还是数据的预处理过程，这样搞了一天，我也服了我自己。最后，还是根据链接1，重新debug，至少它的数据处理没问题，将代码跑通。
3. 具体步骤
3.1 依赖项
务必安装以下版本的transformer，其他版本不保证，至少最新的我试过不行。
transformers==3.0.2
torch = 1.4.0
3.2 数据格式
我的数据格式如下：
每一行就是一条数据，数据之间没有空一行，注意此数据格式对应的参数--line_by_line应该设置为True
若数据格式为：
每一行就是一条数据，数据之间有空一行，注意此数据格式对应的参数--line_by_line应该设置为False。这种数据我没有尝试过，我猜的是设置为False，哈哈哈哈
3.3 代码运行
run_language_model_bert.py 具体代码见附录
运行命令：
python run_language_model_bert.py --output_dir=further_pretrain_sentiment --model_type=roberta--model_name_or_path=robert_pretrain_model --do_train --train_data_file=train_sentiment_500k.txt --mlm --per_device_train_batch_size=32 --line_by_line --overwrite_output_dir --block_size=128
参数说明：
output_dir:输出路径，训练结束后，该文件夹下会保存训练之后的文件，包括pytorch_model.bin、vocab.txt、config.json等等model_type：设置为bert或者robertamodel_name_or_path：原始的Bert/Roberta模型路径，我这里是robert_pretrain_modeldo_train：训练的Flagtrain_data_file：自己的训练语料路径，我的文件是与代码在同一路径下的train_sentiment_500k.txtdo_eval：验证的Flag，为了节省时间，我没有进行验证，可以自己选择eval_data_file：自己的验证语料路径，在验证flag为True的情况下mlm：我们要做的就是MLM训练，因此设置为Trueper_device_train_batch_size: 训练时，每个gpu上运行的batch 大小，根据自己情况进行设置，我这里GPU共2张卡，每张卡16GB，我设置的大小为32line_by_line: 根据自己的语料格式，自行选择，若每两条数据之间没有空一行，务必设置为Trueoverwrite_output_dir:是否覆盖output_dir下已有的文件。若不设置为True，输出路径下有文件时，代码会停止运行，给人提示。自己依情况选择block_size:若设置为-1，则会取语料中句子的最大长度与512之间的较小值。一般语料句子最大长度都比较长，因此会很大，则会造成out of memory现象，即使再减小batch_size也无济于事，之前就是因为这个问题，解决了很久，最后看代码、问师兄才解决，我一看out of memory，就减小batch_size，然而并没有什么用。因此，务必自己设定一个句子长度最大值，我这里是128.
4. 结果
4.1 完整的目录结构
其中，cached_lm_BertTokenizer_1000000000000000019884624838654_train.txt等类似文件是代码运行数据预处理之后产生的。
4.2 训练过程
原始代码会自动调用多GPU，我设置了让它只调用0号GPU.
先运行：export CUDA_VISIBLE_DEVICES=0
再运行 3.3命令行
下图显示的是--per_device_train_batch_size=128 、--block_size=64 0 号 GPU使用情况：
4.3 训练结果
训练结果保存在指定的 output_dir下，训练结束后，该文件夹下生成以下文件：
若设置了do_eval 验证的Flag，该文件夹下还应有验证的结果保存文件eval_results_lm.txt
5 .附录
run_language_model_bert.py代码如下：
# coding=utf-8
# Copyright 2018 The Google AI Language Team Authors and The HuggingFace Inc. team.
# Copyright (c) 2018, NVIDIA CORPORATION. All rights reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# http://www.apache/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
"""
Fine-tuning the library models for language modeling on a text file (GPT, GPT-2, CTRL, BERT, RoBERTa, XLNet).
GPT, GPT-2 and CTRL are fine-tuned using a causal language modeling (CLM) loss. BERT and RoBERTa are fine-tuned
using a masked language modeling (MLM) loss. XLNet is fine-tuned using a permutation language modeling (PLM) loss.
"""
import logging
import math
import os
import torch
from dataclasses import dataclass, field
from typing import Optional
from transformers import (
CONFIG_MAPPING,
MODEL_WITH_LM_HEAD_MAPPING,
AutoConfig,
AutoModelWithLMHead,
AutoTokenizer,
DataCollatorForLanguageModeling,
HfArgumentParser,
LineByLineTextDataset,
PreTrainedTokenizer,
TextDataset,
Trainer,
Trainer,
TrainingArguments,
set_seed,
)
logger = logging.getLogger(__name__)
MODEL_CONFIG_CLASSES 版权声明：本文标题：Pytorch 中文语言模型（BertRoberta）进一步预训练（further pretrain） 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/xitong/1728547684a1163069.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论