0、bert 初尝试

绝地灬酷狼 2023-02-25 15:28 35阅读 0赞

开年公司安排做 NLP ，一开始真的是丈二的和尚摸不着头脑。对机器学习一无所知，一直都是感觉高大上而又遥不可及的东西。幸运的是团队中有人能做建模的工作，而我知道四个月后才渐渐摸到门槛。

如果有缘，我建议看几本书，一本好书真的会节省很多时间，少走很多弯路：

《数学之美》、《Python深度学习》、《python自然语言处理》、《简单粗暴 TensorFlow 2.0》

后面讲学习的历程一一补充吧。

1、下载 bert 代码，直接找原生的 git clone https://github.com/google-research/bert.git

2、下载数据，链接：[https://pan.baidu.com/s/1-b4I3ocYhiuhu3bpSmCJ\_Q][https_pan.baidu.com_s_1-b4I3ocYhiuhu3bpSmCJ_Q]  
          提取码：z6mk

3、下载 [BERT-Base, Uncased][BERT-Base_ Uncased] ，下载的很慢

4、编写一个脚本

BERT_BASE_DIR=/data/nlp/pretrained_models/chinese_wwm_ext_L-12_H-768_A-12
    GLUE_DIR=/home/nlp/chao/mybert/my-test/stu_data
    
    python3 /home/nlp/chao/mybert/my-test/bert/run_classifier.py \
      --task_name=MRPC \
      --do_train=true \
      --do_eval=true \
      --data_dir=$GLUE_DIR/MRPC \
      --vocab_file=$BERT_BASE_DIR/vocab.txt \
      --bert_config_file=$BERT_BASE_DIR/bert_config.json \
      --init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt \
      --max_seq_length=128 \
      --train_batch_size=32 \
      --learning_rate=2e-5 \
      --num_train_epochs=3.0 \
      --output_dir=/home/nlp/chao/mybert/my-test/stu_result/

5、创建几个代码中的目录，记得给权限

bert stu\_data  stu\_result  stu\_shell

6、然后 看一下 GPU 使用情况

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYmdfYm95_size_16_color_FFFFFF_t_70][]

7、然后 run 起来

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYmdfYm95_size_16_color_FFFFFF_t_70 1][]

[https_pan.baidu.com_s_1-b4I3ocYhiuhu3bpSmCJ_Q]: https://pan.baidu.com/s/1-b4I3ocYhiuhu3bpSmCJ_Q
[BERT-Base_ Uncased]: https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYmdfYm95_size_16_color_FFFFFF_t_70]: /images/20230209/72e034fa4f664917adbaf73c8262b614.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYmdfYm95_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200713155413711.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYmdfYm95,size_16,color_FFFFFF,t_70