RNN/LSTM (二) 实践案例

介绍

本文参考swarnabha/pytorch-text-classification-torchtext-lstm，讲解一个用LSTM训练kaggle数据集的案例。该项目使用torchtext的API构建数据集，而torchtext又使用了spacy库为句子分词。本文会先讲解项目架构，并附上运行代码时可能遇到的踩坑讲解。

该kaggle页面的data标签页里给出了数据集的下载链接，请下载其中的train.csv和test.csv文件。

glove前缀的文件，比如"glove.6B.100d.txt"等，都是torchtext的预训练词库。如果你不下载它们，torchtext也会自动下载到.vector_cache目录的。

主要步骤

粗略通读项目架构如下：

第一步，使用scikit-learn的工具方法切分pandas dataframe形式的数据集

# split data into train and validation
train_df, valid_df = train_test_split(train)
print(train_df.head())
print(valid_df.head())
1
2
3
4

第二步，设置tokenize策略

TEXT = data.Field(tokenize = 'spacy', include_lengths = True)
LABEL = data.LabelField(dtype = torch.float)
1
2

利用Field，将Pandas dataframe包装成torchtext dataset

fields = [('text',TEXT), ('label',LABEL)]
train_ds, val_ds = DataFrameDataset.splits(fields, train_df=train_df, val_df=valid_df)
1
2

第三步，构建词库，对单词作one-hot编码。

TEXT.build_vocab(train_ds,
                 max_size = MAX_VOCAB_SIZE,
                 vectors = 'glove.6B.200d',
                 unk_init = torch.Tensor.zero_)

LABEL.build_vocab(train_ds)
1
2
3
4
5
6

第四步，切分数据集

train_iterator, valid_iterator = data.BucketIterator.splits(
    (train_ds, val_ds),
    batch_size = BATCH_SIZE,
    sort_within_batch = True,
    device = device)
1
2
3
4
5

最后，循环读取批次，将embedding送入lstm网络。

for epoch in range(num_epochs):
    train_loss, train_acc = train(model, train_iterator)
1
2

踩坑

module ‘torchtext.data‘ has no attribute ‘Field

由于版本兼容性问题，运行代码可能遇到错误AttributeError: module ‘torchtext.data‘ has no attribute ‘Field‘，也可以参考attributeerror-module-torchtext-data-has-no-attribute-field。使用torchtext 0.10（可能会安装旧版的pytorch，所以用conda开个新环境，凑合着用吧），然后from torchtext import data改成from torchtext.legacy import data。

阅读torchtext的版本更新与api变迁可以得知APi变迁。

• 在0.8版本以前，是from torchtext import data。
• 在0.9到0.12版本之间，是from torchtext.legacy import data。
• 在0.12版本之后，该data库已经删除，如果坚持要用，需要参考新版API教程。

总之，要复用教程的API，最好用torchtext 0.9或0.10。pytorch-sentiment-analysis列出了一些基于该版本API的教程，可以参考它的第一个教程运行下。

缺少spacy语言模型en_core_web_sm

如果运行遇到以下问题，说明需要下载spacy语言模型en_core_web_sm并安装。

Can’t find model ‘en_core_web_sm’. It doesn’t seem to be a Python package or a valid path to a data directory.

这是因为自然语言处理类库spacy需要加载语言模型en_core_web_sm。尽管官方教程 Quickstart会建议你运行以下命令：

python -m spacy download en_core_web_sm
1

但是因为无法连接外网的缘故，这条命令大概率会连接失败（你可以开启代理再尝试，但笔者并没成功）。

所以我参考NLP Spacy中en_core_web_sm安装问题，及最新版下载地址，做法如下：

1. 到github的release界面搜索"en_core_web_sm"，找最新版的压缩包下载
2. 用pip install 安装这个压缩包。

笔者下载的是3.4.1版本。如果下载2.5.2，可能会出现cannot read config之类的错误。笔者不知道怎么解决。

相关教程

• 为了更好理解torchtext0.9~0.12版本下的torchtext.legacy.data包，可以学习bentrevett/pytorch-sentiment-analysis的教程1，其中有提到了Field是如何帮助构建vocab的，并在这期间对句子的单词作清洗工作（为了减少要训练的embedding的数，保留最高频率的单词）。
• 文章使用的是自定义的torchtext Dataset，如果想了解自定义pytorch Dataset的用法，可学习pytorch dataset

其它RNN案例

在网络上可以看到不少用RNN搭建的模型：

• pytorch官方的教程，SEQUENCE MODELS AND LONG SHORT-TERM MEMORY NETWORKS 的模型代码很清晰，架构完整，但是缺乏训练数据集（training_data变量的数据很匮乏），所以只能个人理解。
• towardsdatascience的教程，lstm-text-classification-using-pytorch，其训练集存在kaggle链接