• 08-循环神经网络实现文本情感分类

    目录

    1.Pytorch中LSTM和GRU模块的使用

    1.1 LSTM的介绍

    1.2 LSTM使用示例api

    1.3 模型的损失函数

    1.4 双向LSTM

    1.5 LSTM和GRU的使用注意点

    2.使用LSTM完成文本情感分类

    2.1 修改模型

    1.Pytorch中LSTM和GRU模块的使用

    1.1 LSTM的介绍

    1.2 LSTM使用示例api

     

    1. """
    2. lstm的使用实例
    3. """
    4. import torch.nn as nn
    5. import torch
    6.  
    7.  
    8. batch_size=10
    9. seq_len=20#句子的长度
    10. vocab_size=100#词典的数量
    11. embedding_dim=30#用长度为30的向量表示一个词语
    12.  
    13. hidden_size=18
    14. num_layer=2
    15.  
    16. #构造一个batch的数据
    17. input=torch.randint(low=0,high=100,size=[batch_size,seq_len])#[10,20]
    18.  
    19. #数据经过embedding处理
    20. embedding=nn.Embedding(vocab_size,embedding_dim=embedding_dim)
    21. input_embeded=embedding(input)#[10,20,30]
    22.  
    23. #把embedding之后的数据传入lstm
    24. lstm=nn.LSTM(input_size=embedding_dim,hidden_size=hidden_size,num_layers=num_layer,batch_first=True,bidirectional=True)#bidirectional:双向LSTM
    25. output,(h_n,c_n)=lstm(input_embeded)
    26. print(output.size())#[10,20,18]  ==>num_layer=2,则[10,20,18]   ==>若bidirectional=True,则[10,20,18*2]
    27. print('*'*100)
    28. print(h_n.size())#[1*1,10,18]  ==>num_layer=2,则[2*1,10,18]  ==>若bidirectional=True,则[2*2,10,18]
    29. print('*'*100)
    30. print(c_n.size())#[1,10,18]  ==>num_layer=2,则[2,10,18]  ==>若bidirectional=True,则[4,10,18]
    31.  
    32. #获取最后一个时间步上的输出
    33. last_output=output[:,-1,:]
    34. #获取最后一次的hidden_state
    35. last_hidden_state=h_n[-1,:,:]
    36. print(last_output==last_hidden_state)#全是1，说明是一样的
    37.  
    38. #获取双向LSTM中正向的最后一个时间步的output
    39. #last_output=output[:,-1,:18]
    40. #反向
    41. last_output=output[:,0,18:]
    42. #获取双向LSTM中正向的最后一个hidden_state
    43. last_hidden_state=h_n[-2,:,:]
    44.  
    45. #反向
    46. last_hidden_state=h_n[-1,:,:]
    47. #1:第一层的正向
    48. #-1：第一层的反向
    49. #1：第二层的正向
    50. #-1：第二层的反向
    51. print(last_hidden_state.eq(last_output))

    1.3 模型的损失函数

    1.4 双向LSTM

    1.5 LSTM和GRU的使用注意点

    2.使用LSTM完成文本情感分类

    2.1 修改模型

     

    lib.py内容如下：

    1. import pickle
    2.  
    3. ws=pickle.load(open('./model/ws.pkl','rb'))
    4.  
    5. max_len=200
    6. batch_size=512
    7. test_batch_size=1000
    8.  
    9. hidden_size=128
    10. num_layers=2
    11. bidriectional=True
    12. dropout=0.4
    13.

    word_sequence.py内容如下：

    1. """
    2. 实现的是：构建字典，实现方法把句子转化为数字序列和其翻转
    3. """
    4.  
    5.  
    6. class Word2Sequence:
    7.     UNK_TAG = 'UNK'  # 不常见的单词  标记
    8.     PAD_TAG = "PAD"  # padding填充，即测试集中遇到新单词  标记
    9.     UNK = 0
    10.     PAD = 1
    11.  
    12.     def __init__(self):
    13.         self.dict = {
    14.             self.UNK_TAG: self.UNK,
    15.             self.PAD_TAG: self.PAD
    16.         }
    17.         self.count = {}  # 统计词频
    18.  
    19.     def fit(self, sentence):
    20.         """
    21.         把单个句子保存到dict中
    22.         :param sentence:[word1,word2,word3,...]
    23.         :return:
    24.         """
    25.         for word in sentence:
    26.             self.count[word] = self.count.get(word, 0) + 1
    27.  
    28.     def build_vocab(self, min=5, max=None, max_features=None):
    29.         """
    30.         生成词典
    31.         :param min:最小出现的次数
    32.         :param max:最大出现的次数
    33.         :param max_features:一共保留多少个词语
    34.         :return:
    35.         """
    36.         # 删除count中词频小于min的word
    37.         if min is not None:
    38.             self.count = {word: value for word, value in self.count.items() if value > min}
    39.         # 删除count中词频大于max的word
    40.         if max is not None:
    41.             self.count = {word: value for word, value in self.count.items() if value < max}
    42.         # 限制保留的词语数
    43.         if max_features is not None:
    44.             temp = sorted(self.count.items(), key=lambda x: x[-1], reverse=True)[:max_features]  # 降序，按照values值
    45.             self.count = dict(temp)  # 转换为字典
    46.         for word in self.count:
    47.             self.dict[word] = len(self.dict)
    48.         # 得到一个翻转的字典
    49.         self.inverse_dict = dict(zip(self.dict.values(), self.dict.keys()))
    50.  
    51.     def transform(self, sentence, max_len=None):
    52.         """
    53.         把句子转化为数字序列
    54.         :param sentence:[word1,word2,...]
    55.         :param max_len:int,对句子进行填充或裁剪裁剪
    56.         :return:
    57.         """
    58.         if max_len is not None:
    59.             if max_len > len(sentence):  # 填充
    60.                 sentence = sentence + [self.PAD_TAG] * (max_len - len(sentence))
    61.             elif max_len < len(sentence):  # 裁剪
    62.                 sentence = sentence[:max_len]
    63.         return [self.dict.get(word, self.UNK) for word in sentence]
    64.  
    65.     def inverse_transform(self, indices):
    66.         """
    67.         把序列转化为句子
    68.         :param indices:[1,2,3,4,...]
    69.         :return:
    70.         """
    71.         return [self.inverse_dict.get(idx) for idx in indices]
    72.  
    73.     def __len__(self):
    74.         return len(self.dict)
    75.  
    76. if __name__ == '__main__':
    77.     # ws=Word2Sequence()
    78.     # ws.fit(['我', '是', '谁'])
    79.     # ws.fit(['我', '是', '我'])
    80.     # ws.build_vocab(min=0)
    81.     # print(ws.dict)
    82.     # ret=ws.transform(['我','爱','北京'],max_len=10)
    83.     # print(ret)
    84.     # ret=ws.inverse_transform(ret)
    85.     # print(ret)
    86.  
    87.     pass
    88.  
    89.

     dataset.py内容如下：

    1. import jieba
    2. from keras.datasets import imdb#情感文本分类数据集
    3. import torch,os,re
    4. from lib import *#导入模型
    5. from torch.utils.data import DataLoader,Dataset
    6.  
    7.  
    8.  
    9. def tokenlize(content):
    10.     re.sub('<.*?>',' ',content)#将特殊字符替换成空格
    11.     fileters=["\.",":",'\t','\n','\x97','\x96','#','$','%','&']#删去这些字符
    12.     content=re.sub('|'.join(fileters),' ',content)
    13.     tokens=[i.strip() for i in content.split()]
    14.     return tokens
    15.  
    16. class ImdbDataset(Dataset):
    17.     def __init__(self,train=True):
    18.         self.train_data_path=r'D:\各种编译器的代码\pythonProject12\机器学习\NLP自然语言处理\datas\IMDB文本情感分类数据集\aclImdb\train'
    19.         self.test_data_path=r'D:\各种编译器的代码\pythonProject12\机器学习\NLP自然语言处理\datas\IMDB文本情感分类数据集\aclImdb\test'
    20.         data_path=self.train_data_path if train else self.test_data_path
    21.  
    22.         #1.把所有的文件名放入列表
    23.         temp_data_path=[os.path.join(data_path,'pos'),os.path.join(data_path,'neg')]#不需要\符号了   两个文件夹
    24.         self.total_file_path=[]#所有评论文件的path
    25.         for path in temp_data_path:
    26.             file_name_list=os.listdir(path)
    27.             file_path_list=[os.path.join(path,i) for i in file_name_list if i.endswith('.txt')]#当前文件夹中所有的文件名字
    28.             self.total_file_path.extend(file_path_list)#正例 负例文件名字都在
    29.  
    30.  
    31.     def __getitem__(self, index):
    32.         file_path=self.total_file_path[index]
    33.         #获取label
    34.         label_str=file_path.split("\\")[-2]
    35.         label=0 if label_str=='neg' else 1#文本类型数字化
    36.         #获取内容
    37.         tokens=tokenlize(open(file_path,'r',encoding='utf8').read())
    38.         return tokens,label
    39.  
    40.  
    41.     def __len__(self):
    42.         return len(self.total_file_path)
    43.  
    44. def collate_fn(batch):
    45.     """
    46.     :param batch:([tokens,label]，[tokens,label]...)
    47.     :return:
    48.     """
    49.     content,label=zip(*batch)
    50.     content=[ws.transform(i,max_len=max_len) for i in content]
    51.     content=torch.LongTensor(content)
    52.     label=torch.LongTensor(label)
    53.     return content,label
    54.  
    55. def get_dataloader(train=True,batch_size=batch_size):
    56.     imdb_dataset=ImdbDataset(train)
    57.     data_loader=DataLoader(imdb_dataset,batch_size=128,shuffle=True,collate_fn=collate_fn)
    58.     return data_loader
    59.  
    60.  
    61.  
    62. if __name__ == '__main__':
    63.     for idx,(input,target) in enumerate(get_dataloader()):
    64.         print(idx)
    65.         print(input)
    66.         print(target)
    67.         break

    main.py内容如下：

    1. from word_sequence import Word2Sequence
    2. import pickle,os
    3. from dataset import tokenlize
    4. from tqdm import tqdm#打印可迭代对象的进度条
    5.  
    6. if __name__ == '__main__':
    7.     ws = Word2Sequence()
    8.     path = r'D:\各种编译器的代码\pythonProject12\机器学习\NLP自然语言处理\datas\IMDB文本情感分类数据集\aclImdb\train'
    9.     temp_data_path = [os.path.join(path, 'pos'), os.path.join(path, 'neg')]  # 不需要\符号了   两个文件夹
    10.     for data_path in temp_data_path:
    11.         file_paths=[os.path.join(data_path,file_name) for file_name in os.listdir(data_path) if file_name.endswith('.txt')]
    12.         for file_path in tqdm(file_paths):
    13.             sentence=tokenlize(open(file_path,'r',encoding='utf8').read())
    14.             ws.fit(sentence)
    15.     ws.build_vocab(min=10,max_features=10000)
    16.     pickle.dump(ws,open(r'./model/ws.pkl','wb'))#保存ws
    17.     print(len(ws))

    model.py内容如下：

    1. '''
    2. 定义模型
    4. 模型优化方法：
    5.     添加一个新的全连接层作为输出层，激活函数处理
    6.     把双向的lstm的结果output传给一个单向的LSTM再进行处理
    7. '''
    8. import torch,os
    9. import torch.nn as nn
    10. import torch.nn.functional as F
    11. from torch.optim import Adam
    12. from dataset import get_dataloader
    13. from lib import *
    14. import numpy as np
    15. from tqdm import tqdm#打印进度条
    16.  
    17. class MyModel(nn.Module):
    18.     def __init__(self):
    19.         super(MyModel,self).__init__()
    20.         self.embedding=nn.Embedding(len(ws),100)
    21.         #加入LSTM
    22.         self.lstm=nn.LSTM(input_size=100,hidden_size=hidden_size,num_layers=num_layers,
    23.                     batch_first=True,bidirectional=bidriectional,dropout=dropout)
    24.         self.fc=nn.Linear(hidden_size*2,2)
    25.  
    26.     def forward(self,input):
    27.         """
    28.         :param input:[batch_size,max_len]
    29.         :return:
    30.         """
    31.         x=self.embedding(input) #进行embedding操作，形状：[batch_size,max_len,100]
    32.         #x:[batch_size,max_len,2*hidden_size],h_n:[2*2,batch_size,hidden_size]
    33.         x,(h_n, c_n)=self.lstm(x)
    34.         #获取两个方向最后一次的output,进行concat操作
    35.         output_fw=h_n[-2,:,:]#正向最后一次的输出
    36.         output_bw=h_n[-1,:,:]#反向最后一次的输出
    37.         output=torch.concat([output_bw,output_fw],dim=-1)#[batch_size,hidden_size*2]
    38.  
    39.         out=self.fc(output)
    40.         return F.log_softmax(out,dim=-1)
    41.  
    42. model=MyModel()
    43. optimizer=Adam(model.parameters(),lr=0.001)
    44.  
    45. if os.path.exists('./model/model.pkl'):
    46.     model.load_state_dict(torch.load('./model/model.pkl'))
    47.     optimizer.load_state_dict(torch.load('./model/optimizer.pkl'))
    48.  
    49. def train(epoch):
    50.     for idx,(input,target) in enumerate(get_dataloader(train=True)):
    51.         optimizer.zero_grad()#梯度归0
    52.         output=model(input)
    53.         loss=F.nll_loss(output,target)
    54.         loss.backward()
    55.         optimizer.step()
    56.         print(epoch,idx,loss.item())
    57.         if idx%100==0:
    58.             torch.save(model.state_dict(),'./model/model.pkl')
    59.             torch.save(optimizer.state_dict(),'./model/optimizer.pkl')
    60.  
    61. def eval():
    62.     loss_list=[]#损失列表
    63.     acc_list=[]#准确率列表
    64.     for idx,(input,target) in enumerate(get_dataloader(train=False,batch_size=test_batch_size)):
    65.         with torch.no_grad():
    66.             output=model(input)
    67.             cur_loss=F.nll_loss(output,target)
    68.             loss_list.append(cur_loss)
    69.             #计算准确率
    70.             pred=output.max(dim=-1)[-1]
    71.             cur_acc=pred.eq(target).float().mean()
    72.             acc_list.append(cur_acc)
    73.     print('totol loss,acc:',np.mean(loss_list),np.mean(acc_list))
    74.  
    75. if __name__ == '__main__':
    76.     for i in range(1):
    77.         train(i)

    运行model.py文件即可。运行时间可能比较长，耐心等待即可。

  • 相关阅读:
    强强联手，NVIDIA 与 Ampere Computing 重磅推出云原生服务器平台
    Java 基础常见知识点&面试题总结(下)，2022 最新版！
    【Vue学习之从入门到神经】
    SpringMVC的概念和使用以及bean加载控制
    python+vue企业人力资源管理系统django569
    大数据-消息队列：Pulsar
    Linux—进程间通信之System V共享内存
    10月11日，每日信息差
    计算机网络概述
    迎重阳，话养老：平安养老险如何助力国民“养老梦”？
  • 原文地址：https://blog.csdn.net/m0_58086930/article/details/127243132