本文共 4427 字，大约阅读时间需要 14 分钟。

论文分析Task4——论文种类分类（待补充）

任务说明

学习主题：论文分类（数据建模任务），利用已有数据建模，对新论文进行类别分类；

学习内容：使用论文标题完成类别分类；

文本分类涉及知识点及思路

思路1：TF-IDF+机器学习分类器

直接使用TF-IDF对文本提取特征，使用分类器进行分类，分类器的选择上可以使用SVM、LR、XGboost等

思路2：FastText

FastText是入门款的词向量，利用Facebook提供的FastText工具，可以快速构建分类器

思路3：WordVec+深度学习分类器

WordVec是进阶款的词向量，并通过构建深度学习分类完成分类。深度学习分类的网络结构可以选择TextCNN、TextRnn或者BiLSTM。

思路4：Bert词向量

Bert是高配款的词向量，具有强大的建模学习能力

数据预处理通过标题和摘要完成论文分类

导入包

# 导入所需的packageimport json #读取数据，我们的数据为json格式的import pandas as pd #数据处理，数据分析import matplotlib.pyplot as plt #画图工具

导入数据

data = []with open("E:/datawhale数据分析/arxiv-metadata-oai-2019.json",'r') as f:    for idx, line in enumerate(f):         d = json.loads(line)        d = {
   'title': d['title'], 'categories': d['categories'], 'abstract': d['abstract']}        data.append(d)                # 选择部分数据        if idx > 200000:            breakdata = pd.DataFrame(data)#将list变为dataframe格式，方便用pandas进行分析data.shape

#通过标题和摘要内容进行论文分类，因此进行合并data['text'] = data['title'] + data['abstract']data['text'][0]

data['text'] = data['text'].apply(lambda x:x.replace('\n',' ')) data['text'] = data['text'].apply(lambda x:x.lower())data['text'][0]data = data.drop(['title','abstract'],axis = 1)#因为类别有多个需要进行分割data['categories'][7]#out:'math.DG'# 多个类别，包含子分类data['categories'] = data['categories'].apply(lambda x : x.split(' '))data['categories'][7]#out:'math.DG'# 单个类别，不包含子分类data['categories_big'] = data['categories'].apply(lambda x : [xx.split('.')[0] for xx in x])data['categories_big'][7]#out:math

将类别进行编码

#将类别进行编码，这里类别是多个，所以需要多编码from sklearn.preprocessing import MultiLabelBinarizermlb = MultiLabelBinarizer()data_label = mlb.fit_transform(data['categories_big'].iloc[:])data_label[0]

思路1使用TFIDF

#思路1使用TFIDF提取特征，限制最多4000个单词，文本向量化：from sklearn.feature_extraction.text import TfidfVectorizervectorizer = TfidfVectorizer(max_features=4000)data_tfidf = vectorizer.fit_transform(data['text'].iloc[:])

#多标签分类，可以使用sklearn的多标签分类进行封装：# 划分训练集和验证集from sklearn.model_selection import train_test_splitx_train, x_test, y_train, y_test = train_test_split(data_tfidf, data_label,                                                 test_size = 0.2,random_state = 1)# 构建多标签分类模型from sklearn.multioutput import MultiOutputClassifierfrom sklearn.naive_bayes import MultinomialNBclf = MultiOutputClassifier(MultinomialNB()).fit(x_train, y_train)

#验证模型精度from sklearn.metrics import classification_reportprint(classification_report(y_test, clf.predict(x_test)))

思路2使用深度学习模型，单词进行词嵌入然后训练。 首先按照文本划分数据集,将数据集处理进行编码，并进行截断 定义模型并完成训练

#首先划分训练集和测试集from sklearn.model_selection import train_test_splitx_train, x_test, y_train, y_test = train_test_split(data['text'].iloc[:], data_label,                                                 test_size = 0.2,random_state = 1)

#将数据集进行编码并截断# parametermax_features= 500max_len= 150embed_size=100batch_size = 128epochs = 5from keras.preprocessing.text import Tokenizerfrom keras.preprocessing import sequencetokens = Tokenizer(num_words = max_features)tokens.fit_on_texts(list(x_train)+list(x_test))x_sub_train = tokens.texts_to_sequences(x_train)x_sub_test = tokens.texts_to_sequences(x_test)x_sub_train=sequence.pad_sequences(x_sub_train, maxlen=max_len)x_sub_test=sequence.pad_sequences(x_sub_test, maxlen=max_len)

#定义模型并进行训练# LSTM model# Keras Layers:from keras.layers import Dense,Input,LSTM,Bidirectional,Activation,Conv1D,GRUfrom keras.layers import Dropout,Embedding,GlobalMaxPooling1D, MaxPooling1D, Add, Flattenfrom keras.layers import GlobalAveragePooling1D, GlobalMaxPooling1D, concatenate, SpatialDropout1D# Keras Callback Functions:from keras.callbacks import Callbackfrom keras.callbacks import EarlyStopping,ModelCheckpointfrom keras import initializers, regularizers, constraints, optimizers, layers, callbacksfrom keras.models import Modelfrom keras.optimizers import Adamsequence_input = Input(shape=(max_len, ))x = Embedding(max_features, embed_size,trainable = False)(sequence_input)x = SpatialDropout1D(0.2)(x)x = Bidirectional(GRU(128, return_sequences=True,dropout=0.1,recurrent_dropout=0.1))(x)x = Conv1D(64, kernel_size = 3, padding = "valid", kernel_initializer = "glorot_uniform")(x)avg_pool = GlobalAveragePooling1D()(x)max_pool = GlobalMaxPooling1D()(x)x = concatenate([avg_pool, max_pool]) preds = Dense(34, activation="sigmoid")(x)model = Model(sequence_input, preds)model.compile(loss='binary_crossentropy',optimizer=Adam(lr=1e-3),metrics=['accuracy'])model.fit(x_sub_train, y_train, batch_size=batch_size, epochs=epochs)

转载地址：http://pagwi.baihongyu.com/