贝叶斯垃圾邮件分类器

2021-01-02

贝叶斯垃圾邮件分类器

利用朴素贝叶斯算法，在给定训练数据上，训练一个垃圾分类器。有关朴素贝叶斯的基本思想，可以参见另一篇博客：https://zyj-nova.github.io/2020/02/09/%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF%EF%BC%88Naive%20Bayes%EF%BC%89/

0 数据集获取

链接：https://pan.baidu.com/s/1P3Jg67nerg63GVbCkc1YJg ，提取码：576u 。

数据集为英文语料，分为训练集和测试集。训练集包含351封垃圾邮件（文件名标有“spmsg”）、351封正常邮件；测试集包含130封正常邮件和130封垃圾邮件。

1 特征提取

由于每一封邮件都不是数值型的特征，因此我们需要把他们编码。首先需要构建一个字典，统计所有邮件中单词出现的频率，同时删除字典中的非字母字符、长度为1的字符，之后取前3000个出现频率最高的作为最终的字典。

n_dim = 3000
def make_Dictionary(train_dir):
    emails = [os.path.join(train_dir, f) for f in os.listdir(train_dir)]
    all_words = []
    for mail in emails:
        with open(mail) as f:
            # 遍历每一行
            for i,line in enumerate(f):
                if(i == 2):
                    #正文开始
                    words = line.split()#默认按照空格分词
                    all_words += words
    dictionary = Counter(all_words)
    # 词典构建好，删除多余的词汇
    list_to_remove = list(dictionary.keys())
    
    for item in list_to_remove:
        if item.isalpha() == False:
            del dictionary[item]
        elif len(item) == 1:
            del dictionary[item]
    dictionary = dictionary.most_common(n_dim)
    
    return dictionary

构建完字典以后，就可以对每一封邮件进行编码了。特征向量的每一个分量即邮件中出现的对应词频。例如邮件“do over，do again”可以被编码为$[0,0,…,2,…,1,…,1]$。每一个分量都代表对应的词频。

# 将每个邮件转化为词频向量
def extract_features(mail_dir):
    
    files = [os.path.join(mail_dir, f) for f in os.listdir(mail_dir)]
    labels = np.ones(len(files))
    feature_matrix = np.zeros((len(files), n_dim))
    docID = 0
    
    for file in files:
        with open(file) as f:
            if f.name[30:].find("sp") != -1:
                #垃圾邮件
                labels[docID] = 0
            for i, line in enumerate(f):
                if i == 2:
                    words = line.split()
                    for w in words:
                        wordID = 0
                        for i,d in enumerate(dictionary):
                            if(d[0] == w):
                                wordID = i
                                feature_matrix[docID, wordID] += 1
        docID += 1
    return feature_matrix, labels

2 计算概率

$P(word|y =spam) = P(word, spam) / P(spam)$，$P(word, spam)$即每个单词在垃圾邮件中出现的频数，$P(spam)$即垃圾邮件中所有单词的词频总和。正常邮件同理，得到概率矩阵。

# 统计垃圾邮件中的所有词频和，以及各个词的频数
spam_words = 0
non_spam_words = 0
spam_mails = []
non_spam_mails = []
for i,line in enumerate(feature_matrix):
    if labels[i] == 1:
        non_spam_words += int(feature_matrix[i].sum())
        non_spam_mails.append(feature_matrix[i])
    else:
        spam_mails.append(feature_matrix[i])
        spam_words += int(feature_matrix[i].sum())
print("spam total words are {}, non-spam total words are {}".format(spam_words, non_spam_words))

spam_mails = np.array(spam_mails)
non_spam_mails = np.array(non_spam_mails)

weight_matrix = np.zeros((2,n_dim))
weight_matrix[0, :] = spam_mails.sum(axis = 0) / spam_words
weight_matrix[1, :] = non_spam_mails.sum(axis = 0) / non_spam_words

为了避免概率矩阵中出现0的情况，使得计算概率时出现乘0，最后让权重矩阵每个分量加一个非常小的扰动

1 2	sigma = 1e-8 weight_matrix += sigma

3 模型预测与评估

pred_labels = []
for feature in test_feature:
    spam_prob = 1.0
    non_spam_prob = 1.0
    
    for i,w in enumerate(feature):
        if w != 0:
            # 计算P(w|spam) P(w|non-spam)
            spam_prob += np.log10(weight_matrix[0, i])
            non_spam_prob += np.log10(weight_matrix[1, i])
    print(spam_prob, non_spam_prob)
    if spam_prob > non_spam_prob:
        pred_labels.append(0)
    else:
        pred_labels.append(1)

注意：在计算概率的时候用到了一个trick，由于非常小的数不断连乘最后会趋于0，因此利用取对数的方法将乘法化为加法（极大似然估计就是这么干的）。同时取对数时不可以为0，上面加的非常小的扰动是很有必要的。

模型在测试集上的准确率、召回率、f1_score如下：

1
2
3

recall_score : 0.9923076923076923
accuracy_score : 0.9846153846153847
f1_score : 0.9847328244274809