如何用Python写一个词频统计小项目

# 如何用Python写一个词频统计小项目 词频统计是自然语言处理的基础任务之一，它能帮助我们快速分析文本中的关键词分布。本文将手把手教你用Python实现一个完整的词频统计工具，包含文件读取、文本预处理、统计分析和可视化功能。 ## 一、项目功能设计 我们的词频统计工具将实现以下核心功能： 1. 支持多种文本格式输入（txt/csv/json） 2. 中文/英文文本分词处理 3. 停用词过滤 4. 词频统计与排序 5. 结果可视化展示 6. 统计结果导出 ## 二、开发环境准备 ```python # 所需库安装 pip install jieba # 中文分词 pip install wordcloud # 词云生成 pip install matplotlib pandas 

三、代码实现步骤

1. 文件读取模块

def read_file(file_path): """支持多种文本格式读取""" if file_path.endswith('.txt'): with open(file_path, 'r', encoding='utf-8') as f: return f.read() elif file_path.endswith('.csv'): import pandas as pd return pd.read_csv(file_path).to_string() elif file_path.endswith('.json'): import json with open(file_path, 'r') as f: return json.load(f) else: raise ValueError("Unsupported file format") 

2. 文本预处理模块

import re import jieba from collections import Counter def preprocess_text(text, language='ch'): """文本清洗和分词处理""" # 去除特殊字符 text = re.sub(r'[^\w\s]', '', text.lower()) if language == 'ch': # 中文分词 words = jieba.lcut(text) else: # 英文分词 words = text.split() return words 

3. 停用词过滤

def load_stopwords(stop_file='stopwords.txt'): """加载停用词表""" with open(stop_file, 'r', encoding='utf-8') as f: return set([line.strip() for line in f]) def remove_stopwords(words, stopwords): """过滤停用词""" return [w for w in words if w not in stopwords and len(w) > 1] 

4. 词频统计核心函数

def word_frequency(words, top_n=20): """统计词频并返回最高频的N个词""" return Counter(words).most_common(top_n) 

5. 可视化展示

import matplotlib.pyplot as plt from wordcloud import WordCloud def plot_wordcloud(word_freq): """生成词云图""" wc = WordCloud( font_path='simhei.ttf', background_color='white', width=800, height=600 ).generate_from_frequencies(dict(word_freq)) plt.imshow(wc) plt.axis('off') plt.show() def plot_bar(word_freq): """绘制柱状图""" words, counts = zip(*word_freq) plt.barh(words, counts) plt.xlabel('出现次数') plt.title('词频统计') plt.tight_layout() plt.show() 

6. 完整流程整合

def main(file_path, language='ch', top_n=20): # 1. 读取文件 text = read_file(file_path) # 2. 预处理和分词 words = preprocess_text(text, language) # 3. 停用词过滤 stopwords = load_stopwords() words = remove_stopwords(words, stopwords) # 4. 词频统计 word_freq = word_frequency(words, top_n) # 5. 结果展示 print("Top {} 高频词:".format(top_n)) for word, count in word_freq: print(f"{word}: {count}") # 6. 可视化 plot_bar(word_freq) plot_wordcloud(word_freq) return word_freq 

四、项目扩展建议

1. 多语言支持：添加更多语言的分词处理
2. 情感分析：结合词频进行简单情感倾向判断
3. Web服务：使用Flask/Django开发网页版工具
4. 实时分析：监控剪贴板自动统计词频
5. 历史对比：支持多文档词频对比分析

五、实际应用示例

if __name__ == '__main__': # 统计中文新闻词频 result = main('news.txt', language='ch') # 统计英文小说词频 result = main('novel.txt', language='en', top_n=30) 

六、常见问题解决

1. 编码问题：统一使用utf-8编码处理文件
2. 分词不准确：添加自定义词典 jieba.load_userdict()
3. 性能优化：对于大文件使用生成器逐行处理
4. 特殊符号处理：根据需求调整正则表达式模式

结语

通过这个约100行的Python项目，我们实现了完整的词频统计流程。该项目不仅可以帮助你快速分析文档关键词，还能作为学习Python文本处理的入门案例。建议在此基础上继续扩展功能，比如添加PDF文件支持或开发GUI界面，让项目更加实用。

完整代码已上传GitHub：https://github.com/example/word-frequency-analyzer “`