微博热点数据分析与可视化系统

一个基于 Python Flask 的微博热点数据分析平台，提供数据采集、清洗、情感分析和可视化的完整解决方案。

---

� 项目简介

本系统是一个面向微博热搜数据的智能分析平台，通过自动化的数据处理流程，帮助用户快速了解微博热点话题的传播趋势和公众情感倾向。系统采用前后端分离的架构设计，提供直观的 Web 界面和强大的数据分析能力。

核心价值：

• 🎯 实时追踪微博热搜榜动态
• 📊 多维度数据可视化展示
• 🧠 智能情感分析与分类
• 💾 完整的数据存储与管理
• 🔐 安全的用户权限控制

---

✨ 核心功能

1. 数据采集模块

• 自动爬取微博热搜榜实时数据
• 采集热搜话题相关评论内容
• 支持多 API 源自动切换
• 数据双重备份（数据库 + CSV 文件）

2. 数据清洗模块

• 去除重复数据和无效内容
• HTML 标签和特殊字符过滤
• 中文分词与停用词处理
• 文本标准化与格式统一

3. 情感分析模块

• 基于 SnowNLP 的中文情感识别
• 自动分类：正面、中性、负面
• 情感得分与置信度计算
• 批量处理与结果存储

4. 数据可视化模块

• 热度排行柱状图：展示 Top 15 热搜话题热度对比
• 情感分析饼图：直观呈现情感分布占比
• 关键词云图：提取高频关键词并可视化
• 基于 ECharts 的交互式图表

5. 数据管理模块

• 原始数据统计与查看
• 处理结果数据管理
• CSV 格式数据导出
• 数据库信息监控

6. 用户管理模块

• 用户注册与登录认证
• 角色权限控制（管理员/普通用户）
• 管理员专属操作权限
• 用户信息管理

---

🎨 系统特色

智能化数据处理

• 一键式操作流程：从数据采集到可视化，全程自动化
• 智能错误处理：多 API 源备用，自动重试机制
• 增量数据更新：支持持续追踪和数据累积

可视化分析

• 多维度图表：柱状图、饼图、词云图多角度展示
• 实时数据刷新：支持动态更新和分页浏览
• 交互式界面：基于 ECharts 的丰富交互体验

权限管理

• 角色分离：管理员和普通用户权限隔离
• 操作保护：敏感操作仅管理员可见
• 安全认证：Session 会话管理和登录验证

响应式设计

• 自适应布局：支持桌面端和移动端访问
• 现代化 UI：基于 Bootstrap 5 的美观界面
• 流畅交互：SweetAlert2 弹窗提示和加载动画

---

🏗️ 技术架构

后端技术栈

技术	版本	用途
Python	3.12	核心开发语言
Flask	最新	Web 框架
SQLite3	内置	数据库
Pandas	最新	数据处理
jieba	最新	中文分词
SnowNLP	最新	情感分析
pyecharts	最新	图表生成
Requests	最新	HTTP 请求

前端技术栈

技术	版本	用途
Bootstrap	5.3.0	UI 框架
Font Awesome	6.0.0	图标库
SweetAlert2	11.x	弹窗组件
ECharts	6.x	图表渲染

架构设计

┌─────────────────────────────────────────────────────────┐
│                      Web 浏览器                          │
│              (Bootstrap + ECharts + SweetAlert2)         │
└────────────────────┬────────────────────────────────────┘
                     │ HTTP/HTTPS
┌────────────────────▼────────────────────────────────────┐
│                   Flask 应用层                           │
│  ┌──────────┬──────────┬──────────┬──────────────────┐  │
│  │ 路由控制 │ 用户认证 │ API 接口 │ 模板渲染         │  │
│  └──────────┴──────────┴──────────┴──────────────────┘  │
└────────────────────┬────────────────────────────────────┘
                     │
┌────────────────────▼────────────────────────────────────┐
│                   业务逻辑层                             │
│  ┌──────────┬──────────┬──────────┬──────────────────┐  │
│  │ 数据采集 │ 数据清洗 │ 情感分析 │ 数据可视化       │  │
│  └──────────┴──────────┴──────────┴──────────────────┘  │
└────────────────────┬────────────────────────────────────┘
                     │
┌────────────────────▼────────────────────────────────────┐
│                   数据存储层                             │
│  ┌──────────────────────┬──────────────────────────┐    │
│  │   SQLite 数据库      │    CSV 文件备份          │    │
│  └──────────────────────┴──────────────────────────┘    │
└─────────────────────────────────────────────────────────┘

---

📊 数据流程

微博热搜 API
    │
    ├─→ [数据采集] ─→ 原始数据 (weibo_hot, weibo_comments)
    │                    │
    │                    ├─→ CSV 备份 (data/raw/)
    │                    │
    │                    ▼
    │              [数据清洗] ─→ 清洗数据 (clean_comments)
    │                    │
    │                    ├─→ CSV 备份 (data/clean/)
    │                    │
    │                    ▼
    │              [情感分析] ─→ 分析结果 (sentiment_result)
    │                    │
    │                    ▼
    │              [数据可视化] ─→ 图表文件 (static/visual/)
    │                    │
    │                    ▼
    └─────────────→ [Web 展示] ─→ 用户界面

---

🗄️ 数据库设计

核心数据表

1. weibo_hot（热搜数据表）

字段	类型	说明
rank	INTEGER	热搜排名
title	TEXT	热搜标题
hot_value	INTEGER	热度数值
link	TEXT	热搜链接
create_time	TEXT	采集时间

2. weibo_comments（评论数据表）

字段	类型	说明
title	TEXT	关联热搜标题
content	TEXT	评论内容
create_time	TEXT	采集时间

3. clean_comments（清洗数据表）

字段	类型	说明
content	TEXT	原始内容
clean_content	TEXT	清洗后内容

4. sentiment_result（情感分析表）

字段	类型	说明
clean_content	TEXT	清洗后内容
sentiment	TEXT	情感分类（正面/中性/负面）
sentiment_score	REAL	情感得分

5. users（用户表）

字段	类型	说明
id	INTEGER	用户 ID（主键）
username	TEXT	用户名（唯一）
password	TEXT	密码
role	TEXT	角色（admin/user）

---

🎯 应用场景

舆情监控

• 实时追踪社会热点话题
• 分析公众情感倾向
• 预警负面舆情风险

市场研究

• 了解消费者关注焦点
• 分析品牌口碑和声量
• 发现市场趋势和机会

学术研究

• 社交媒体传播研究
• 情感分析算法验证
• 数据挖掘实践教学

内容运营

• 发现热门话题和关键词
• 优化内容创作方向
• 提升用户参与度

---

� 安全特性

• 密码加密存储：用户密码安全保护
• Session 会话管理：防止未授权访问
• 角色权限控制：操作权限细粒度管理
• SQL 注入防护：参数化查询防止注入攻击
• XSS 防护：模板自动转义防止脚本注入

---

� 性能优化

• 分页加载：大数据量分页展示，提升响应速度
• 数据缓存：减少重复查询，提高访问效率
• 异步处理：耗时操作异步执行，避免阻塞
• 索引优化：数据库索引加速查询
• 静态资源 CDN：前端资源 CDN 加速加载

---

� 目录结构

weibo/
├── app.py                      # Flask 主程序入口
├── config.py                   # 配置文件（密钥、数据库路径）
├── requirements.txt            # Python 依赖列表
├── weibo_hot.db                # SQLite 数据库（运行后自动生成）
│
├── modules/                    # 核心业务模块
│   ├── __init__.py
│   ├── crawler.py              # 数据采集（微博热搜 + 评论）
│   ├── clean.py                # 数据清洗
│   ├── analyze.py              # 情感分析
│   ├── visualize.py            # 图表生成
│   └── database.py             # 数据库初始化与连接
│
├── user/                       # 用户模块
│   ├── __init__.py
│   ├── auth.py                 # 登录 / 注册 / 用户查询
│   └── models.py               # 用户角色查询
│
├── templates/                  # Jinja2 HTML 模板
│   ├── login.html              # 登录页
│   ├── register.html           # 注册页
│   ├── index.html              # 首页
│   └── admin/
│       ├── dashboard.html      # 数据分析仪表板
│       ├── data.html           # 数据管理页
│       └── user.html           # 用户管理页
│
├── static/                     # 静态资源
│   ├── css/
│   │   └── style.css
│   ├── images/
│   └── visual/                 # 生成的图表 HTML 文件
│       ├── bar.html            # 热度排行柱状图
│       ├── pie.html            # 情感分析饼图
│       └── wordcloud.html      # 关键词云图
│
├── data/                       # 数据文件目录
│   ├── raw/                    # 原始采集数据（CSV）
│   ├── clean/                  # 清洗后数据（CSV）
│   └── export/                 # 导出数据（CSV）
│
├── mac/                        # macOS 部署脚本
│   ├── setup_and_run.sh        # 一键配置并启动
│   ├── run.sh                  # 快速启动
│   └── 项目部署手册_macOS.md
│
└── windows/                    # Windows 部署脚本
    ├── setup_and_run.bat       # 一键配置并启动
    ├── run.bat                 # 快速启动
    └── 项目部署手册_Windows.md

---

�🚀 部署说明

本项目支持 macOS 和 Windows 平台快速部署，详细部署步骤请参考：

• macOS 用户：mac/项目部署手册_macOS.md
• Windows 用户：windows/项目部署手册_Windows.md

---

📝 开发规范

API 响应格式

所有 API 接口统一返回格式：

{
  "code": 200,           // 状态码：200 成功，500 失败，403 无权限
  "data": {...},         // 数据内容，失败时为 null
  "msg": "操作成功"      // 消息描述
}

代码风格

• Python 代码遵循 PEP 8 规范
• 函数和变量使用下划线命名法
• 类名使用驼峰命名法
• 注释清晰，文档完整

---

🤝 贡献指南

欢迎提交 Issue 和 Pull Request 来改进项目！

贡献流程：

1. Fork 本仓库
2. 创建特性分支 (git checkout -b feature/AmazingFeature)
3. 提交更改 (git commit -m 'Add some AmazingFeature')
4. 推送到分支 (git push origin feature/AmazingFeature)
5. 提交 Pull Request

---

📄 开源协议

本项目采用 MIT 许可证，详见 LICENSE 文件。

---

📞 联系方式

如有问题或建议，欢迎通过以下方式联系：

• 提交 GitHub Issue
• 发送邮件至项目维护者

---

微博热点数据分析系统 - 让数据洞察更简单！ 🎉