游戏论坛数据采集及分析项目

项目目标

• 爬取近年各大游戏发行商发布的游戏详情数据、游戏论坛中用户的游戏评论数据

• 统计分析游戏详情数据、游戏发行商、游戏平台数据

• 统计分析论坛用户的游戏评论

• 数据可视化

技术点

• 爬虫程序

• 数据库

• 数据分析

• 可视化

• RESTFUL API

系统架构1.0

• 爬虫引擎(engine)

• 调度器(scheduler)

• 网络请求模块(fetcher)

  requests、Selenium

• 内容解析模块(parser)

  BeautifulSoup、Selenium、正则表达式

• 持久化(persist)

• 日志模块(logging)

优化方向

pass