Chatgpt 说
本页目录· 13 条
Overview
这个作业本质上是在做一件事：
把老师给你的两份原始数据（XML 和 JSON）整理成一个干净、规范的总表，然后对这份数据做探索分析（EDA），找出有意义的规律，最后提出几个“以后可以用机器学习继续研究”的问题。
也就是说，它不是让你现在真的去训练机器学习模型，而是让你先完成“机器学习前面的准备和分析工作”：
先整理数据，再看数据，再从数据里想出值得研究的问题。
这个作业就是：数据整理 + 数据分析 + 提出机器学习研究问题 + 写报告和做展示
这个作业主要要干什么
你们小组要做的核心流程大概是这 3 步：
1）把两份文件合并成一个规范的 CSV 数据集
老师会给你们小组专属的 .xml 和 .json 文件。
你们要把这两份数据读进 Python，检查结构，然后合并成一个总数据表。
而且这个表不能随便做，必须严格符合老师要求的格式、字段、命名和内容处理规则。
2）对合并后的数据做 EDA
EDA 就是“探索性数据分析”。
简单说，就是你要通过看统计信息和画图，弄清楚这份数据有什么特点、分布、关系、异常、缺失问题，看看里面藏着什么规律。
老师明确要求你们做单变量、双变量、多变量分析，还要配合可视化。
3）从分析结果里提出有价值的 insight 和 ML 问题
你们不能只是“画图看看就完了”，还要进一步总结：
- 这份数据说明了什么
- 有哪些重要发现
- 基于这些发现，未来可以研究什么机器学习问题
而且这些问题不能乱写，必须是从你们的数据分析结果里自然推出来的，不能拍脑袋想。
老师要求至少 10 个高质量 insights 和 5 个高质量 ML questions。
主要需要做什么
你可以把任务理解成下面几块：
第一部分：做出正确的数据集
你们要：
- 读取 XML 和 JSON
- 提取里面的数据
- 合并成一个 dataset
- 去掉冗余重复记录
- 按要求清洗文本
- 输出成指定名字的 CSV 文件
这里最重要的是：格式必须对，内容处理必须对。
尤其老师很强调：
- 五个文本字段要转小写
- 空值统一写成
NaN - XML/HTML 标签要去掉
- emoji 要去掉
- 非拉丁字符要去掉
- 这些文本处理必须用 正则表达式 来做 如果 CSV 结构不对，这一块可能直接丢很多分，甚至 csv 那项记 0。
第二部分：做 EDA 分析
你们要对合并后的数据集做探索分析，包括：
- 看整体结构
- 看每个字段大概什么情况
- 看变量之间有没有关系
- 看有没有异常、缺失、重复、偏态等问题
- 用图表展示这些发现
重点不是“画很多图”，而是通过图和分析说明你真正理解了数据。
第三部分：总结 findings、insights 和 ML questions
这部分是很多人容易混的。
你可以这样理解：
- findings：你从数据里观察到的结果
- insights：这些结果背后更有价值的解释或意义
- ML questions：基于这些发现，未来可以研究什么机器学习问题
老师不接受那种很空的话，比如：
- 这个值很小
- 这个趋势在上升
- 能不能用 ML 学点什么
老师要的是：具体、有根据、和业务/研究场景有关的问题。
第四部分：完成提交材料
最后不是只交代码，你们要交一整套东西：
Group<group_number>_solution.ipynbGroup<group_number>_solution.pyGroup<group_number>_dataset.csvGroup<group_number>_EDA.pdfGroup<group_number>_presentation.mp4Group<group_number>_AI_declaration.pdfGroup<group_number>_AI_record.pdf（如果用了 AI） 并且除了 EDA report 之外，其他文件要打包成一个 zip。
你们最后要交什么成果
从结果上看，这个作业最后要产出 4 个核心成果：
- 一个正确的合并数据集 CSV
- 一个完整的 EDA 报告 PDF
- 一个 6–10 分钟的小组展示视频
- 代码和 AI 使用声明材料
新手最该抓住的重点
如果你现在刚开始做，这个作业最重要的不是“炫技”，而是先保证这几件事：
- CSV 输出一定正确
- EDA 不是乱画图，要有逻辑
- insights 和 ML questions 要和你们的分析结果对应上
- 报告、视频、代码三者内容要一致 Rubric 里最看重的也是这些：输出正确性、方法、报告质量、insights/ML questions、展示表达。
最后给你一个非常简化的理解
你可以把这个作业理解成：
先把 Flickr 数据整理干净 → 再分析这份数据有什么规律 → 再提出未来可以做的机器学习问题 → 最后写报告和做展示。