⚠️ 免责声明

以下内容纯属个人经验分享，本人与任何个人或者机构无利益相关

对于课程的感受因人而异，学习课程的目各不相同

且每个学期课程都有可能进行不同程度的课改，所以内容仅供参考

以下内容为26S1版本的个人感受

课程概览

🧱 这门课的先修课程要求为

✅ FIT9133 或者 ✅ FIT9136

在S1, S2均提供，为DS必修课

📘 课程主要内容涉及

Python + Pandas + Data Wrangling + EDA + Data Cleaning + Data Integration

这门课的官方定位是介绍数据整理（Data Wrangling）的工具和技术。简单说，就是把现实世界里乱七八糟、格式不统一、缺失、重复、异常、半结构化的数据，处理成可以用于分析、建模或业务决策的数据。

这门课不是机器学习课，也不是数据可视化课。它更像是机器学习和数据分析之前的“脏活累活”：

• 怎么读取和解析 CSV / JSON / XML / Excel / 文本等不同格式的数据；
• 怎么用正则表达式处理半结构化文本；
• 怎么用 Pandas 做 EDA；
• 怎么识别 missing values、dirty data、outliers、duplicates、inconsistency；
• 怎么清洗、转换、重塑、整合多个数据源；
• 怎么把处理过程写成可复现的 notebook / Python script / report；
• 怎么解释清洗策略和数据质量问题对后续分析的影响。

课程内容

1. Data Wrangling 基础与流程

前两周主要建立整体概念：Data Wrangling 在数据分析项目中处于什么位置，以及为什么真实数据不能直接拿来分析。

重点包括：

• Data Wrangling 的定义和作用；
• 数据分析生命周期中，data discovery、data collection、pre-processing、cleaning、transformation、enrichment、validation、storage 之间的关系；
• raw data 和 analysis-ready data 的区别；
• 数据伦理、隐私、安全、效率、文档化和备份；
• Python / Jupyter Notebook / Pandas 基础使用。

2. Parsing、Regular Expression 与 EDA

前半学期的技术重点是数据读取、文本解析和探索性数据分析。

主要包括：

• 使用 Python 读取不同格式的数据：CSV、JSON、XML、Excel、文本文件；
• 使用 regular expression 提取、清洗和标准化文本；
• 处理 XML / HTML tag、emoji、非拉丁字符、大小写、空值表示；
• 使用 Pandas 做基本 EDA；
• 使用图表理解数据分布、异常、关系和潜在模式；
• 将 EDA 发现转化为后续机器学习或业务分析问题。

3. Data Quality、Data Cleansing 与 Missing / Outlier 处理

后半学期开始进入数据质量和清洗。

主要包括：

• 数据质量为什么重要；
• 如何识别 dirty data、missing data、outliers、duplicates、inconsistency；
• 如何用 EDA 辅助发现错误；
• 如何修复格式错误、不合理值、违反完整性约束的问题；
• 如何处理缺失值；
• 如何检测和移除异常值；
• 如何用 Python / Pandas 实现这些过程。

4. Data Transformation、Enrichment 与 Validation

最后几周会讲数据转换、数据增强、数据整合和验证。

主要包括：

• 数据重塑 / 转换的作用；
• normalization、standardization、Box-Cox transformation 等转换方法；
• 特征工程、特征选择、采样；
• 多数据源整合；
• entity matching；
• one-to-many relationship；
• 数据不一致、重复、冲突和 misalignment；
• 数据验证类型、错误处理策略和 validation rule。

课程平台：使用Moodle，所有课程资料都在Moodle里

上课形式

评分构成

关于 In-class Participation - 5%

除了 Week 1，在 Week 2-12 的部分 Seminar 中，会在 Slices / slides 里随机插入问题，直播的时候放出，26S1一共出现了8周

通常是2-3个问题，只要回答上了就可以了，不会检查回答的对不对，让AI生成下就可以关直播了，相当于签到，没有这个估计也没啥人上Seminar

关于 Quiz 1 - 10%

Quiz 1 安排在 Week 6 的 Applied Session，必须线下参加

考试范围覆盖 Week 1–6 的内容，包括：

• Data Wrangling 的基本概念与完整流程；
• Data Discovery 与 Data Collection；
• Python / Pandas 基础；
• CSV、JSON 和 XML 等数据格式的读取与解析；
• Regular Expression；
• Data Pre-processing；
• Exploratory Data Analysis（EDA）；
• Data Structuring；
• Seminar、Applied 和 Reading Materials 中涉及的相关概念。

26S1 的考试形式大致是：

• 30 分钟；
• 40 道选择题；
• 同时包含单选题和多选题；
• 题目从大约 300 道题的题库中随机抽取；
• 没有 Coding Question；
• 使用 Safe Exam Browser；
• 独立完成，禁止协作和使用 AI；
• 需要在 Applied 教室签到，完成后再签退；
• Quiz 只会对对应时间段的 Applied 班级开放。

我的 Quiz 1 分数是 23.55 / 40，折算后约为 5.9 / 10。

我当时主要复习了 Seminar 的内容，没有看每周的 Applied，正式考试时感觉有一部分题涉及 Applied 里出现过的概念和例子

关于 Assignment A1 - 35%

A1 是一个 4–5 人小组作业，主题是：Exploratory Data Analysis（EDA）

这个作业需要先将两个不同格式的 Flickr 照片 metadata 文件解析、清洗并合并成一个结构统一的数据集，再对最终数据进行 Exploratory Data Analysis，找出有意义的数据规律、异常和变量关系，并提出后续可以研究的 Machine Learning Questions。

每个小组会拿到自己专属的两个原始文件：

• group_<group_number>.json
• group_<group_number>.xml

需要完成的核心流程是：

1. 分析 JSON 和 XML 文件的层级结构；
2. 分别解析两个文件中的照片 metadata；
3. 对齐两个来源不完全一致的字段名称和 schema；
4. 使用 Regular Expression 清洗指定文本字段；
5. 将文本统一转换为小写；
6. 移除 HTML / XML tags、emoji、ASCII emoticons 和非拉丁字符；
7. 将所有空值统一表示为 NaN；
8. 合并 JSON 和 XML 数据；
9. 删除完全相同的重复记录；
10. 输出格式完全符合要求的 CSV 文件；
11. 对最终数据进行 univariate、bivariate 和 multivariate analysis；
12. 总结 EDA findings 和 key insights；
13. 根据 EDA 结果提出 Machine Learning Research Questions；
14. 提交 Python script、Jupyter Notebook、EDA Report 和 Demo Video。

我们 A1 分数是 25.82 / 35，大约是 73.8%。

关于 Quiz 2 - 10%

Quiz 2 安排在 Week 12 的 Applied Session，必须线下参加

考试范围覆盖 Week 7–12 的内容，包括：

• Data Quality & Anomalies；
• Data Cleansing；
• Missing values；
• Outliers；
• Data Transformation / Reshaping；
• Normalisation / Standardization；
• Box-Cox Transformation；
• Feature selection；
• Data Enrichment；
• Data Integration；
• Data Validation；
• Advanced Data Wrangling。

26S1 的考试形式大致是：

• 30 分钟；
• 35 道选择题；
• 同时包含单选题和多选题；
• 题目从大约 300 道题的题库中随机抽取；
• 没有 Coding Question；
• 使用 Safe Exam Browser；
• 独立完成，禁止协作和使用 AI；
• 需要在 Applied 教室签到，完成后再签退；
• Quiz 只会对对应时间段的 Applied 班级开放。

我的 Quiz 2 分数是 30.42 / 35，对应约 8.7 / 10

我的个人体感是：复习时看了很多内容，但正式考到的东西和预期不完全一致。Data Quality 和 Data Enrichment 这类我以为会重点考的内容，反而没有那么多；很多题在问 Data Validation 和 Data Integration；Week 9 / Week 10 那些公式看起来很多，结果我那次只考了Box-Cox Transformation，而我正好没看（题库中随机抽题，每个人的考题应该都不一样）

考完感觉也就20分左右，好几题答案不确定，因为它很多都是多选题，并且选项数量不固定，所以感觉很慌，考完当场出分，能拿这么高，真的就很玄学

关于 Assignment A2 - 40%

A2 是这门课最大的大作业，占总成绩 40%

26S1 截止时间是 Week 12 Thursday 23:55

并且还需要在 Week 15进行线下 presentation

A2 主题是 Parsing, Cleansing and Integrating Raw Data

相比 A1 偏 EDA，A2 更偏真正的数据清洗、缺失值填补、异常值处理、数据重塑和成果展示

个人主观评分 ⭐️ ⭐️ ⭐️

本人分数

优点

• 有什么优点吗？A2给分高？这课即琐碎又麻烦，如果没有A2的高给分，我想不到什么优点
• 有一个优点，就是A1和A2代码部分内容，AI跑一两遍就跑完了，很简单

缺点

• Quiz内容量大，并且期中一个期末一个，意味着必须学习课程的内容
• 给分吓人，A1刚开始给我们不到70，后来回调到70多，A2大放水
• 第十五周周一周二Pre，想早点回国的慎重考虑这门课
• 并不算是水课，慎选