跳到正文 ChatGPT 说 · Jimmy Huang's Blog
← Seminar Week 1 Summary 学习 › C6001 › 2026 S1 › FIT5196 Data wrangling › Week 1 Introduction to Data Wrangling › Seminar Week 1 Summary ChatGPT 说 ChatGPT 说 本页目录· 39 条 1. 本周 Seminar 总览 这周 seminar 实际上分成两部分:前半部分是 这门课怎么上、怎么考、怎么联系 teaching team ;后半部分才是正式进入 Data Wrangling(数据整理)是什么、为什么重要、为什么难、主要做哪些事 。也就是说,这周不是单纯“讲知识”,而是在先帮你建立整门 FIT5196 的地图,再告诉你这门课核心在处理什么问题。
从课程目标来看,这门课不是教你 Python 入门,而是默认你已经会用 Python,然后让你学会:把原始数据解析出来、判断数据质量、修复问题、整合多数据源、记录 wrangling 过程,并写脚本把这些工作实现出来。老师在口头说明里也反复强调: Python 是前提,不会在这门课里重教。
从知识内容来看,Week 1 最重要的不是“写代码”,而是先把这几个大问题想明白: Data Wrangling 在数据分析流程里处于什么位置、它为什么是关键步骤、原始数据为什么通常不能直接拿来分析、以及这项工作为什么又难又花时间。 Week 1 课件第 3–18 页基本都围绕这几个问题展开。
2. 核心知识点总结 知识点 1:什么是 Data Wrangling 是什么:
Week 1 课件第 3–4 页把 Data Wrangling 定义为:把原始数据经过 获取(acquiring)/ 收集、清洗(cleaning)、结构化(structuring)、丰富化(enriching) 等处理,变成能直接用于分析的数据。它是数据分析流程中的关键准备阶段。
为什么重要:
因为后面的分析、建模、可视化,都是建立在“输入数据是可用的”这个前提上。老师在 transcript 里明确说了,Data Wrangling 是任何 data analysis project 都绕不过去的一步,而且这个阶段做得好不好,会直接影响整个项目质量。
怎么理解:
你可以把它理解成:
不是直接“分析数据”,而是先把 乱的、脏的、缺的、格式不一致的、生的原始数据 ,变成 干净、统一、能读、能算、能继续拿去分析 的数据。老师口头总结得很直白: Data Wrangling 本质上就是 “making data useful”。
知识点 2:Data Wrangling 在整个数据分析流程里的位置 是什么:
课件图示里,完整流程大致是: Problem Identification → Data Collection / Cleaning → Data Analysis → Result Interpretation 。其中 wrangling 主要覆盖中间的数据收集与清洗,但老师口头又补充了一点:你不能只盯着中间这一步,还要知道前面要解决什么问题、后面分析模型需要什么数据。
为什么重要:
因为 wrangling 不是孤立动作。你整理数据,不是为了“把表格弄漂亮”,而是为了后续分析能真正跑起来,并最终支持决策。老师在 transcript 里一直在强调:你整理完的数据,是要交给别人继续分析的,所以要从“下游怎么用”倒推“上游该怎么准备”。
本页目录 这门课不是教你机械 cleaning,而是教你站在整个 project 的角度看:
“我为什么要整理这份数据?整理完是给谁用?后面要做什么分析?” 这才是更专业的理解。
知识点 3:为什么一定要做 Data Wrangling Week 1 课件第 5–7 页给了很多例子:有的表格没有清晰列名,有的有缺失值和奇怪值,有的是 JSON / XML,有的是网页文本、事故记录、医疗报告。这些都说明: 原始数据通常不是“打开就能分析”的 。
如果原始数据本身就有错误、缺失、格式混乱、来源不一致,那你后面的分析结果就可能错,最后做出来的结论也不可靠。课件明确说,Data Wrangling 的作用是为了让 data analysis 产生 accurate and actionable insights 。
不是“先有分析,再顺手清理一点数据”,而是 先把数据处理到能被信任,分析才有意义 。否则就是“垃圾进,垃圾出”。这也是老师为什么第一周就先把这件事讲得很重。
知识点 4:Data Wrangling 的目标是什么 提高数据质量、统一格式和标准、简化访问、丰富数据、降低复杂度、促进整合、提高分析效率、支持决策。
这说明 wrangling 不是只做“清洗”。它其实包含很多层次:
有的是修错,有的是补充,有的是转换,有的是为了让不同来源数据能拼在一起,有的是为了让后续分析更快更稳。
把 raw data 变成 tidy data,让它能产出知识(knowledge)和决策价值 。 课件第 8 页甚至直接写了: Data + Wrangling + Analysis = Data Product (Knowledge) 。
知识点 5:Data Wrangling 为什么难 Week 1 课件第 9–17 页把难点分成几类:
数据量大与可扩展性、数据质量问题、数据来源多样、数据结构复杂、缺乏标准化和可解释性、很耗时间、需要多种技能和工具、还要考虑隐私与安全。
因为这门课真正难的地方,不是某一个 Python 语法点,而是你要面对“现实世界的数据”。现实数据不是老师给你一张完美 CSV;它可能来自不同系统、不同格式、不同规则,甚至连字段是什么意思都不清楚。老师在 transcript 里也特地举了“不能双击就看懂的文件”“没有列名的数据”“不同扩展名和结构的数据”等例子。
这门课难在“脏乱差的真实场景”,不难在“公式推导”。
尤其是课件第 15 页给了一张图,说明 data scientists 很大一部分时间都花在 cleaning & organising data 上。老师口头上也反复强调,真正项目里数据问题会比作业里更杂、更难预测。
知识点 6:Data Wrangling 主要做哪些任务 Data Discovery、Data Collection、Data Cleaning、Data Pre-processing、Data Transformation、Data Enrichment、Data Storing、Data Validation。
这是后面整学期的主线。Unit Introduction 的 schedule 也是按这些环节展开:前面讲 process / regex / EDA / data discovery,后面讲 structuring / quality / cleaning / transformation / enrichment / validation。
最关键的口头补充是: 这个流程不是线性的。 老师明确说你不会永远按 1→2→3→4 一路做完;很多时候你做着做着会发现前面有问题,又得回去重看数据。这个点课件图里有流程,但 transcript 里解释得更清楚。
知识点 7:这门课需要你具备什么工具基础 课程默认你会 Python,并建议准备 Python 环境、Jupyter Notebook,Anaconda 可选,也可以使用 Google Colab。常见库包括 Pandas、NLTK、BeautifulSoup、Scipy、scikit-learn。
因为 seminar 主要讲概念, applied session 才会真正做 coding 。老师说得很明确:这门课不会重新教 Python,而是直接把 Python 当工具来实现你的 solution。
这意味着你要把“会 Python 基础语法”升级成“会拿 Python 处理数据”。
也就是说,不是会写 for、 if 就够了,而是要能读文件、处理表格、清洗数据、做基本分析和可视化。
3. 老师强调的重点
重点 1:Python 必须自己先补好 老师反复强调: Python 是 prerequisite,这门课不会再教 Python 基础。 这不是建议,而是默认前提,所以这是非常明显的高频重点。你 Python 一旦跟不上,后面 applied、assignment 都会吃力。
重点 2:Attendance 很重要,尤其 applied 老师反复说 attendance important,不只是“出勤分”意义上的重要,而是因为 quiz 要在 applied 现场完成 ,而 seminar 里还有 in-class participation。她还特别区分了:seminar 讲概念和理论,applied 才讲 coding 和步骤。这个重要性是反复强调出来的。
重点 3:这门课不是轻松水课 老师直接说这不是 easy unit,但如果你愿意投入时间,HD rate 也不低。这里的隐含重点是: 这门课难,但难在持续投入和实操,不是靠考前突击。
重点 4:读 specification 要非常仔细 老师在 transcript 里花了很多话强调 assignment instruction、文件格式、命名、提交方式、甚至 CSV 和 “Excel CSV” 的区别。这种强调方式说明: 作业不仅考你做没做出来,也考你是否按要求做。 这是非常强的 assessment signal。
重点 5:AI 可以用,但你必须真的懂 老师没有禁止 AI,反而明确说这门课允许用 AI 帮助写 sample code、协助思考;但她更强调: 你不能盲信 AI,更不能自己不会讲。 因为 presentation / video 会问你问题,你答不出来就会暴露。这个点和 academic integrity、assignment、presentation 都直接相关。
重点 6:Data Wrangling 质量会决定后面的分析质量 老师一直在讲:你这一步如果做差了,后面的人会出问题,你自己回头修也会浪费很多时间。这就是为什么第一周一直在强调它是 “critical step”。这是最核心的学术重点。
4. transcript 里补充的重要信息
补充 1:Seminar 和 Applied 的分工 课件写了 timetable,但 transcript 说得更细:
seminar 主要讲 concepts / theories / formulas,不做 coding;applied session 才带你做 coding、给步骤、给 tutor 支持。 这条对你安排学习方式很重要。
补充 2:Quiz 是“电脑做题”,但必须现场完成 课件第 9 页写的是 Online Quizzes ,这名字容易让人误解成可以远程做;但老师口头明确说明: quiz 必须到 applied session 现场完成,用 Safe Exam Browser,带证件,individual work,no collaboration,no AI。 这里不算实质冲突,但确实是 transcript 对课件的关键澄清。
补充 3:A1 是开放式探索,不是唯一标准答案 课件只写了 A1 是 EDA、pre-processing、visualisation;老师口头进一步解释: A1 会给你数据,但你需要自己去探索数据潜力,找出可能的 research problems / tasks,不同组会有不同看法。 这说明 A1 更看你的观察力和分析思路,不只是机械跑代码。
补充 4:A2 不只是清洗,还要 audit、fix、explain 课件第 11 页写了 parsing / cleansing / integrating raw data,要处理 lexical errors、irregularities、integrity issues、duplication、inconsistency、missing values、outliers;老师口头又补充: 他们会有 test set,你们提交的 solution 会被运行和比对。 这让 A2 的要求更具体了。
补充 5:Google Colab 不只是方便,还能留下贡献证据 课件只是说可以用 Colab;老师口头还解释了它为什么适合 group work: 能保留编辑历史,能看出谁做了什么,也能作为贡献证据。 这个是课件没展开、但很实用的补充。
补充 6:我没看到明显的“实质信息冲突” 整体看,课件和 transcript 基本一致,没有明显互相打架的内容;更多是 transcript 在把课件讲得更具体。
第一, “Online Quizzes” 实际上是现场机考 ;
第二,课件写 Python 3.14 ,老师口头说装 latest version ,本质上都在强调“你要把能跑课程所需库的 Python 环境准备好”。
5. 这周最可能要掌握的考点 / 作业相关点
最可能的 quiz / exam 概念考点 这一周最可能考的是概念题,而不是代码题。因为老师明确说 quizzes 主要考 concepts,覆盖 lecture / seminar / applied 内容。结合 slides,本周最像考点的是:
Data Wrangling 的定义
它在数据分析流程中的位置
为什么需要 wrangling
wrangling 的目标
wrangling 的主要 challenges
wrangling 的主要 tasks
原始数据可能来自哪些不同格式 / 结构
本课使用的 Python / 环境 / 常见库。
和 Assignment 1 最相关的点 老师在讲 unit schedule 时明确说, Week 4 的 EDA,以及 Week 5 的 Data Discovery & Collection,对 A1 很重要。 再结合 A1 课件页,A1 要做的就是:读入数据、做简单预处理、做 EDA 和可视化、总结发现,并提出后续可做的 machine learning 问题。
和 Assignment 2 最相关的点 A2 明确对应 Parsing / Cleansing / Integrating Raw Data ,重点是识别和修复数据问题,包括 irregularities、integrity issues、duplicates、inconsistency、missing values、outliers 等。老师又强调 A2 有 in-person presentation in Week 15 ,而且 presentation 是 hurdle。
隐含重点 这门课不只是考“会不会做”,还考“你能不能解释你为什么这么做”。
因为不管是 A1 的开放式分析、A2 的报告与 presentation,还是 AI allowed but must understand,这些都说明老师重视的是 reasoning、logic、communication,而不只是最终代码。
6. 我应该怎么学这周内容
推荐学习顺序 先看课程整体地图 :先记住 assessments、quiz 时间、A1/A2 要做什么、seminar 和 applied 各干什么。
再搞懂 Data Wrangling 基本定义 :它是什么、在流程里在哪、为什么必须做。
再背挑战和任务框架 :challenges 那 7–8 类、tasks 那 8 个环节。
最后做工具准备 :Python、Jupyter / Colab、常用库环境先准备好。
你必须先搞懂的基础概念
哪些内容属于“理解型”
哪些内容属于“记忆型”
哪些内容属于“应用型”
哪些内容只需要了解
哪些地方最容易混淆 Data Cleaning vs Pre-processing vs Transformation
Data Enrichment vs Data Integration
raw data vs tidy data
online quiz 这个名字 和 实际现场完成 之间的区别。
学完后,你应该能回答这些问题
7. 给我一份简短复习清单
8. 如果我是初学者,你再用更简单的话解释一遍 你可以把 Data Wrangling 想成“做饭前的备菜”。
数据分析像做菜,模型和可视化像炒菜、装盘;但你拿到的原始数据,往往像一袋刚买回来的食材:有的没洗,有的坏了,有的切法不一样,有的根本不是同一种包装,还有的你连名字都看不懂。你不能直接下锅,你得先挑、洗、切、分类、配好。这个“备菜”的过程,就是 Data Wrangling。
这门课教的不是“炫技分析”,而是教你怎么把原始数据整理到足够靠谱,后面分析才有意义。 同时老师也在第一周先把现实说清楚:这门课默认你会 Python、要认真出勤、assessment 不轻松、group work 要规划、AI 能用但不能代替你理解。把这些先想明白,后面你学 Week 2 以后就不会很乱。
整体来说,这周你最该先搭起来的是四样东西: 课程地图、Data Wrangling 基本框架、assessment 规则、可运行的 Python 环境。 这四样搭好了,后面周次内容会顺很多。