Summary
本页目录· 8 条
Guanliang chen 的lecture口齿清晰,讲课还是挺有趣的,不是纯读PPT,不像5137的lecture,听着透着淡淡的死感
1) 课程与教学团队
- 课程定位:FIT5145(Foundations of Data Science),Clayton 校区由 Dr. Guanliang Chen 与 A/Prof. Zongyuan Ge 授课;马来西亚校区由 Dr. Chern Hong Lim 授课。另含主讲者背景与研究方向(学习分析、NLP 等)。
- 教学团队:列出多位导师与助教(Admin Tutor + 多名 Tutor)。
- 沟通与咨询:建议课上随时提问;使用 Ed 的讨论区(尤其是“Assignments”分类,不要发布作业答案);查看 Moodle 上的咨询时间。
- 先修要求:高中层面数理统计、基础编程与数据库、批判性思维;熟悉 IT/互联网业务背景。
2) 学习与技术环境
- 技术要求:需能使用 R 与 RStudio;可通过 Anaconda(含 Python Notebooks)或 MoVE(Monash 虚拟桌面)访问。
- 学期内容安排:12 周主题从数据科学概览、历史与影响、数据商业模式、数据源与标准、到“大数据/监督与无监督学习/数据管理/议题/未来”等。
- 实践导入:学期中穿插 R、Shell 脚本、决策/回归树 的简要实操引导。
- 课程资源:Moodle(信息、评估、论坛)、Ed 上的在线教材(含练习)、补充教材 The Art of Data Science 等,并提示图书馆/特殊考虑/残障支持。
- 阅读警示与策略:在线教材内容很多;每周限时获取“大图景”,按评估与发展需要聚焦细节。
3) Week 1 学习目标与主题范围
- Week 1 学习目标:理解数据科学与数据科学家的职责;区分不同数据科学角色与技能;理解数据科学价值链与课程采用的标准流程模型。
- 讲座主题:① 什么是数据科学;② 数据科学流程;③ 数据科学家的角色。
4) “什么是数据科学”(概念、背景与实例)
- 多重定义与总结:从“处理并从数据中抽取价值的技术”到“机器学习 + 大数据”的狭义观点;课程倾向于全流程的广义定义(贯穿数据生命周期、强调学习/发现)。
- 大数据兴起与趋势:数据更大更杂,从追求完美模型转向模式发现;数据化(Datafication)推动公共服务与成本优化,同时带来隐私与治理挑战。
- 机器学习(ML)定义:开发让计算机“学习”的算法与技术,本质理论源于统计学。
- 为何需要 ML:当专家知识不可得/难以形式化、场景随时间变化、数据量巨大、人力成本高等。举例含语音识别、垃圾邮件、天文发现、邮编识别等。
- 课堂互动与案例:Bushfires、COVID-19 数据可视化与预测、Google 翻译/拼写检查、Amazon 推荐、公共健康再评估、微软交通预测等。
5) 数据科学流程与标准价值链
- 流程演示(11步):从创意/立项→数据采集→监测→集成→解释(语义/知识关联)→治理(标准/格式)→工程(后端)→清洗/整理(Wrangling)→建模→可视化与呈现→上线运营(Operationalization)。
- 标准价值链(Schutt & O’Neil):Collection、Wrangling、Analysis、Presentation、Engineering、Governance、Operationalisation。
- 最耗时环节投票 & 参考:课堂投票讨论 + 外部材料显示数据准备/清洗常常最耗时且最不“愉快”。
- 三大关键问题:① 要解决的问题是什么?② 需要哪些数据?③ 用什么 DS 技术利用这些数据?
6) 角色与团队协作(从工具到职责)
- *四类环境的“采集-工程-清洗-分析”**对比:
- Business Analyst:Excel 为主(复制/存储/函数/VBA/图表)。
- Programmer:API/爬虫/数据库、平面文件、Python/Perl 清洗、Matplotlib/R 分析。
- Enterprise:企业数据库与日志、Teradata/Oracle/MSSQL、Informatica/Talend、SAS/SPSS/BO。
- Web Company:应用库与爬取数据、Hadoop/Hive/HBase、Pig/Oozie、仪表盘/R。
- Analyst / Scientist / Engineer 区分(Widjaja):Analyst 产出洞见,Scientist 构建模型与数据产品以产出洞见,Engineer 管理基础设施、自动化处理并规模化部署模型。
- 价值链中的岗位与能力图谱:典型数据科学家需要跨“采集→呈现”核心环节的实作能力,并理解其它环节与领域知识;还介绍 Chief Data Scientist 的职责范畴。
7) 评估(Assessment)与学习起步
- 评分构成:A1 & A3(Week5/Week11,项目提案 15%+30%)、A2(Week8,R 编程 15%)、A4(Week14,R & Shell 脚本 40%);无期末笔试。提示生成式 AI 的使用与检测(GPTZero 参考链接)。
- 起步建议:配置电脑;通过 Week1 材料熟悉 R/RStudio/R Markdown;每周参加讲座与实操课、阅读补充活动与指定材料。
- 学习观念:不仅是“知识工作者”,更要成为“学习型工作者”,持续适应与升级技能。
- Week1 作业阅读:观看 Cukier TED(Big Data)、CERN 的大数据视频、阅读 O’Reilly 的 What is Data Science?。
8) 课堂要点与思维框架(提炼)
- 定义与边界:课程鼓励采用全生命周期视角理解数据科学,强调与统计/工程/业务的交叉,而非仅等同于“ML on Big Data”。
- 方法与流程:以价值链为主线,贯穿采集→清洗→分析→呈现→工程/治理→上线运营,强调数据清洗与准备的工作量与重要性。
- 角色与协作:不同岗位在流程环节与工具侧重点不同,但边界并非固定,实际工作常需跨域协作。
AI可用,用AI support learning