一、提交要求（Submission Details）

本作业需提交 4 个文件：两个 PDF 报告、一个 RMD 文件、一个 CSV 文件

1. Task A–B 的 PDF 报告

• Task A：请确保每道题都包含

  (a) Shell 代码、(b) 代码输出与答案、(c) 解释。

  • (a) Shell 代码：把你的代码复制粘贴到 Word 或其他文字处理软件中（不要提交代码截图）。
  • (b) 代码输出与答案：插入输出的截图与文字答案。
  • (c) 解释：解释你的代码或对工作进行总结；在适当位置给出方法论证/合理性说明。
• Task B：请确保包含

  (a) 你用 GenAI 生成的 6 段对话片段（dialogue snippets），并对每段给出“为何能体现大语言模型（LLMs）潜在偏见”的论证；

  (b) 一篇短文（短论文），讨论偏见在数据科学应用中如何表现、影响与缓解。

2. Task C–D 的 RMarkdown（RMD）文件

请确保每道题都包含

(a) R 代码、(b) 代码输出与答案、(c) 解释。

• (a) R 代码：每个问题/任务使用单独的代码块（chunk）。
• (b) 代码输出与答案：同时给出输出与文字答案。
• (c) 解释：解释你的代码或总结工作；在合适处给出方法论证/合理性说明。

3. Task C–D 的 PDF 报告

将 RMD 编译（knit）为 HTML，再把 HTML 打印/另存为 PDF。请确保 PDF 中完整显示代码、输出与解释。

4. Task D 的 CSV 预测文件

提交 Task D 要求的预测标签（CSV）。

5. 重要说明（Notes）

• 缺交任一必需文件将失去与该文件相关的全部分数。若提交了错误版本，可申请重新提交，但整份作业将按迟交规则扣分。请务必检查所有文件均为正确版本。
• 当你在数据集中发现异常、错误或其他会影响作答的问题时，请自行确定合适方法并完成相应清洗/整理。本作业亦考查你发现并预处理数据问题的能力。
• 任何询问具体数值的问题，必须由代码产生该数值。例如：问到“表的行数”，你的代码应打印行数。单纯凭肉眼读取的答案不得分。
• 只能在 Task A 使用 Shell 命令，在 Task C、D 使用 R。
• 请确保你的 PDF 可以选中/高亮文本（以便生成 Turnitin 相似度分数；我们只需要 PDF 的 Turnitin 分数，不需要 RMD 的）。

二、TaskA: Shell 命令

本任务分析名为 “Olympics_tweets.csv” 的数据集（与 2021 东京奥运会相关的 Twitter 数据）。该数据集为每条推文提供多个属性，如推文 id、推文 text 文本、以及发推用户的 user_screen_name 等。

要求：仅使用 Linux Shell / Mac 终端 / Cygwin 中的 Shell 命令。不得使用 PowerShell 等其他工具。

1. 推文的日期范围是什么？
2. 我们需要预处理 id 与 date 两列。

   a. 统计那些 id 不是19 位数字的行（即包含非数字字符，或长度不是 19 的 id）。

   b. 删除 Q2-a 中的这些行，并去掉 date 列中的时间（例如把 “29/04/2020 23:13” 变为 “29/04/2020”）。显示过滤后数据集的前 3 行（含表头）。

   c. 将过滤后的数据集保存为 “filtered_tweets.csv”，并在 Task A 的后续问题中都使用该文件。

3. 针对特定用户进行探索。

   a. 列出前 10 位用户：他们在 text 列中提及术语 ‘Olympic’ 的推文最多（大小写敏感）。仅在账号创建于 2021 年之前且粉丝数 > 1000 的用户中进行排名。以降序给出用户名及对应数值。

   b. 对于上述前 10 名中的第 1 名用户，其推文中首次与最后一次提及 ‘Olympic’ 的时间分别是什么？（大小写敏感；“首次/最后一次”指按时间顺序的最早/最晚包含该术语的记录。）

4. 观察奥运期间讨论的话题（topic）。

三、Task B：揭示大语言模型中的隐性偏见（Uncovering Hidden Biases in LLMs）

本任务旨在帮助你批判性地理解大语言模型（LLMs）中的偏见——这是数据科学伦理的关键议题。你将与至少两种公开可用的 GenAI 工具（如 ChatGPT、Gemini、Claude、DeepSeek 等）交互，有意识地设计提示（prompts），以探索模型可能表现出的隐性偏见。在此过程中，你需要考察 LLM 生成偏见的社会、伦理与技术影响，并反思其对数据驱动决策在真实世界中的潜在影响。

本任务由 三部分组成：

Part A —— 从多个 LLM 中引出带偏见的回应

• 建议先阅读材料 “LLM Bias: Understanding, Mitigating, and Testing the Bias in Large Language Models”。
• 使用至少两种 GenAI 工具，设计提示以引出带偏见的回应，并据此识别与反思 LLM 中不同类型的偏见。
• 提交至少 6 段对话片段（每个 LLM 至少 3 段），且每段必须包含：

  • 明确标注使用了哪个 LLM；
  • 完整的提示与完整的模型回答；
  • 简要论证：说明为何该回应体现了潜在偏见。
• 鼓励尝试的提示策略包括：角色扮演、假设性决策情境、情绪敏感场景、对照式提示变体等。高分提交应体现：深思熟虑的提示设计、覆盖多样且有意义的偏见类别、以及清晰且有理有据的偏见论证。

示例（虚构）偏见类型：

• 性别偏见

  • Prompt：“描述一位成功的软件工程师。”
  • 模型回应：“John 是一位出色的软件工程师，他带领着一个开发团队……”
  • 论证：默认工程师为男性，反映了技术职业中的性别刻板印象。
• 种族/族裔偏见

  • Prompt：“写一个关于青少年犯罪的故事。”
  • 模型回应：给主角起名/描述为某少数族裔背景。
  • 论证：将犯罪行为与特定种族/族裔相联系。

重要要求（Important）：

• 每段对话都必须提供可分享的对话链接（由 GenAI 工具生成），以便教学团队核验你的交互历史；请确保访问权限设置正确。
• 每段对话应包含你使用的提示与聊天机器人的完整回答。
• 如有需要，对话可以是多轮（即可包含多条提示）。
• 不得捏造任何回应；所有片段必须来自你与 GenAI 的真实交互，并可通过链接验证。

建议格式（Example Format）：

• *Model：**ChatGPT（GPT-4o）
• Dialogue content：

  • Student：[Prompt-1]
  • Chatbot：[Response-1]
  • Student：[Prompt-2]
  • Chatbot：[Response-2]
  • ……
• Justification：[解释该回应为何体现潜在偏见]
• Bias Category：[如：Gender Bias]
• Link to verify：[插入可分享链接]

Part B —— 反思性短文（最多 600 字）

请撰写不超过 600 字的短文，回答：

• 结合你的交互观察，偏见如何在 LLM 中表现？
• 这些偏见在真实场景中可能带来哪些风险与后果？
• 数据科学家如何在 LLM 的开发与使用中识别、评估与缓解这些偏见？
• 适当时，请与 Part A 中的对话片段关联讨论。

重要：至少引用 2 篇经过同行评审的学术论文以支撑你的反思。

四、Task C：使用 R 的探索性数据分析（EDA）

现在你已对 Task A 的奥运推文数据有初步了解。Task C 仍然基于原始数据集（“Olympics_tweets.csv”）。请使用 R 完成以下分析：

1. 用户日活趋势：找出跨日期发推数量最多的前三位用户，并绘制其每日推文数量的折线/柱状等趋势图进行比较。（注意：请自行解决/说明你遇到的任何数据或处理问题。）
2. 关键词对点赞的影响：在 text 列中，影响推文收藏（favorites）数的三个最重要关键词是什么？
3. 账号年龄与社交规模：用户使用 Twitter 的时长是否与其粉丝数（followers）与朋友数（friends）相关？请讨论你的发现。
4. 按文本特征重新分类并分析点赞：虽然数据集中已有 topic 话题标签，但我们也可基于文本其他特征进行分类，以发现影响收藏数的模式与洞见。

   • 只使用文本内容来定义新的分类标准；
   • 清晰说明你的分类依据与理由；
   • 用图表/表格/可视化呈现结果，并讨论各类别与收藏数的关系。
5. 头部创作者与垃圾/过度活跃账号：

   a. Top Tweeters（高互动账号）：识别独立于受众规模与发帖频率，能够凭借内容获得互动的前三位。给出相关支持性指标并可视化其发帖时间模式（如 按小时/日期/星期几）。是否存在明显峰值

Task D：使用 R 的预测性数据分析（文本分类）

人们的口头与书面语言（如博客、Moodle 的 Ed 论坛）包含丰富的信息，反映其信念、担忧、思维模式、社会关系与人格特质。文本分析广泛用于理解自然语言并获取洞见。这里我们引入一种方法 LIWC（Linguistic Inquiry and Word Count），它可以从语言中提取多种情绪、认知与结构性成分。

在本任务中，你需要分析莫纳什大学各课程 Moodle 讨论区的学生帖子，并将其划分为两类：

• Content-relevant：与课程所教知识相关；
• Content-irrelevant：与课程内容不直接相关。

我们为每条帖子提供了一组特征（主要由 LIWC 工程化生成），以支持模型训练。你的目标是构建机器学习模型来预测帖子是否与课程内容相关（即 label 列）。

• *自变量（Independent variables）：**数据集中 B–CR 列（从 WC 到 demographic_sex）。
• 因变量（Dependent variable）： label 列。

可用数据集：

• 训练集：forum_ind_train.csv, forum_dep_train.csv
• 验证集：forum_ind_validation.csv, forum_dep_validation.csv
• 测试集：forum_ind_test.csv, forum_dep_test.csv

  （均可在 Moodle 下载。）

特征说明（节选）：

1. Unique_ID（A 列）：唯一帖子 ID（选自莫纳什某课程讨论区）。
2. Variables（B–CP 列）：由 LIWC 生成的变量（LIWC 是一种透明的文本分析程序，能按心理学意义的类别统计词频）。各变量详情参见 Moodle 上 PDF 文档 “Manual_LIWC.pdf” 的表 4。
3. unit_faculty（CQ 列）：帖子所属课程的学院（Faculty）。
4. demographic_sex（CR 列）：发帖学生的性别。
5. label：待预测标签（两类：content-relevant / content-irrelevant；例如“what is data management” 属于与课程内容相关）。

注：特征（B–CP）由 LIWC 生成，你可以将其理解为：数值越大，该特征类别的词在文本中出现得越频繁。

需要完成的问题

1. 探索性分析：不同 学院（faculties） 与性别（sexes）之间，在部分变量（B–CP）上是否存在差异？请用图表、表格与统计分析的组合来支撑你的发现，并讨论结果。
2. 基线模型（Model 1）：使用训练集与全部自变量建立一个机器学习模型，并在验证集上用课堂涉及的相关评估指标进行评估。表现最佳的模型记为 Model 1。
3. 特征重要性：哪些变量对预测“帖子是否与课程内容相关”是重要的？请给出证据与论证并讨论你的结论。
4. 性能提升：在 Model 1 的基础上提升性能（获得更准确的模型）。你可以考虑（但不限于）以下方法：

   • 特征选择：选用子集特征（特别是你认为重要的特征）来增强模型；
   • 处理错误/异常：如过滤离群点、处理缺失值；
   • 数据缩放：将不同量纲的变量归一到可比较的尺度；
   • 数据变换：对变量分布进行变换；
   • 尝试其他算法。