Jimmy Huang's Blog

动态
学习
作品
影视
书籍
游戏
相册

主题

在读已读想读弃读

在玩通关想玩

Jimmy Huang's Blog

订阅 Notion 源站回到顶部 ↑

学习

Seminar Week 2 Summary · Jimmy Huang's Blog

课程目录

课程首页FIT5225 Cloud computing and security

正在加载课程目录，请稍候…

学习

←Week 2 Virtualisation

学习›C6001›2026 S1›FIT5225 Cloud computing and security›Week 2 VirtualisationSeminar Week 2 Summary

Seminar Week 2 Summary

本页目录· 39 条

这一页有部分内容暂时无法显示，其余内容完整。

硬件虚拟化

What is Virtualization?

虚拟化是一个广泛的概念，指创建某种事物的虚拟版本，无论是硬件、软件环境、存储，还是网络。

What is Hardware Virtualization?

此处有一段内容暂不支持显示。

20 世纪 60 年代的虚拟化思想

IBM VM/370 —— IBM 大型机的 VMM

在昂贵硬件上提供多个操作系统环境
当可用机器很少时，这种方式很理想

在 1960 年代和 1970 年代，虚拟化是一个热门研究方向

整个会议都在讨论虚拟机监控器
硬件 / VMM / 操作系统是协同设计的

到了 1980 年代和 1990 年代，这种兴趣逐渐消退

硬件变得更便宜了
操作系统变得更强大了（例如支持多用户）

虚拟化的动机

虚拟化与云计算的提供密切相关（多租户）

存储、计算和网络作为服务提供

本页目录

本页目录

为用户自身使用而提供虚拟机

可以轻松创建和销毁虚拟机，并且开销很小

动态需求，例如多人在线游戏
合适的资源分配策略，以满足服务质量要求

在一台桌面计算机上运行多个不同的操作系统环境

将虚拟机最优地分配到物理服务器：

虚拟机迁移
减少服务器计算机投资
降低能耗

虚拟化的特性

特性

隔离（Isolation）故障隔离、性能隔离、软件隔离，……
封装（Encapsulation）完整捕获所有 VM 状态，使 VM 快照成为可能，便于克隆 VM、制作副本
可移植性（Portability） 独立于物理硬件，使 VM 的热迁移和冷迁移成为可能
插入/拦截（Interposition）对指令、内存、I/O 进行变换，使透明的资源超额分配、加密、压缩、复制等成为可能……

Hypervisor（虚拟机监控器）

硬件虚拟化是通过位于底层物理机器体系结构之上的一层薄软件来实现的，这层软件称为 Hypervisor（虚拟机监控器，Virtual Machine Monitor）。

虚拟机（Virtual Machine）：使用硬件/软件对真实机器的表示，它可以承载一个来宾操作系统

来宾操作系统（Guest Operating System）：运行在虚拟机中的操作系统

宿主（Host）：来宾操作系统本应被管理的原始环境。

VMM 实现目标

应当高效地对硬件进行虚拟化

提供多台机器的假象
保持对物理机器的控制

哪些子系统应当被虚拟化？

处理器
内存
I/O 设备

CPU、内存和 I/O 的虚拟化

CPU虚拟化

此处有一段内容暂不支持显示。

现代计算系统

参考模型

指令集体系结构（ISA）

应用二进制接口（ABI）

应用程序编程接口（API）

为了执行应用层 API 中的任何操作，ABI 和 ISA 负责使其真正发生。

操作系统中的指令

特权指令与非特权指令

非特权指令（用户模式）
这些指令可以在不干扰其他任务的情况下使用，因为它们不会访问共享资源，例如算术指令、读取处理器状态。
特权指令（内核模式）
这些指令在特定限制下执行，主要用于敏感操作，例如 I/O 指令和 Halt（停机）指令、关闭所有中断、设置定时器、上下文切换、清空内存或从内存中移除一个进程、修改设备状态表中的条目。

如果处理器处于用户模式，这些指令会触发陷入（trap）；如果处于内核模式，则不会触发陷入。

特权模式 Privilege modes

某些类型的体系结构具有不止一种特权指令类别，并实现了对这些指令访问方式的更细粒度控制。

当前所有系统至少支持两种不同的执行模式：监督模式（supervisor mode）和用户模式（user mode）。

Hypervisor 运行在监督模式下。

如果运行在用户模式下的代码调用了特权指令，就会发生硬件中断，并拦截该指令可能带来的有害执行。

虚拟化

敏感指令（Sensitive Instructions）：VMM 希望对其进行陷入和模拟，以便让未经修改的操作系统产生“它拥有自己硬件资源”的假象。

如果某台计算机上的敏感指令集合（即那些会破坏安全性和封装性的指令）是特权指令集合的子集，那么就可以构造一个 VMM。

x86 在经典意义上并不是可虚拟化的。

x86 ISA 包含非特权指令，但这些指令可以读/写特权状态。

有 17 条指令是敏感的，但不是特权的。

此处有一段内容暂不支持显示。

VMware 在 1998 年解决了这一挑战。

VMware 的解决方案：为所有指令加上一层仿真（完全虚拟化，Full Virtualization）。

虚拟化类型

完全虚拟化（Full virtualization）

来宾操作系统并不知道自己运行在虚拟化环境中。
Hypervisor 向来宾操作系统呈现一个虚拟化的硬件环境，模拟底层物理硬件。
它能够为未经修改的来宾操作系统提供广泛兼容性，但由于硬件仿真，可能带来性能开销。示例：VMware、VirtualBox

半虚拟化（Para-virtualization）

来宾操作系统知道自己处于虚拟化环境中，并通过特殊的半虚拟化驱动与 Hypervisor 交互。
它消除了硬件仿真的需要，因此相比完全虚拟化具有更低的开销和更好的性能。
但是，半虚拟化要求修改来宾操作系统以支持这种方式。示例：Xen

原生/裸金属（Type 1）

更高性能
ESX、Xen、HyperV

宿主型（Type 2）

更容易安装
利用宿主机的设备驱动
VMware Workstation、VirtualBox

内存虚拟化

三种内存抽象

机器内存（Machine）：实际硬件内存（例如 2GB DRAM）
物理内存（Physical）：对硬件内存的抽象，由操作系统管理
- 例如，VMM 为某个 VM 分配 512MB，操作系统会认为这台计算机拥有 512MB 连续的物理内存（底层机器内存可能并不连续）
虚拟（逻辑）内存（Virtual / Logical）：虚拟地址空间
- 标准的 2^32 地址空间

操作系统假设自己对内存拥有完全控制权

管理：假定它拥有全部内存
映射：假定它可以把任意逻辑（虚拟）页映射到物理页

然而，VMM 会在各个 VM 之间划分内存

VMM 需要将硬件页分配给各个 VM
VMM 需要控制映射以实现隔离
- 不能允许操作系统将任意逻辑（虚拟）页映射到机器页

由硬件管理的快表（TLB，translation lookaside buffer）使这件事更困难。

x86内存管理

处理器使用虚拟地址进行操作。

物理内存使用物理地址进行操作。

x86 包含一个硬件转换后备缓冲区（TLB）

将虚拟页地址映射到物理页地址

I/O 虚拟化

挑战：I/O 设备种类很多

问题：在 VMM 层为所有 I/O 设备编写设备驱动并不可行

洞察：流行操作系统的设备驱动已经写好了

解决方案：向来宾 VM 呈现虚拟 I/O 设备，并将 I/O 请求转发给一个可信的宿主 VM

I/O 设备的虚拟化

然而，对 VMM 来说，整体 I/O 很复杂

为了性能，操作系统中存在许多短路径 I/O
如果 Hypervisor 在来宾 I/O 上做得更少，会更好
可行方式包括：直接设备访问、DMA 直通、直接中断投递（需要硬件支持！）

网络也很复杂，因为 VMM 和来宾都需要网络访问

VMM 可以将来宾桥接到网络（直接访问）
VMM 可以提供网络地址转换（NAT）
NAT 地址对来宾所运行的机器是本地的，VMM 为来宾提供地址转换，以隐藏其地址

其他类型的虚拟化

编程语言级虚拟化

编程语言级虚拟化主要用于实现应用程序在不同平台和操作系统之间的易部署性与可移植性。

你的程序被编译成字节码（bytecode）。

在运行时，这些字节码可以被解释执行，也可以即时编译为底层硬件指令集对应的代码。

Java 虚拟机（JVM）

应用级虚拟化

它允许应用程序运行在那些本身并不原生支持该应用所需全部特性的运行时环境中，例如在 Linux 上运行 Microsoft Windows 应用程序。

解释执行（Interpretation）：每一条源指令都由模拟器解释，以执行本机 ISA 指令。
解释执行的启动成本很低，但开销很大（性能较差），因为每条指令都需要被模拟。
二进制翻译（Binary translation）：每一条源指令都被转换为具有等效功能的本机指令。指令块一旦被翻译后，就会被缓存并重复使用。
二进制翻译的初始开销较大，但随着时间推移性能会更好，因为之前翻译过的指令块可以被直接执行。

实现应用虚拟化的最流行方案之一是 Wine（在类 Unix 操作系统上执行为 Microsoft Windows 平台编写的程序）。

虚拟化与云计算

定制化、安全性、隔离性和可管理性

整合（Consolidation）

VM 是相互隔离且可控制的环境

可以用同一份资源来服务这些环境，而不会让它们彼此干扰
这使得可以减少活跃资源的数量
将虚拟机聚合到更少数量的资源之上

虚拟机迁移

热迁移（Live migration）
冷迁移（Cold Migration）

虚拟机迁移

冷迁移（Cold migration）是对已关闭或挂起的虚拟机进行迁移。通过冷迁移，你可以将相关磁盘从一个数据存储移动到另一个数据存储。

热迁移（Live migration）是将一个正在运行的虚拟机从一个物理主机迁移到另一个物理主机，而不中断用户访问或其应用程序。

对资源管理和维护非常有用（无停机）。
硬件维护
负载均衡与整合
节能
灾难恢复

热迁移

它是如何工作的？

源 VMM 连接到目标 VMM
目标 VMM 创建一个新的来宾（例如创建一个新的 VCPU 等）
源端将所有只读的来宾内存页发送到目标端
源端将所有可读/可写页面发送到目标端，并将这些页面标记为干净（clean）
源端重复第 4 步，因为有些页面可能会被修改，从而变脏（dirty）
当第 4 步和第 5 步的循环变得非常短时，源 VMM 会冻结来宾，发送 VCPU 的最终状态和其他状态细节，发送最后的脏页，并通知目标端开始运行该来宾
目标端确认来宾正在运行，随后源端终止该来宾

热迁移类型：

预复制（Pre-copy）：迭代式迁移脏页，确保最小停机时间。
后复制（Post-copy）：只迁移最少的执行状态，在恢复运行期间（在线）传输页面，从而实现更快的初始切换。
混合复制（Hybrid-copy）：结合预复制和后复制两种方法的特点。先通过预复制阶段迁移关键数据，然后通过后复制阶段同步变更，在停机时间与数据完整性问题之间取得平衡。

虚拟化的优缺点

优点：

隔离、封装、可移植性、插入/拦截

缺点：

性能下降
低效率和较差的用户体验
安全漏洞和新的威胁

Extra Reading

技术示例

Xen半虚拟化

Xen 是一个开源项目，实现了基于半虚拟化的虚拟化平台。

来宾操作系统的部分内容需要被修改。

它最初由剑桥大学开发（现在归 Linux Foundation）。

获得了 Intel、Citrix、Arm Ltd、Huawei、AWS、Alibaba Cloud、AMD、Bitdefender 和 epam 的支持。

Xen VMM

单机最多可支持数百个 VM
IA-32、x86-64 和 ARM 指令集

Xen 架构

Hypervisor

最高特权模式

来宾操作系统（Domain）

控制平面软件（Domain 0）

Xen 版本的 Linux（XenoLinux）

用户应用程序

特权指令被重写为 hypercalls（超级调用），这些调用会陷入 Hypervisor。

调度

执行来宾操作系统

虚拟 CPU（VCPU）的概念

Xen 支持两种调度器：

Xen 的简单最早截止时间优先（SEDF）调度器
Xen 的 Credit 调度器

虚拟内存管理

虚拟内存管理之所以复杂，是因为：

底层硬件内存管理方案本身的复杂性（硬件管理的 TLB）
需要注入额外的保护层，以在不同域之间提供隔离（分段，Segmentation）

设备管理

Xen 的设备管理方法依赖于“分离式设备驱动（Split device drivers）”这一概念。

某些设备驱动对于多路复用具有良好支持。

Xen 提供了一种抽象，使每个来宾操作系统都看起来拥有自己的虚拟设备。

后端设备驱动运行在 domain0 中，而前端驱动运行在来宾操作系统中。

I/O 环

后端（back end）

管理多路复用
通用接口

前端（front end）

充当设备代理
接收命令，然后与后端通信
两个组件之间共享一个内存页
I/O 环

VMware：完全虚拟化

VMware 以其虚拟化 x86 体系结构的能力而闻名，并且可以让未经修改的操作系统运行在其 Hypervisor 之上。

2006：硬件辅助虚拟化（Intel VT-x 和 AMD V）

在此之前：动态二进制翻译

支持点（For）：来宾操作系统无需修改

反对点（Against）：翻译会引入额外开销

VMware：终端用户（桌面）虚拟化

VMware Workstation，用于 Windows 操作系统；VMware Fusion，用于 MacOSX 环境

宿主操作系统中的专用驱动

宿主型虚拟机架构

单个应用程序的内存空间

可以创建新镜像、暂停其执行、创建快照，并通过回滚到虚拟机的先前状态来撤销操作。

VMware：服务器虚拟化

VMware ESX 和 VMware ESXi

可以安装在裸金属服务器上

ESXi 服务器的远程管理由 CIM Broker 提供 => 通用信息模型（CIM）协议

本地管理：直接客户端用户界面（DCUI） => 类 BIOS 界面

VMware：云计算解决方案

vSphere 管理一个由虚拟化服务器组成并被连接在一起、可远程管理的资源池
vCenter 为 vSphere 安装提供集中式管理与运维
vCloud 允许服务提供商按需向终端用户提供虚拟计算环境
vFabric 是一组组件，便于在虚拟化基础设施之上开发可扩展的 Web 应用程序
Zimbra 是一个用于办公自动化、消息传递和协作的解决方案。

在本课程目录里查找

课程目录

About
Week 1 Introduction to Cloud Computing
Week 2 Virtualisation
- Seminar Week 2 Summary
  - ChatGPT 说
- Lab Week 2 Learning to Use Google Cloud
  - Lab学后总结
Week 3 Containers
- Seminar Week 3 Summary
  - ChatGPT 说
- Lab 03: Containerisation and Docker
  - Lab学后总结
Week 4 Container Orchestration
- Seminar Week 4 Summary
- Lab 04: Container Orchestration with Kubernetes
  - Lab学后总结
Week 5 Web Service and Service-Oriented Architecture
Week 6 Infrastructure-as-Code (IAC) + Cloud Platforms - AWS (1)
- Seminar Week 6 Summary
  - ChatGPT 说
- Lab 06: Configuration Automation and Code Versioning Systems (Pulumi)
  - Lab学后总结
Quiz 1 - 15%
- eAssessment须知
Week 7 Cloud Platforms - AWS (2)
- Seminar Week 7 Summary
  - ChatGPT 说
- Lab 07: Compute and Storage Services in AWS
  - Lab学后总结
Week 8 Cloud Platforms - AWS (3)
- Lab 08 - RDS, Load Balancing, and Autoscaling in AWS
  - 课后总结
Assignment A1 - 30%
Week 9 Serverless and Function-as-a-Service (FaaS)
- Seminar Week 9 Summary
  - ChatGPT 说
  - 外卖 App 的后端 API
  - 图片上传后自动生成缩略图
- Lab 09: Serverless Architecture in AWS
  - ChatGPT 说
Week 10 Cloud Security - 1 (AWS VPC, Cognito and Security Overview in Clouds)
- Seminar Week 10 Summary
  - ChatGPT 说
- Lab 10&11: Virtual Private Cloud（VPC）in AWS
  - Lab学后总结
Week 11 Cloud Security - 2
Week 12 Case Study (Optional)
- BrightKids Case Study
- Rubric
Week 12 Industry Talk and Unit Revision
- Cloud Security Guest Lecture + Mock Interview
  - 例子
- Lab 12: Authentication and Authorisation in AWS (Cognito, Federated Authentication, UI Development)
Quiz 2 - 15%
Assignment A2 - 40%

上一篇Week 2 Virtualisation 下一篇ChatGPT 说