学海网

毕业论文-基于ZFS的内嵌删冗系统，共63页，35316字
中文摘要
近年来，随着数据信息总量的飞速增长，数据存储的成本和复杂度日益提高，
如何缩减数据存储总量逐渐成为一个重要问题并得到广泛研究。作为一种有效的
存储优化技术，冗余数据删除技术近年来在备份存储领域得到广泛应用，并逐渐
扩展到一级存储、分布式存储等领域。本文针对一级存储内嵌删冗领域普遍存在
的性能问题，通过识别相似的数据段并将相似数据段的元数据组织在一起，有效
地改善了删冗元数据的访问效率，提高了一级存储内嵌删冗系统的性能。本文主
要工作包括：
1. 以 ZFS 为基础设计并实现了一个内嵌删冗系统。该系统使用位置敏感哈
希函数进行相似数据段识别，以相似数据段为单位组织删冗元数据，并实现了删
冗元数据的缓存管理机制。通过将相似数据段的元数据组织在一起，缩小了元数
据检索的范围，提高了数据访问的局部性，从而有效地减小了删冗系统的内存开
销和外存访问次数，提高了删冗系统的性能。
2. 针对文件系统性能和删冗效果进行了两方面的实验和分析。通过实验说明
基于相似数据段识别的删冗元数据管理算法在保证删冗率的情况下有效地提高
了删冗系统的性能，并能在文件系统高负载的情况下保持系统性能的稳定。
关键词：冗余数据删除；一级存储；ZFS；位置敏感哈希函数；内嵌删冗

目录
第 1 章
引言 1
研究背景和研究目的 ... 1
冗余数据删除技术简介 ......... 2
删冗技术的基本概念 .. 2
删冗技术的分类 4
删冗技术的现状 5
第 2 章
论文工作 ... 5
论文组织 ... 6
工作背景介绍 .... 7
2.1 ZFS 原生删冗机制 ....... 7
删冗处理流程的实现 .. 7
删冗元数据的组织和管理 .... 8
内存对删冗性能的影响 ........ 8
Linux 原生 ZFS 项目 .... 9
项目概述 .. 9
项目实现分析 .... 9
基于 LSH 的相似数据段识别技术 10
数据段相似性量化指标 .......11
位置敏感哈希（LSH）........11
相似数据段识别的步骤 ...... 12
第 3 章 ZFS-LSH 内嵌删冗系统的设计与实现 ... 13
3.1 ZFS 相关机制分析 ..... 13
3.1.1 ZFS 功能模块分析 .... 13
3.1.2 ZFS 写操作流程 ........ 15
3.1.3 ZFS 缓存管理机制（ARC） ........ 17
3.1.4 ZFS 属性管理机制（ZAP 对象） 18
3.2 ZFS-LSH 内嵌删冗流程设计 ........ 19
数据段划分 ...... 19
写操作流程 ...... 20
删除操作流程 .. 22
内嵌删冗流程的实现 . 23
数据段缓存机制的实现 ...... 23
相似数据段识别的实现 ...... 24
ZIO 流水线的修改..... 26
删冗元数据的组织和管理 ... 26
删冗元数据分类 ........ 26
磁盘组织设计 .. 27
内嵌元数据桶机制 .... 28
删冗元数据缓存机制 29
实验与分析 ....... 32
系统测试环境 .. 32
文件系统性能测试 .... 33
删冗率测试 ...... 36
第 4 章 总结及进一步工作 .... 38
总结 ......... 38
进一步工作 ....... 38
插图索引 ........ 40
表格索引 ........ 41
参考文献 ........ 42
致谢 .. 44
声明 .. 45
附录 A
外文资料的书面翻译 ... 46