KernelDedup

Feed Rss

 

 

背景与介绍


顾名思义,重复数据消除(Data Deduplication)是一种消除系统中重复数据的技术。相比较数据压缩技术,重复数据消除一般考虑更大数据块的冗余,并且以系统中可以直接引用的索引来替换重复数据块。因此,对于大部分时间是只读的冗余数据,重复数据消除具有比数据压缩更直接和快速的读取和使用方式。在很多场景下面(比如备份系统),重复数据消除拥有数据压缩无法比拟的压缩率。

此技术已经在磁盘存储、备份领域使用多年,但大都面向企业用户。随着个人计算机和因特网的快速发展,特别是云计算的兴起,重复数据消除已经开始从磁盘数据管理走向内存,而面向的用户也将逐步平民化。

本网站致力于重复数据消除技术在操作系统层面上的研究、开发和应用。目前主要专注在内存的重复数据消除技术上。

更多具体的关于为什么你需要我们的技术,请参考Q&A页面。

 

项目简介

 

目前已有两个相关项目:Ultra KSM和Xen Dedup。

UKSM项目的基本数据结构来自原本Linux内核的KSM项目。经过对KSM的核心扫描算法进行全部改写之后,UKSM现在能够针对Linux中所有匿名映射进行透明地扫描,同时极大地提高了扫描速度和对CPU的使用效率。由于KVM本身是对KSM友好的,所以UKSM也支持KVM不同虚拟机内存数据之间的冗余删除。目前UKSM已经发布第一个稳定版本,并且拥有了第一个商业使用者。具体信息请参见项目页面。

Xen是一个非常流行的虚拟机软件,广泛应用在云计算、VPS等领域。但是,目前它尚未有一个真正意义上的重复数据消除机制。与KVM类似,Xen也是面向内存的重复数据删除技术的一个极好的应用场景。Xen Dedup将能改变当前的局面,更加优化Xen对内存的使用。Xen Dedup正在开发中,代码即将释出,详细请参见项目页面。

 

桌面应用视频