全球互联网很快「储存空间不足」,未来要把数据存在哪里?

公司

2019-11-07 19:17

如今智能手机的储存空间越来越大,可全球的数据储存很快就会亮出「储存空间不足」的预警。

根据软件公司 Domo 的报告,2018 年人们每分钟在 Google 进行 383 万次搜索,在 YouTube 观看 433 万段视频,发送 159362760 封电子邮件、473000 条 Twitter 和 49000 张 Instagram 上的照片。

而在中国,每天在微信发出的信息就超过 450 亿条。Domo 预计到 2020 年全球人均每秒将产生 1.7 MB 的数据,以全球人口 78 亿计算,那么一年就会产生 418 ZB 的数据,大约需要 4180 亿个 1TB 硬盘才能装下。

这还没考虑到人口的增长趋势,联合国预计世界人口在 2050 年就能突破 97 亿。这意味着现有的数据储存系统撑不到下个世纪了。

▲ i 图片来自:联合国

数据的爆炸式增长,迫使人类寻找更好的数据储存技术。有人尝试用 1 公斤 DNA 储存全球数据,微软则研发出可以号称可以使用上千年的「玻璃光盘」,然而技术最先进的科技公司还在使用磁带储存数据。

人类文明狂奔 5000 多年,但现在可用的储存介质最长的寿命最多才约 60 年,数据储存的未来到底在哪里?

9102 年了,科技公司为什么还在用磁带储存数据?

在很多人印象中,磁带仿佛是上个世纪的古董了。不少 80 后 90 后当年还是以买磁带来支持自己的偶像,任贤齐 1996 年发行的专辑《心太软》录音带销量就突破了千万。

然而随着 CD、MP3、智能手机相继在音乐市场上各领风骚,磁带也成了一代人的回忆,在生活中难觅踪影。可磁带并没有死,反而在大数据时代成了最具竞争力的储存介质。

目前包括 Google 、亚马逊和微软等科技巨头其实也还在使用磁带来备份海量数据。为什么放着机械硬盘(HDD)和固态硬盘(SSD)不用,反而去用磁带储存数据呢?

最重要的原因还是便宜,这些科技公司的用户数以亿计,需要储存的数据量十分庞大。尽管云计算是未来趋势,但对于提供互联网服务的公司来说,依然需要将数据储存到本地,这将是一笔不菲的成本。

尽管与硬盘和半导体储存器相比,磁带的读取速度要慢得多。但成本却也低得多,1 TB 容量的移动硬盘售价约为 50 美元,相同容量的磁带的价格仅需 5 美元。

▲1951 年磁带首次用于计算机(Univac)数据存储

而且磁带比硬盘要耐用,一般硬盘的寿命不超过 10 年,每隔几年就要复制到新硬盘中,海量的数据的复制不止耗时,而且还容易丢失数据,而磁带则可以保存数十年。

此外在使用过程中磁带只需要插在机械磁带库的插槽中,不需要耗电,也节省了不少电力成本,要知道 2025 年全球数据中心的电费将会超过百亿美元。

对于很多公司来说,数据储存的安全性往往是重要的。因为磁带不安装驱动就无法访问,这种离线状态隔绝了黑客和网络攻击,不容易丢失和被篡改。

2011 年,Google 邮箱 Gmail 因为一次更新中的 Bug 意外删除了 40000 多个账户的邮件,虽然 Google 一直有在多个数据中心用硬盘储存数据副本,但仍有部分数据无法恢复。所幸这些数据同时也有备份到磁盘里, 才得以恢复所有数据。

▲ 图片来自:Business Insider

因此除了科技公司,不少对于数据安全性有较高要求的企业和机构其实也还在用磁盘储存数据。比如银行、保险公司、国家档案馆,以及科研机构,其中就包括美国国家航空航天局(NASA)。

但磁带并不是因为安全和成本而牺牲效率的数据储存载体,磁带技术的发展已经超出很多人的想象。

索尼在 2014 年利用自主开发的溅射薄层沉积技术,将 7.7nm 的极细磁颗粒铺设在磁带上,实现了高密度磁存储,储存容量可以达到 185TB。

▲IBM 容量 330TB 的磁带

IBM 在瑞士苏黎世有一个专门的研究团队来负责推进磁带技术,据团队科学家 Mark A. Lantz 介绍,IBM 在 2017 解决了每平方英寸储存 201 千兆字节的难题,并通过引进索尼的溅射薄层沉积技术,将单盒磁带的容量提升至 330 TB。

编者注:1 平方英寸=0.00064516 平方米

更重要的是,磁带的储存容量已经以每年 33% 的速度增长了多年,而且并没有放缓的迹象。信息存储行业协会(INSIC)预测 2025 年磁带储存密度能达到每平方英寸 91 GB,到 2028 年将突破每平方英寸 200 GB。

▲ 图片来自:Quartz

而硬盘的磁录密度增长速度却已经降到了 10-15%,因为当硬盘的储存密度达到一定极限后,要再缩小磁性颗粒大小,就难以保持磁性稳定,这就是所谓的超顺磁极限 (superparamagnetic limit)

根据 IDC 的数据,互联网上的大数据正以每年 30%-40% 的速度增长,而目前硬盘容量增长的速度不到大数据增长速度的一半,磁带却可能成为遵循摩尔定律的最后一种信息技术。

众多厂商在尝试突破储存技术的极限,但没那么容易

正如上文所述,企业级的数据储存设备至少要兼顾下面这些因素:成本、安全、耐用和储存密度。那么除了磁带,我们真的没有别的选择吗?

只能说,现阶段磁带是性价比最高的大数据储存介质之一,但很多厂商也一直在研究新的储存技术。比如硬盘厂商希捷和西数开发出的热辅助磁记录技术(HAMR)微波辅助磁记录技术(MAMR),就有望让硬盘打破超顺磁极限。

▲ 图片来自:Fstoppers

这两种技术分别通过激光和微波来降低介质的矫顽力,在超高密度的数据存储中时保证足够的稳定性。但这两种技术都还未完全成熟,需要更多时间才能完全商用。

另外一种可能像磁带一样被忽略的就是光储存技术,CD 和 DVD 都是光储存介质的一种。但过去的 CD 容易老化,同时由于衍射极限的限制(可以看作光盘里的超顺磁极限),储存密度也十分有限。

▲图片来自:Taskar Baban Sadik

但蓝光光盘改变了这一切,据华录光存储研究院营销中心副总经理胡冰介绍,蓝光光盘同样具有可靠稳定和使用寿命长的特点,使用寿命能达到约 50 年,单张蓝光光盘的容量已达 500 GB,未来有望突破 TB 级。

▲图片来自:ssdfans

同时蓝光储存对温度等环境温度要求较低,不需要空调冷却系统,这大大降低了成本。Facebook 的数据中心就采用了蓝光储存,与硬盘相比节省了超过一半的成本,耗电量则降低了 80% 以上。

微软最近曝光的 Project Silica 项目其实也基于光储存技术,是通过飞秒激光技术(一种以脉冲形式发射的激光,常用于近视矫正手术)在一块玻璃上形成一个纳米尺度光栅层结构,并产生不同深度和角度的变形,有点像刻录光盘,不过密度更高也更复杂,一块 2 毫米厚的玻璃可以包含 100 多个数据层。

目前微软已经和华纳兄弟公司合作,成功将 1978 年的《超人》电影母带储存在一块 75 x 75 x 2 mm 的玻璃中,并通过机器学习对于玻璃中的数据进行了非顺序的读取,只不过读取速度还有待提升。

跟光盘不一样的是, Project Silica 的数据是储存在玻璃内部而非表面,因此数据不会因为玻璃磨损而丢失。研究人员将这种「玻璃光盘」放进 500 ℃ 的烤箱、用微波炉加热、废水煮泡,甚至用钢丝擦洗后,数据依然能顺利读取。

虽然这项技术仍处于初期阶段,但英国微软剑桥研究院的实验室副主任表示,这种「玻璃光盘」可以持续使用上千年。此外玻璃对温度和湿度也没什么要求,这能大幅降低数据储存的成本

实际上「玻璃光盘」并不是微软的首创,早在 2016 年英国南安普敦大学成功用类似的技术将数据编码到玻璃中,可以承受 1000 ℃ 的高温 ,号称在常温下寿命接近无限,即便在 190°C 下也可使用 138 亿年 ,要知道地球的历史也才大约 46 亿年。

值得一提的是,微软的 Project Silica 项目正是和南安普敦大学合作开发的,这种玻璃光盘又被称为 5 维光盘,由纳米结构的三维,再加上光的偏振方向和振动强度两个维度构成,同等尺寸的玻璃光盘储存容量是蓝光光盘的 3000 倍。

如果成功,真的可能像南安普敦大学研究人员所说的,开创一个数据永久储存的新时代。

最好的数据储存载体,可能就是我们自己

数据储存领域里一个更大胆的设想,是生物质硬盘,就是将信息储存在 DNA 中。

DNA 是如何储存数据的?其实原理不算复杂,所有计算机数据都是以 0 和 1 组成的二进制数存储和运算的,而 DNA 储存技术则是用四种碱基来代替 0 和 1 ,将数字信号转化为化学信号。

2017 年,哈佛大学医学院就利用 CRISPR DNA 编辑技术,将一张赛马的动图录入大肠杆菌的基因组中,并以超过 90% 的准确率读取出来。

近几年也出现了不少探索 DNA 储存技术的创业公司,前段时间初创企业 Catalog 宣布将维基百科英文版一共 16G 的所有文本存储在一个 DNA 分子中,通过一台超大型 DNA 书写器完成,数据写入速度能达到 4 MB/s 。

我,就是数据:高中生把数据编入体内,1公斤DNA 未来可储存全球数据

▲ 里面就是储存了 16G 维基百科的 DNA

而另一家叫做 Twist Bioscience 的生物科技公司,是目前全球最大合成基因的供应商之一。据其创始人 Emily Leproust 介绍,该公司一粒胶囊中的 DNA 可以储存相当于整个 Facebook 数据中心的数据

目前 Twist Bioscience 已经向客户推出 DNA 储存的服务,但价格却很感人。储存 12 MB 数据的价格就高达 10 万美元,但 Emily Leproust 表示未来这一价格将降到 10 美分。

2016 年哈佛大学在学术期刊 Nature Materials 发表了一项关于 DNA 储存技术的研究成果,指出 DNA 的储存密度远超目前任何一种储存介质,经过换算,1kg 的 DNA 就能储存全球一年产生的数据。

但 DNA 储存目前还远不是理想的数据储存技术,除了昂贵的成本,由于 DNA 存储的数据只能通过测序来读取,读写速度非常缓慢。有人计算过如果要将 2017 年全球产生的 16 ZB 数据储存到 DNA 中,需要花费 40 亿年

今年年初微软首次实现了全自动 DNA 信息存储,让 DNA 储存技术从实验室迈向商业化更进了一步,但仅仅是编码「hello」五个字母,从转换到读取就要花费 21 小时,同时读取的准确度也有待提高。

由此可见,虽然 DNA 储存技术确实有可能彻底解决全球数据储存的问题,但这个未来还有一段不短的距离。

数据永久储存有可能实现吗?

随着各种技术成熟,人类正在追求信息储存在时间和空间两个维度上的极致:超高的储存密度和永恒的储存时间。

没有人知道这能否实现,因为没人能活到永远,人类最早的文字记录也只是 5200 年前苏美尔人留下的楔形文字,然而互联网诞生仅仅 50 年,50 年前的数据有多少至今仍保存完整呢?

在科幻小说《三体》中的未来世界里,即便一粒米大小的量子储存器就可以放下一座大型图书馆的数据,但最多也只能保存 2000 年。最后人们发现把信息储存 1 亿年的唯一可行方法,就是「把字刻在石头上」。

刘慈欣总结得好:

文明像一场五千年的狂奔,不断的进步推动着更快的进步,无数的奇迹催生出更大的奇迹,人类似乎拥有了神一般的力量⋯但最后发现,真正的力量在时间手里,留下脚印比创造世界更难,在这文明的尽头,他们也只能做远古的婴儿时代做过的事,把字刻在石头上。

题图来自:《龙珠》

登录,参与讨论前请先登录

评论在审核通过后将对所有人可见

正在加载中