4大特点解析华为云数据湖黑科技

2019年05月15日 来源:

如果有人问数据湖是什么,我会告知他们,是桶装水的集合。

随着企业业务的发展,数据出现井喷,数据量呈几何增长,数据来源和类型更加多元化。传统数据仓库就如同桶装水商店,已承载不了全部水体,因此需要一个可以满足存储需求的,新的架构作为大数据的支持。

这就是数据湖。它会聚不同数据源的溪流,包括大量无序的非结构化数据(文本、图象、声音、页等)。我们把它倒入数据湖,然后开始探索该数据。我们希望这是一个包含所有数据的,一个超快、易于访问的存储库,能解决集成困难的方法。

但实际上,存储库反而变成了一个缓慢、僵化的数据沼泽。大数据需要特殊的专长来分析数据。使用原始数据得出分析结论,将持续在数据质量和治理方面发出危险信号。业内给这类问题起了个名字,叫数据囤积障碍。

爆炸式增长的数据及数据孤岛

你应该明白了。只为了保存数据而存储数据,不是一个好主意。我们应当有一个明确的使用目的,然后只向数据供应链中导入相关的数据。当数据水库中的数据不再有用时,就直接抛弃它。没有必要把某个特别的应用程序生成的所有数据都存储下来。以物联为例,传感器会产生奇大非常的数据量,但大多数时候其实我们只是在乎一些极端值而已,比如温度超越了某个阈值范围。下图为某物联公司的业务示意图。

首当其冲的挑战便是,数据存储、数据处理、AI组件众多。处理难度极大。

紧接着,数据孤岛问题接踵而至。

多种数据源,每种数据单独在一个库中,业务人员需要在运用层做数据集成/数据搬移,技能要求高,工程耗时长。

数据量日趋增大,数据源日益增多,单个库扩容困难,性能下降,成本高,难以做跨市跨省等全量数据分析。

缺少高级分析工具,前沿技术,如机器学习、图计算、深度学习等,未能充分利用多种数据深入挖掘价值。

用智能解决非智能

鉴于数据湖现状,我们如何利用它们为企业带来优势?这里是智能数据湖整体解决方案,包含四个关键的实践:融会,高效,易用,智能

融会云化的hadoop

统一数据存储,再无数据孤岛;开放格式,丰富的数据类型:JSON, CSV, AVRO,图片,视频等;开放接口,兼容原生社区应用:100%兼容OBS和HDFS接口,总而言之,我们在数据湖中处理数据,试图找到新的洞察力。我们不会,任由数据处于原始的格式,我们将优化数据。确保数据得到治理,确保数据在语义上一致,并满足业务的要求。

高效

一个字:快。实时数据实时分析, Apache CarbonData加速,万亿数据秒级响应

易用

做一个一站式、端到端开发工具,支持大数据+AI敏捷开发。可视化,代表丰富的可视化组件,图形化界面,同时支持定制;而数据湖一站式开发工具,可管理多种大数据服务,实现跨服务作业编排调度;支持拖拉拽,预设10多种任务类型。

,对于数据标准,数据质量,数据安全的治理不可或缺。

数据湖治理:一站式治理平台(数据标准,数据质量,数据安全)

智能

重点绝不仅仅是数据,而是始终关于你要做什么工作。使用场合是什么,你可以应用什么应用程序来处理该数据以便从中受益用智能实现高效。

智能元数据采集,统一数据视图

智能数据管理,无需人工拷贝

智能优化建议,免DBA

对数据进行联系,而不是收集。相比将数据转移到愈来愈大的集群或数据仓库,让数据待在数据湖进行智能化处理,来得更省钱、更容易也更高效。

如果想先试试效果,无论是企业用户,还是个人用户,华为云均提供了一组免费套餐,可免费试用60天,与此同时,华为云数据湖工厂(Data Lake Factory)2018年12月31日前提供免费试用,名额有限。

更多详细内容,欢迎访问:华为云官 EI企业智能 EI大数据 数据湖工厂DLF

治疗盆腔炎吃什么药
宫颈炎有哪些症状
宫颈炎治疗办法
相关文章
  • 两司机在高速路上因超车斗气互殴
    两司机在高速路上因超车斗气互殴

    两司机在高速路上因超车斗气互殴4月29日,在都安至南宁高速公路上,两辆同向行驶的罐车司机由于超车问题发生斗殴,造成其中一人受伤、道路受阻,严重影响高速公路安全畅通。,经民警协调,司机韦某向同行覃某支付了3000元赔偿金。当日下午,韦某驾驶一...

  • 国内院线排期遭六巨头垄断劳雷董事长跪求排片逆袭
    国内院线排期遭六巨头垄断劳雷董事长跪求排片逆袭

    编者按:日前,一位影业公司的董事长,因为一部文艺片的排片惨淡,情急无奈下突然下跪的视频,引发了轩然大波。尽管对于这个“下跪”有不同的解读,但至少可以反映出一个问题,即国内院线现在已经几乎被巨头垄断,对于中小出品方而言,想要多“亮相”,...

  • 陆川秦岚分手原因女方重事业不愿结婚娱乐频道深圳
    陆川秦岚分手原因女方重事业不愿结婚娱乐频道深圳

    _娱乐频道_深圳据西宁晚报报道,10日,导演陆川包场邀请朋友参加由他监制的电影《脱轨时代》的看片会,但是在看片会现场,却没有看到陆川女友秦岚(微博)的出席。10日,看片会结束之后有对陆川进行了专访,当被问及为何秦岚没有到场时,陆川先是含糊其辞表...

  • 广州今年首批经适房接受意向登记8处房源齐推
    广州今年首批经适房接受意向登记8处房源齐推

    广州市住房保障办昨日下午宣布,广州今年首批经济适用房今日9时起正式开放样板房,并接受购房意向登记。此次推出的房源多达8处,包括广氮花园、安厦花园以及零星房源共3824套,销售总价仅为14万元。广州市住房保障办表示,这批经济适用房公开向今年8月...

  • 私家车帮追公交车找回包长春市民要表扬司机
    私家车帮追公交车找回包长春市民要表扬司机

    [导读]昨天16时10分许,李女士带着13个月大的孩子,上完课回家,立即带着她去追公交车。本报讯(李志刚)昨日16时30分,长春市民李女士给本报打来称, 刚才,我乘坐162路公交车,下车后才想起来包落在车上,里边有一两万元现金,还有不少证件。一辆私家车拉着...

  • 昆仑山口附近雪水河受油污污染河中生物大量死亡
    昆仑山口附近雪水河受油污污染河中生物大量死亡

    玉树州昆仑山垭口附近的雪水河遭到油污污染。 玉树州昆仑山垭口附近的雪水河遭到油污污染。据友在微博上爆料,位于青海省昆仑山垭口附近有一条雪水河遭到油污污染,青海省玉树州曲麻莱县环保部门组成调查组前往现场调查,查明原因,污染源为通过该区域的...