手把手教你打造一个企业级实时数据中台【万字图文】_企业数据中台

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供：

因篇幅有限，仅展示部分资料

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

在没有数据中台的时候。实现这些前端场景需要各个业务中心找每一个需要用到的数据中心去协商，前端业务直接连到后台的核心系统。因此而产生两个问题：

1. 当数据量上来时，如做促销活动，核心系统DB2，Oracle等跟不上。
2. 当有业务中心有新的需求产生，对数据模型要改变的时候，核心系统很难支撑。

当企业有了可以灵活组织新的业务模型的数据中台，才可能真正快速地响应前端的业务需要。

在上图的右上角，可以看到数据中台依旧可以支持一些分析的场景。

当然，这样的数据中台必须具备数据的治理能力，如质量，编目，建模等等。

所以数据中台的主要价值在于，数据的协同效率、复用效率和交付速度。原各个系统中的数据不再各自为政，而协同到一起效率提高很多。同样，一份数据可以给多个业务场景使用，而不再需要 ETL 到不同的系统，还要去维护它们的一致性，去掉重复，或防止遗失。最大的价值更在于，加快数据的交付速度。

（1）技术需求：

我们讲完了这个中台的一个架构和它的逻辑模型，如果我们要来考虑实施数据中台有哪些技术模块要考量。还回到刚才那张图，首先中台必须是基于一个数据统一平台的，那数据统一的时候，其实刚才没有讲到的，还需要把数据同步和汇聚过来。所以有一部分的工作你是少不了的，如果你没有做过这种中台甚至统一平台的话，你必须有一个ETL平台来把你的来自各个来源的数据抽取过来，抽到你的数据统一平台上。

数据统一平台你用什么样的解决方案？那是另外一个问题，回头我们会讨论。那进到里面了以后，我们在上面才构建我们的资产体系，这个是需要用到中台相应的一些比如数据治理的模块能力来做这个事情。那最上面层就是一套服务化能力，要把它做成API server 的方式，把这个数据快速的可以交付出去。

基于上述对于数据中台的理解和定义，我们列出了数据中台所应该具备的技术需求。主要是分为：数据存储系统、数据同步汇聚工具、数据治理和开发、数据交换和发布、数据管理能力五大模块。

• 我按照各每个系统大概列了一些数据中台比较核心需要的能力，当大家在采用某一种系统的时候，某一种方案的时候，可以对照一下。也不是每一个你们都会关注，但是这是从我们经验中经常用得到的。比如作为数据平台存储系统的话，你第一个肯定是要横向扩展。为什么？你做的是一个企业级的数据平台，你要把所有的原系统有可能真的做到其极致的话，可能全部把他拿过来，所以你必须得有一个横向扩展能力。不能想今天我的数据这个数据在MySQL可以放得下了，或者是一个Oracle可以放得下了，但你要考虑到明年、后年，甚至是三年、五年以后，因为这个架构放上去以后是一时半会不会动的，那灵活的数据模型，这些也是我们的经验，我们要这个是做一个数据汇聚。往往你的一套同一个客户系统，同一个客户模型会来自于多个不同的系统。这个时候，你有一种灵活的模型和相对的一种比较死板模型的话，你会发现这种灵活模型会比较容易的把数据整合进来，能够接受不同的一些字段的变化，也可以方便的把它合并到一个模式里面。
• 高并发低延迟就是我们这个中台最终不仅仅是支撑分析，还要支撑前面的业务，所以必须得有这种潜在的直接穿透到前端，例如我们的移动端用户，或者会有大量的这种高并发。作为这个核心数据，高可用、备份、安全都是不用说的了。这是关于存储系统数据平台的一些最基本的一些要素，所以大家考虑的时候，可以从这方面来想这个问题。
• 其他还有涉及到就是同步工具。批量导入能否实时同步？批量导入一般都有，但是能够实时同步，比如说因为我们要做的事情真的是比如说我们在一家银行做的需要这边刷卡，刷完卡，这个数据在三秒之内直接要进到我们的中台里面，因为上面有一些业务场景会给予中台来做一些推送。所以这个时候实时同步的能力是非常关键的，然后还有一些断点续传或者是所有的数据源的支持，这个就是比较常见的这种同步工具的一些需求了。
• 治理开发就是我们刚才讲的很多就是说怎么样之间数据体系，你必须得有一系列的能力。数据目录、原数据管理、建模、开发、质量管理等等，匹配去重都是，需要在考察的时候，看他们中台有没有这个能力来做这些事情。
• 数据交换的发布就是我们的data API。我们说这是一个数据开发平台，我们面对的使用者，比如大数据团队也好，或者数据管理团队也好或者DBA也好，往往不会是开发人员来做这事情。这更像是一个比较中央化的数据平台团队，所以他们关注的可能是一些管理能力，无代码能力就不用让他们写很多代码，所以这个API能否很方便、很快速地按照需求来接通到为前端做服务，这是很关键的。当然，接口的多样性也是非常关键。SQL方式，大数据、流数据，这些接口都按照我们的需求考虑是否需要。
• 最后一点就是系统管理能力，就是常见的就是这种可视化。因为这里面做很多的事情要有一些相应的任务管理、任务设计、监控、告警啊等等，权限管理,一般的系统都会有这种需求。

（2）技术选型：

常见搭建数据中台的技术产品!

数据中台包括：统一数据平台，数据同步，数据治理，数据服务四大部分。

下表列出了这四大部分中相应的技术产品，有同步汇聚工具、有数据治理、还有数据服务。

• 数据平台最常见的是以 Hadoop 大数据为基础的。在最近十年，有很多家公司投入很多来做这个事情，把数据已经收集到中央化的一个 datalake 里面，那这个就是个很好的起点。其他的还有用数仓来做的，用 Teradata 或者是 Oracle， Gleenplum，MySQL Cluster，MongoDB，国内的话，有星环或者一些大数据公司。有一些特殊的场景，有人会用一些其它产品，比如说 ElasticSearch 会用来做一些全文搜索，但往往那个只是配合，他不会整体的放在这上面。
• 同步工具就很多，有开源的，有商用的。开源的话，比如有 Kafka、Kettle, Spark ETL 、Talend，商用的的话要有 Informatica、Golden Gate，包括我们 Tapdata 也提供这种类似的数据同步工具。
• 治理方面比较做的比较好的可能是开源的话，有 Apache Atlas，那如果是开源商用的话 Informatica 应该是最老牌的，Erwin 这些都是比较经典的这种数据治理的公司,可以配合这些产品来把中台里面数据进行编目和治理管理，Oracle 也有相应的产品。
• 数据服务就是涉及到API。我们见的最多的可能还是大家用 spring 来搭建一个 API 框架，或者有一些比较现成的 API 机，像 Kong 比较流行。Kafka 是提供一种流式数据的服务，可以做 streaming,Loopback也是可以用 nodejs 的方式来提供 API。Mulesoft 和 CA 都是一个非常成熟的 API 产品，当然他们的价格也不便宜。
• 他们的优势是他会给你一套整体的 API。不仅仅是服务方案，还有管理方案，他的监控、安全、认证、鉴权，然后把你所有的不管是 data API也好，你的业务API也好，都有个统一的管理界面和一个 gateway的方式来帮他做好。
• 这里面大家可以看到有非常非常多的选择。如果咱们已经有的话，基本上是用已有的工具，如果没有的话就可能要好好的来看一下看看哪些厂商，或者是一些共享的方案。下边我们也会分享一个方案，可以参考一下来一个快速的选型。

（3）数据平台产品分类：

对数据平台比较关注的来看一下数据平台产品分类。

1. 数据平台的这种产品从90年代开始，从关系型数据库到21世纪的数仓MPP，到后来的大数据，到现在的很多的NoSQL，NewSQL，有非常多的种类。他们都有什么样的特色呢？是否合适来做数据中台的一个存储呢？

• 如果你已经有Hadoop或者数仓的统一平台，我们很多的头部企业，大型企业都是已经有的，这个时候你是不希望从头开始构建一套新的什么所谓的中台架构。你基本上可以基于这个基础之上，配合他的数据治理，把它打造成一个数据资产体系，然后加上他的Data API。对于这种情况，我们刚才看到的很多的已有的数据中台的解决商，他都是基于这种大数据的方案来做的，所以他们的一些能力。往往是已经跟你Hadoop Hive之类的或者数仓呀做比较好的结合，那些同步工具，ETL工具都是有比较不错的结合了，你就可以在这个基础上只是用它的理念来构建。
• 如果你还没有数据统一平台，没有数仓，没有这个Hadoop之类的话，这个时候我们觉得可以考虑一下，就是我们推荐的这种MongoDB的方案，会非常理想，因为我们相对来说是比较简单一些。起步会快，假设真的不行，你也可以很快就见效，我们叫做非常 fail fast，错就错的快一点，不要花很长的时间才发现不行，那如果你还没开始构建的话，一步到位就可以拿到。因为我们刚才讲的MongoDB在数据平台上是有很大的优势的。如果是Hadoop的话，最近几家合作的海外的那几家都三家只剩下了一家Cloudera，其他两家都已经被收掉了或者被合并了，这也是因为它的本身有很大的局限性，很复杂很难用，投入很大，收效比较小。
• 如果你的中台主要目的想支撑前端交互式应用。那MongoDB是最理想的，因为我们的特点就是高并发、低延迟、横向扩展。然后非常面向开发，非常面向JSON API，这是非常理想的。那Hadoop的话，他一开始大数据都是以分析为主的，不是为前端为主的。
• 反过来，如果你的中台数据目前你看不到有什么前端的业务场景会来使用。最主要的还是解决这个数据统一。而且你觉得有很多复杂的表。要做很复杂关联，这个时候一下子把它合并到一个JSON里面是几个JSON里面是比较麻烦的，那可能是MongoDB的适用度就一般了。那反而是那些基于传统的数仓的，那个会比较做的会比较好一点，相对来说是功能上比较完善一点。
• 如果你是比较喜欢有些比较快速，能够比较轻一点的，比较简单一点的。下载下来就可以安装可就可以跑起来，那我们Tapdata这种方案会比较轻便一点。
• 如果你没有数据工程师的话，我们MongoDB的一个的优势就是比较自然，比较直接，比较容易理解数据模型，会是一个不错的选择。
• 如果你没有明确你这个中台搭建的想做什么，我们可能不合适，因为我们可能这个事情做出来以后没有什么太大的效果的话，你就发挥不了我们的所谓的这种价值。其他的方案，我也不知道是不是合适了。

有了这么多解决方案，我们来看一下，如果是基于一个 MongoDB 的方案会是怎么样？我们刚才只是讲的数据平台在做一些选择，但是做一个完善的数据中台的话还需要很多其他模块，所以这里面是用到了另一个产品，就是Tapdata DaaS。通过 MongoDB 和 Tapdata DaaS 这样一个组合，一起来做这个中台的解决方案。

（1）落地

Tapdata DaaS 可以看做是 MongoDB 生态上一个工具集。 要做一个数据中台，要同步、要治理、要建模、还要做API发布，这些都不是 MongoDB 做的事情，MongoDB 主要是做数据库为它的核心的主要的功能，其他的相应的功能就可以通过一些外围的工具。而 Tapdata DaaS 可以快速的来实现这些不需要用代码的方式快速把数据的同步，建模和治理，以及发布给快速的做出来，这个大概就是一个整体，Tapdata DaaS 加 MongoDB 的架构。下图中的蓝色的部分就是中台的几个其他部分,绿色的就是MongoDB 的数据平台。

1. 数据同步及处理能力：
   结合 MongoDB ， Tapdata DaaS 这套方案是可以快速落地， 可以最快的时间对接上数据进行建模、同步，然后拉到中台里面并进行把它发布出来。举一些例子，比如说可以从 Oracle database 里面把它的表的数据拖到 Tapdata DaaS 的目标的中台库里面，然后对数据进行 JSON 建模，或者是一对一建模。在这个过程中，还可以是进行实时的同步，基于日志的同步。Tapdata DaaS 数据源可以支持 SQL server、Oracle、Sybase、MongoDB、DB2 、MySQL、Redis、Elasticsearch 等等，也支持文件，比如 excel、CSV。
2. 数据建模能力：
   基于这种内嵌的模型Embedded的模型，把一对一，一对多的关系，甚至多对一的关系就直接就合并到里面去。这个会对客户数据合并、产品数据合并、订单数据合并有非常好的效率的提升。Tapdata DaaS 提供一个可视化的建模见面，就可以很容易完成这种合并工作。
3. 数据治理能力：
   数据进到库里面，进到中台里面。有来自于不同的数据库，几十套，上百套都有可能，每一套库里面有几百张表在里面必须有一个非常好的分类，非常好的组织能力。按照不同的目的、不同的角色、不同的规则或者数据体系给它分门别类建好在这里面，把这数据打好标签，这样的话可以快速的让大家高效的来使用到这些数据。
4. 数据API发布能力：
   可以通过RESTful API快速的交付出去。提供图形化低代码开发工具，只需要几分钟的时间就可以简单的发布数据给其他使用方调用。兼容Open API，也可以支持行级列级的过滤。同时也会有一些API文档的测试能力，权限管控等等，这个是中台必不可少的能力之一。

如何自学黑客&网络安全

黑客零基础入门学习路线&规划

初级黑客
1、网络安全理论知识（2天）
①了解行业相关背景，前景，确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。（非常重要）

2、渗透测试基础（一周）
①渗透测试的流程、分类、标准
②信息收集技术：主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察
④主机攻防演练：MS17-010、MS08-067、MS10-046、MS12-20等

3、操作系统基础（一周）
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全（系统入侵排查/系统加固基础）

4、计算机网络基础（一周）
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析（HTTP、TCP/IP、ARP等）
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御：主动/被动攻击、DDOS攻击、CVE漏洞复现

5、数据库基础操作（2天）
①数据库基础
②SQL语言基础
③数据库安全加固

6、Web渗透（1周）
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具：Nmap、BurpSuite、SQLMap、其他（菜刀、漏扫等）
恭喜你，如果学到这里，你基本可以从事一份网络安全相关的工作，比如渗透测试、Web 渗透、安全服务、安全分析等岗位；如果等保模块学的好，还可以从事等保工程师。薪资区间6k-15k

到此为止，大概1个月的时间。你已经成为了一名“脚本小子”。那么你还想往下探索吗？

如果你想要入坑黑客&网络安全，笔者给大家准备了一份：282G全网最全的网络安全资料包评论区留言即可领取！

7、脚本编程（初级/中级/高级）
在网络安全领域。是否具备编程能力是“脚本小子”和真正黑客的本质区别。在实际的渗透测试过程中，面对复杂多变的网络环境，当常用工具不能满足实际需求的时候，往往需要对现有工具进行扩展，或者编写符合我们要求的工具、自动化脚本，这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中，想要高效地使用自制的脚本工具来实现各种目的，更是需要拥有编程能力.

如果你零基础入门，笔者建议选择脚本语言Python/PHP/Go/Java中的一种，对常用库进行编程学习；搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP， IDE强烈推荐Sublime；·Python编程学习，学习内容包含：语法、正则、文件、 网络、多线程等常用库，推荐《Python核心编程》，不要看完；·用Python编写漏洞的exp,然后写一个简单的网络爬虫；·PHP基本语法学习并书写一个简单的博客系统；熟悉MVC架构，并试着学习一个PHP框架或者Python框架 (可选)；·了解Bootstrap的布局或者CSS。

网络安全工程师企业级学习路线

视频配套资料&国内外网安书籍、文档&工具

当然除了有配套的视频，同时也为大家整理了各种文档和书籍资料&工具，并且已经帮大家分好类了。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取