闲谈大数据和算法 知道这些让你受益无穷

   中国企业数据治理联盟（www.chinaedg.com/）

   进入》主数据管理           企业数据治理           信息资源规划             数据安全管理

  本篇总结一下自己对大数据算法认知的过程。正文包含两部分：自己对算法的认知过程和对大数据算法的理解。

　　写这篇博客的原因有很多，总的来讲有下面几点：

　　自己在算法的路上一直懵懵懂懂，现在刚刚有了一点点头绪，赶快做个记录。

　　梳理清楚自己的思路，后续会有一个算法学习的一到两年的计划，这算是个引子。

　　谈起算法大家都只会想到经典算法和机器算法，除此之外还有很多有意思的算法，特别是为了解决大数据量问题的算法，这些很容易被忽略掉，但是我认为这才算是大数据算法。

　　0x01 认知过程

　　1. 算法没什么用

　　刚入坑的时候，一直以为大数据工程师就是安装一下hadoop，写写 MR 程序，运维一下集群就够了，虽说算法很重要，但是工作中没有什么感觉。

　　我在很长一段时间也抱着一种算法只是起到在面试中起到区分度作用的知识点而已。(现在想来，其实这个观点也没什么错，大部分的开发工作的确用不到自己写的算法。)

　　2. 经典算法的魅力

　　做了一段时间大数据运维后，接到了一个优化调度系统的任务，就和 Gim 老司机在一起设计重构调度系统的方案，在这个过程中复习了很多图论相关的知识点，从此开始对算法产生了极大的兴趣并一发不可收拾，随后重新学习了一遍树相关的内容，自己动手实现了什么2-3树、avl树、红黑树这些数据结构。

　　其实，感兴趣的一个主要原因就是发现，这些东西基本构建了我们整个的计算机体系。比如文件系统、数据库的索引，学会这些总感觉以后就不会丢饭碗了。

　　3. 机器学习代表了一切

　　再接着，机器学习一下子就火了起来，世界上只剩下了两种算法：机器学习算法和非机器学习算法。身边的朋友和同学，凡是和数据开发相关的，都称自己想转做机器学习。笔者也不能免俗，开始准备跟着浪潮走一波。但是一没场景，二是兴趣不大，当有一天我突然意识到自己在学机器学习累的时候居然想玩玩 Linux 放松心情的时候，就暂时放弃了转向机器学习的这个想法。以后我会用到它，可能还会用的很深，但是现在不会全身心地转向它。

　　机器学习过后，17年又迎来了深度学习的浪潮。

　　4. 深度学习又是一波浪潮

　　感触最深的是在 17 年 5 月份，看到了一份招聘要求，招的 title 是人工智能平台架构师，具体的要求是除了数据平台要求的东西外加了一些深度学习平台的东西。

　　这时候就感到，当浪潮到来的时候，你可以不转向它，但是要包容它。所以，顺便学了一波深度的东西，入了个门，大概知道我以后需要做些什么。(半年后的今天基本已经忘完了)

　　5. 还有很多有趣的算法

　　随着工作的深入，系统在性能上遇到了很多了瓶颈，我们要做一系列的调整来应对，比如敏感信息的加密、集群文件的压缩、负载均衡策略的选择，这时候就不得不深入学习一下加密算法、压缩算法、负载均衡算法的原理。

　　这些算法一直都在，但是仍然可以在现在的大数据场景下发挥极大的作用。

　　6. 分布式算法

　　在这之前，我对自己从事的工作一直有一点心虚，感觉除了写写 MR，管一下集群貌似没什么技术含量太深的东西，能拿得出手的也就是各个系统的架构和对他们的熟悉程度。 后来无意间在 Mooc 发现了一门云计算原理的课，然后就对这一块产生了极大的兴趣。

　　随着学习的深入，发现这块的水还是相当深的，我们称这些为分布式算法，它包含了这么一大堆内容：

　　2PC、Gossip 这一大堆协议;DHT、Paxo、Raft 这一大堆算法、还有一些乱七八糟的原理。

　　这块学的还是很皮毛，后面会有详细的学习计划。

　　7. 大数据算法到底是什么?

　　在工作和学习中遇到了这么多算法，再加上一段时间的思考，我会在想，大数据的算法到底是什么样子的?

　　经典算法暂且不论，压缩和加密算法也一直都有。

　　那么机器学习呢?总感觉有些地方不对劲，应该说是机器学习是使用了大数据，但是他不是为了解决大数据的各种问题的，真正的大数据问题还要有大数据的算法来解决。

　　分布式算法也不完全算是，虽说大数据工程师都要用到分布式系统，但是他们解决的问题场景不太一样的。分布式算法要解决时钟、一致性问题这些问题。大数据场景的算法不太一样。

　　然后我们要想一下大数据场景有什么问题?

　　大数据场景的问题

　　数据量大，这是一个最明显的特点，它带来的问题就是处理这些数据成了很大的麻烦。Hadoop 是一个突破性的项目，然后在这之外我们还会有一些场景要解决。

　　集合中不同元素的个数, 比如独立访客(Unique Visitor，简称UV)统计，换成 Sql 来写的话就是 count(distinct user_id)，假设有 1000 亿的数据放在这里，需要极快地算出来，可以允许一点点不精确，我们该怎么做?

　　也就是，我们在很多场景下，会在允许一定牺牲一定的准确度地情况下来快速地算出结果。这一些算法有极大的应用场景。比如 Redis 会用到 Hyperloglog 来做基数统计。

　　这样的一批算法，我认为算是大数据算法中的一部分，内容比较多，有专门的博客展开来专门讲，比如 Bitmap、Roaring Bitmap、Hyperloglog等。

　　0x02 算法技能一览

　　在这里做一个小总结，画一下我认为大数据工程师需要掌握、熟悉和了解的算法。很多其实在工作中都会经常遇到。

　　学习优先级?

　　关于这些算法学习的优先级该怎么判定?这个就不装x了，居士自己其实也会有不少迷茫，没办法说哪个更重要，不过如果真是要学的话可以大致有一些参考。

　　基础的数据结构和算法没什么好说的，属于基本功，理应具备。

　　其它算法里面的加密、压缩、调度这些算法，如果不是需要深入搞得话，不必急着深入学，用到了就了解一些。

　　分布式算法和大数据算法建议偏工程的童鞋尽早学一下，工作中写程序用不到也无所谓，早学没坏处。很多大数据组件的核心位置都有这些算法的身影。

　　数据挖掘相关算法，对于数据挖掘的童鞋来讲肯定是必学的，对于数据开发转到数据挖掘的童鞋来讲，如果有了比较明确的转行计划，就开始深入地学，如果是观望状态，可以先搞一些和工作相关度比较高的算法玩一玩，有项目机会也能快速上手。

　　0XFF 总结

　　有时候感觉自己写程序可能永远也不需要写什么算法，但是不得不承认，算法的思维能让自己受益无穷。中翰软件专注数据治理11年http://www.jobhand.cn/