25个⼤数据专业术语⼊门数据必备知识
25个⼤数据专业术语⼊门数据必备知识
25个⼤数据专业术语⼊门⼤数据必备知识 如果你初来乍到，⼤数据看起来很吓⼈!根据你掌握的基本理论，让我们专注于⼀些关键术语以此给你的约会对象、⽼板、家⼈或者任何⼀ 个⼈带来深刻的印象。 让我们开始吧： 1.算法。"算法"如何与⼤数据相关?即使算法是⼀个通⽤术语25个⼤数据专业术语⼊门数据必备知识，但⼤数据分析使其在当代更受青睐和流⾏。 2.分析。年末你可能会收到⼀份来⾃信⽤卡公司寄来的包含了全年所有交易记录的年终报表。如果你有兴趣进⼀步分析⾃⼰在⾷物、⾐服、 娱乐等⽅⾯具体花费占⽐呢?那你便是在做"分析"了。你正从⼀堆原始数据中来吸取经验，以帮助⾃⼰为来年的消费做出决策。如果你正 在针对整个城市⼈群对或的帖⼦做同样的练习呢?那我们便是在讨论⼤数据分析了。⼤数据分析的实质是利⽤⼤量数据来 进⾏推断和讲故事。⼤数据分析有3种不同到的类型，接下来便继续本话题进⾏依次讨论。 3.描述性分析。刚刚如果你告诉我，去年你的信⽤卡消费在⾷物上花费了25%、在服装上花费了35%、娱乐活动上花费了20%、剩下的就 是杂七杂⼋的事项，这种便是描述性分析。当然你还可以参考更多的细节。 4.预测分析。如果你根据过去5年的信⽤卡历史记录来进⾏分析25个⼤数据专业术语⼊门数据必备知识，并且划分具有⼀定的连续性，则你可以⾼概率预测明年将与过去⼏年相差 ⽆⼏。
此处需要注意的细节是，这并不是"预测未来"，⽽是未来可能会发⽣的"概率"。在⼤数据预测分析中，数据科学家可能会使⽤类 似机器学习、⾼级的统计过程(后⽂将对这些术语进⾏介绍)等先进的技术去预测天⽓、经济变化等。 5.规范分析。沿⽤信⽤卡交易的案例，你可能想要找出哪⽅⾯的⽀出(级⾷品、服装、娱乐等)对⾃⼰的整体⽀出产⽣巨⼤的影响。规范分析 建⽴在预测分析的基础之上，包含了"⾏动"记录(例如减少⾷品、服装、娱乐⽀出)，并分析所得结果来"规定"最佳类别以减少总体⽀ 出。你可以尝试将其发散到⼤数据，并设想⾼管们如何通过查看各种⾏动的影响来做出数据驱动的决策。 6.批处理。虽然批量数据处理在⼤型机时代就早已出现，但⼤数据交给它更多⼤数据集处理，因此赋予了批处理更多的意义。对于⼀段时间 内收集到的⼀组事务，批量数据处理为处理⼤量数据提供了⼀种有效的⽅法。后⽂将介绍的便是专注于批量数据处理。 7. 是由 管理的⼀款流⾏的开源数据库管理系统。很多⼤数据技术都归功于，其中 的设计初衷便是处理跨分布式服务器的⼤量数据。
8. 云计算。显⽽易见云计算已经变得⽆所不在，所以本⽂可能⽆须赘述，但为了⽂章的完整性还是佐以介绍。云计算的本质是在远程服务器 上运⾏的软件和(/或)数据托管，并允许从互联⽹上的任何地⽅进⾏访问。 9. 集群计算。它是⼀种利⽤多台服务器的汇集资源的"集群"来进⾏计算的奇特⽅式。在了解了更多技术之后，我们可能还会讨论节点、集 群管理层、负载平衡和并⾏处理等。 10. ⿊暗数据。依我看来，这个词适⽤于那些吓得六神⽆主的⾼级管理层们。从根本上来说，⿊暗数据是指那些被企业收集和处理但⼜不⽤ 于任何有意义⽤途的数据，因此描述它是"⿊暗的"，它们可能永远被埋没。它们可能是社交⽹络信息流、呼叫中⼼⽇志、会议笔记，诸如 此类。⼈们做出了诸多估计，在60-90%的所有企业数据都可能是"⿊暗数据"，但⽆⼈真正知晓。 在这⾥我还是要推荐下我⾃⼰建的⼤数据学习交流qq裙： ， 裙 ⾥都是学⼤数据开发的，如果你正在学习⼤数据 ，⼩编欢迎 你加⼊，⼤家都是软件开发党，不定期分享⼲货（只有⼤数据开发相关的），包括我⾃⼰整理的⼀份最新的⼤数据进阶资料和⾼级开发教 程，欢迎进阶中和进想深⼊⼤数据的⼩伙伴。
上述资料加群可以领取 11. 数据湖。当我第⼀次听到这个词的时候，我真的以为有⼈在开愚⼈节的玩笑。但它真的是个术语!数据湖是⼀个原始格式的企业级数据的 ⼤型存储库。虽然此处讨论的是数据湖小六壬完整解释整理分析知识讲解小六壬完整解释整理分析知识讲解，但有必要再⼀起讨论下数据仓库，因为数据湖和数据仓库在概念上是极其相似的，都是企业级数据 的存储库，但在清理和与其他数据源集成之后的结构化格式上有所区别。数据仓库常⽤于常规数据(但不完全)。据说数据湖能够让⽤户轻松 访问企业级数据，⽤户真正按需知道⾃⼰正在寻找的是什么、如何处理并让其智能化使⽤。 12. 数据挖掘。数据挖掘是指利⽤复杂的模式识别技术从⼤量数据中找到有意义的模式、提取见解。这与我们前⽂讨论的使⽤个⼈数据做分 析的术语"分析"密切相关。为了提取出有意义的模式，数据挖掘者使⽤统计学(是呀，好⽼的数学)、机器学习算法和⼈⼯智能。 13.数据科学家。我们谈论的是⼀个如此热门的职业!数据科学家们可以通过提取原始数据(难道是从前⽂所说的数据湖中提取的?)小六壬完整解释整理分析知识讲解，处理数 据，然后提出