分析数据

了某个页面，并不人详细地介绍这个用户在这个页面待了多久，做了什么事。这时候，这些数据就需要依赖于类似于 Google Analytics 这样的工具来统计网站的流量。还有类

似于 New Relic 这样的工具来统计用户的一些行为。

在一些以科学研究为目的的数据收集中，我们可以从一些公开的数据中获取这些资料。

而在一些特殊的情况里，我们就需要通过爬虫来完成这样的工作。

分析数据

现在，我们终于可以真正的去分析数据了——我的意思是，我们要开始写代码了。从海量的数据中过滤出我们想要的数据，并通过算法来对其进行分析。

一般来说，我们都利用现有的工具来完成大部分的工作。要使用哪一类工具，取决于我们如要分析的数据的数量级了。如果只是一般的数量级，我们可以考虑用 R 语

言、Python、Octave 等单机工具来完成。如果是大量的数据，那么我们就需要考虑用 Hadoop、Spark 来完成这个级别的工作。

而一般来说，这个过程可能是要经过一系列的工具才能完成。如在之前我在分析我的博客的日志时(1G左右)，我用Hadoop + Apache Pig + Jython 来将日志中的IP转

换为 GEO 信息，再将 GEO 信息存储到 ElasticSearch 中。随后，我们就可以用 AMap、 leaflet 这一类 GEO 库将这些点放置到地图上。

展示数据

现在，终于来到我最喜欢的环节了，也是最有意思，但是却又最难的环节。

我们过滤后我们的数据，得到我们想要的内容后，我们就要去考虑如何可视化我们的数据。在我熟悉的 Web GIS 领域里，我可以可视化出我过滤后的那些数据。但是对

于我不熟悉的领域，要可视化这些数据不是一件容易的事。在少数情况下，我们才能使用现有的工具完成需求，多数情况下，我们也需要写相当的代码才能将数据最后可视化

出来。

而在以什么形式来展示我们的数据时，又是一个问题。如一般的数据结果，我们到底是使用柱形图、条形图、折线图和面积图中的哪一种？这依赖于我们有一些 UX 方面

的经验。

参考来源: 精益数据分析。