电子发烧友App
在做数据分析时你有没有遇到这些问题：
数据量大，怎么也找不到特定日期的文件
老板要看某年某月的销售数据，你要从百万量级数据中一条条寻找
……
要是使用永洪BI，会不会有一种方法，让我们在百万量级的数据中，一眼锁定要找的那一条？有的，那便是文件过滤。
首先，我们来说一下什么是meta，什么是文件过滤。
01 什么是meta
meta是集市文件上打的标签，可以大致理解为这个集市文件的属性。
比如，某个集市数据，我们是按天入的，每天生成的集市文件是前一天的数据，给这个集市文件添加了一个属性（属性名：date,属性值：昨天的日期），这个就叫做meta。
这个举个常见例子，有某个部门的销售数据，每天的销售数据存储在一个excel中，这个excel的文件名上带上这天的日期。集市文件的meta就相当于excel文件的文件名上的日期。
02 什么是文件过滤
先说说文件，这里的“文件”，指的是增量任务生成的集市文件，这个文件是存储在m节点，安装目录/Yonghong/cloud下，也就是存储在m节点磁盘上的。
文件过滤，接着上面excel的比喻讲，大致就是每天的销售数据，存储在一个excel文件中，这个excel的文件名还带上了这天的日期。
要查询某天的销售数据就很快了，根据日期直接定位到要查询的这天，快速准确找到这天的数据，不需要所有的excel数据都打开去查一下。
回到文件过滤也是类似的效果，给每个集市文件打上了meta，meta的值是每个集市文件对应的数据的日期，那么要查询某天，或者某段时间的数据，就可以快速定位并查询，不需要所有的集市文件都查一遍，然后去找到想要的日期的数据。
说到这里是不是有个大概的概念，接下来说说为什么要什么文件过滤。
03 为什么做文件过滤
举个例子，某个部门的销售数据，每天大概有100万左右，一年大概就是3亿+。如果存储在excel中，一个excel文件假设存储的是100万左右，那么1年就有365个excel。
如果不把每天的数据存储在同一个excel，且文件名上标上每天的日期，那么当要查某天，或者某段时间的数据，是不是一个很大的工作量，需要把这365个excel都打开查一遍。
对应到产品的集市中也是一样，一个集市文件最大存储的行数大概100万行，如果这些数据都是按天增量的，且在集市文件生成的时候就给这些文件打上了meta。
meta值是数据对应的日期，那么当查询某一天的数据的时候，就可根据meta的值进行过滤，只查meta值为这天的这一个集市文件，那么计算量就是100万。
再来看一下如果不使用文件过滤，就需要把这365个集市文件都查询一遍，最终再过滤出这一天的数据，计算量是3亿+。
使用文件过滤是为了减少实际计算量，减少计算量后计算需要的时间也可以大幅减少，那么报表打开也就更快了。
下面做个比较，可以看到使用文件过滤与否，查询相同的时间的数据，实际的后台计算量和计算时间的巨大差别。
| 场景 | 是否使用文件过滤 | 计算文件个数 | 计算数据量 | 假设一个集市文件(100万)计算时长 | 计算需要时间 |
| 某部门销售数据每天100万，1年365百万，默认查询昨天的数据 | 是 | 1 | 1百万 | 100ms | 100ms |
| 否 | 365 | 365百万 | 365000ms=36s | ||
| 某部门销售数据每天100万，1年365百万，默认查询上个月的数据 | 是 | 30 | 30百万 | 100ms | 3000ms=3s |
| 是 | 365 | 365百万 | 365000ms=36s | ||
| 备注：这里的计算时间是按照m节点的计算能力为1计算，实际情况不止1，但是实际也不会只有一个组件，每个组件都会有这样一个集市查询 | |||||
前面已经了解了，文件过滤是什么以及为什么要用文件过滤，接下来就是文件过滤怎么用？
文件过滤的使用前提：数据已经通过增量的方式入到集市中，且在入的时候已经按照日期打好meta。
首先来看一下咱们增量且已经打好meta的集市数据。
|
集市文件夹：咖啡销售数据 下的集市文件 |
数据对应月份 | meta名 | meta值 |
| 2020年销售数据.6cb2f7790.0.0.zb | 2020-01 | _Date_Range_ | 2020-01 |
| 2020年销售数据.6cb2f7790.1.0.zb | 2020-02 | 2020-02 | |
| 2020年销售数据.6cb2f7790.2.0.zb | 2020-03 | 2020-03 | |
| 2020年销售数据.6cb2f7790.3.0.zb | 2020-04 | 2020-04 | |
| 2020年销售数据.6cb2f7790.4.0.zb | 2020-05 | 2020-05 | |
| 2020年销售数据.6cb2f7790.5.0.zb | 2020-06 | 2020-06 | |
| 2020年销售数据.6cb2f7790.6.0.zb | 2020-07 | 2020-07 | |
| 2020年销售数据.6cb2f7790.7.0.zb | 2020-08 | 2020-08 | |
| 2020年销售数据.6cb2f7790.8.0.zb | 2020-09 | 2020-09 | |
| 2020年销售数据.6cb2f7790.9.0.zb | 2020-10 | 2020-10 | |
| 2020年销售数据.6cb2f7790.10.0.zb | 2020-11 | 2020-11 | |
| 2020年销售数据.6cb2f7790.11.0.zb | 2020-12 | 2020-12 | |
|
2020年销售数据 是增量的时候设置的文件名 6cb2f7790 是随机码 0.0-11.0 是集市文件编号 .zb 是集市文件后缀 |
|||
使用步骤：
1、在“创建数据集”模块，新建数据集市数据集，选择增量任务中设置的文件夹名称，就得到一个数据集市数据集。
2、在数据集市数据集添加文件过滤，比如查询某一天的数据，对应的文件过滤如下：
3、使用这个数据集市数据集制作报告，并将步骤2中定义的参数coffeeMonth的值，在报告中传递到数据集使用。
注意：参数的数据类型和格式一定要跟meta的数据类型和格式一致，如果不一致需要脚本处理。
4、保存报告并查看效果，在报告中筛选选择某个月，实际底层查询的集市文件只查询这个月对应，而不是集市文件。
查询效果见下图,底层实际计算情况见截图（查询2020-01月的数据，使用文件过滤和不使用文件过滤的对比）。
什么时候适合用文件过滤？
集市查询数据量大的时候；查询的时候咱们只查询部分数据，而不是全量数据；希望提升查询性能；能够有用于增量同步的字段，比如日期，或者有经常筛选的字段用于打meta后的文件过滤。
举个例子，一个查询包含的数据量很大，时间跨度比较大（比如有3年的数据），每次查询的范围不是太大（比如每次查询大概3个月的数据，查询范围不定），这种就比较适合用文件过滤，将每次实际计算的计算量从3年缩减到三个月。
真正实现前台筛选多长时间范围，后台计算的就是多长时间的数据，而不是这个查询所有的数据计算完成再来筛选时间范围。
最后总结一下，集市查询，相对直连的情况一般对于报告的查询速度，是有显著的优化的，但是一个查询的总数据量很大的时候，实际查询的并不是全部时间段的情况下，用文件过滤能进一步优化查询性能。
fqj
工商网监
评论