数据采集相关

嗯嗯，明白了，再请教两个问题：

1.   实际开发过程中，我们不可能把A部门所有的数据都拿过去(放到hdfs上)，比如我们只拿了log和部分业务表，那我们是怎么知道要拿这部分数据呢？是提前进行了需求沟通吗？

2.   接着上一个问题，是不是我们先知道使用哪部分业务数据，然后才把它们采集过来进行计算，而不是说我来了一个sql，然后发现没有数据，再去拉取数据进行计算？

两种流程

1：如果是想要做一个大型数仓，会直接将所有业务表数据和日志接入到数仓中，这样是不需要区分这份数据目前能不能用到的

2：还有一种是如果数据源比较多，暂时不想全部接入数仓，会先梳理一下目前的常用需求，根据这些需求反推出来用到的数据源表，然后把这些数据源表导入数仓，这种会存在后续缺少数据的情况，缺少的时候再按需采集

企业中在起步阶段的话，第二种是比较常见的。