现如今数据应用的发展势头十分迅猛，数据能够处理好也能够应用到各个市场和行业当中，数据应用的就业前景还是不错的。
本文目录[hide]
1数据应用就业前景
2数据应用开发阶段
3数据采集
3.1数据汇聚
3.2数据转换和映射
3.3数据应用

数据应用就业前景
《大数据人才报告》指出,目前全国的大数据人才仅46万,未来3-5年内将会出现高达150万的大数据人才的缺口。
《2016年中国互联网最热职位人才报告》显示，当下中国互联网行业需求最多的六类人才职位为研发工程师、产品经理、人力资源、市场营销、运营和数据分析。其中需求量最大的是研发工程师，而最为稀缺的是数据分析人才。领英报告表明，高度稀缺的是数据分析人才，其供给指数最低，仅为0.05，。并且其才跳槽速度也最快，平均跳槽速度为19.8个月。
根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将高达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。数据应用开发阶段数据采集
数据采集有线上和线下两种方式，线上一般通过爬虫、通过抓取，或者通过已有应用系统的采集，在这个阶段，我们可以做一个大数据采集平台，依托自动爬虫(使用python或者nodejs制作爬虫软件)，ETL工具、或者自定义的抽取转换引擎，从文件中、数据库中、网页中专项爬取数据，如果这一步通过自动化系统来做的话，可以很方便的管理所有的原始数据，并且从数据的开始对数据进行标签采集，可以规范开发人员的工作。并且目标数据源可以更方便的管理。
数据采集的难点在于多数据源，例如mysql、postgresql、sqlserver 、 mongodb 、sqllite。还有本地文件、excel统计文档、甚至是doc文件。如何将他们规整的、有方案的整理进我们的大数据流程中也是必不可缺的一环。数据汇聚
数据的汇聚是大数据流程关键的一步，你可以在这里加上数据标准化，你也可以在这里做数据清洗，数据合并，还可以在这一步将数据存档，将确认可用的数据经过可监控的流程进行整理归类，这里产出的所有数据就是整个公司的数据资产了，到了一定的量就是一笔固定资产。
数据汇聚的难点在于如何标准化数据，例如表名标准化，表的标签分类，表的用途，数据的量，是否有数据增量?，数据是否可用? 需要在业务上下很大的功夫，必要时还要引入智能化处理，例如根据内容训练结果自动打标签，自动分配推荐表名、表字段名等。还有如何从原始数据中导入数据等。数据转换和映射
经过数据汇聚的数据资产如何提供给具体的使用方使用?在这一步，主要就是考虑数据如何应用，如何将两个?三个?数据表转换成一张能够提供服务的数据。然后定期更新增量。
经过前面的那几步，在这一步难点并不太多了，如何转换数据与如何清洗数据、标准数据无二，将两个字段的值转换成一个字段，或者根据多个可用表统计出一张图表数据等等。数据应用
数据的应用方式很多，有对外的、有对内的，如果拥有了前期的大量数据资产，通过restful API提供给用户?或者提供流式引擎 KAFKA 给应用消费? 或者直接组成专题数据，供自己的应用查询?这里对数据资产的要求比较高，所以前期的工作做好了，这里的自由度很高。
大数据开发的难点主要是监控，怎么样规划开发人员的工作?开发人员随随便便采集了一堆垃圾数据，并且直连数据库。 短期来看，这些问题比较小，可以矫正。 但是在资产的量不断增加的时候，这就是一颗定时炸弹，随时会引爆，然后引发一系列对数据资产的影响，例如数据混乱带来的就是数据资产的价值下降，客户信任度变低。