高知特

对spark的RDD有什么了解，RDD是什么，我说弹性分布式数据集，为什么spark要使用RDDSpark为什么比mapreduce快，我说spark基于内存运算，Spark就不在硬盘上运算了吗，我说也会，问什么时候会在硬盘上运算，我：当时脑子宕机了(有一个配置是内存不够写入磁盘，别的不知道了，可能和血统什么的有关)Hbase的调优方式Hive的udf你都了解哪些，如何自定义udf函数，你都了解哪些数据结构。

1、自我介绍。 2、针对简历内容提问。 3、因为投的是数据分析，问了简历中的技术问题，比如模型的大概原理，变量的选取过程。 4、问了技能sql的分组函数和连接函数怎么写。 5、会不会spark。 6、海量数据处理的一个问题，1024g内存怎么取bala，我没答上来。 7、app的衡量指标。