hive优化记录

hive优化记录

1.select * from table的时候不走mapreduce,但是常规配置下 select 字段  from table 是走mapreduce的

2.fetch 如果配置了fetch,根据不同配置某些操作不走mapreduce提高效率,比如配置成more,select 字段 from table

就不走mapdreuce了

3.表拆分,大表拆分成子表

4.外部表、分区表

5.数据的存储格式(textfile、orcfile、parquet)和压缩方式(snappy)的选择

6.sql语句的优化

7.

发表评论

电子邮件地址不会被公开。 必填项已用*标注