Liberando Espacio De HDFS

Este es un rapidito de como liberar espacio en Hadoop, ya que se llena por los app-logs de yarn.

Si os encontrais vuestro HDFS lleno tal que asi

1
2
3
4
<<< CORP >>> hdfs@hdp-dw-1-nn-1:/home/nicolast$ hadoop fs -du -h /app-logs/hive/*
195.7 G  /app-logs/hive/logs-ifile/application_1528466953433_0304
84.1 G   /app-logs/hive/logs-ifile/application_1528466953433_4879
0        /app-logs/hive/logs-ifile/application_1528466953433_6909

Es que teneis un monton de logs de los contenedores de Yarn ocupado espacio.
Normalmente, el JobHistory Server hace de esta funcion, pero a veces no lo hace o lo necesitais para ya.

Tenemos dos opciones:

A. Lo eliminados y lo dejamos para que el fs.trash.interval se haga cargo de el (normalmente puesto a 360 minutos)
B. Nos lo cargamos directamente sin pasar por la casilla de salida.

Opcion A

Ejecutamos esto, que elimina todo y lo manda a la carpeta trash del usuario 

1
2
3
4
5
6
7
8
hadoop fs -rm -r /app-logs/[folder]/\*
18/07/20 08:09:03 INFO fs.TrashPolicyDefault: Moved: 'hdfs://hdp-dw-1-nn-1.domain.local:8020/app-logs/hive/logs-ifile/application_1523519779208_0292' to trash at: hdfs://hdp-dw-1-nn-1.domain.tld:8020/user/hdfs/.Trash/Current/app-logs/hive/logs-ifile/application_1523519779208_0292
18/07/20 08:09:03 INFO fs.TrashPolicyDefault: Moved: 'hdfs://hdp-dw-1-nn-1.domain.tld:8020/app-logs/hive/logs-ifile/application_1523519779208_0296' to trash at: hdfs://hdp-dw-1-nn-1.domain.tld:8020/user/hdfs/.Trash/Current/app-logs/hive/logs-ifile/application_1523519779208_0296

```     

Ahora tenemos esto en el trash del usuario `hdfs`

trash at: hdfs://hdp-dw-1-nn-1.domain.tld:8020/user/hdfs/.Trash/Current/app-logs/hive/logs-ifile/application_1523519779208_0292

1
2
3
4
5
6

Ejecutamos `hadoop fs -expunge` y eso elimina los CheckPoints de los Trash, crea otro general y entra en juego el `fs.trash.interval`

##### Opcion B

Ejecutamos el comando con `-skipTrash`

hadoop fs -rm -r -skipTrash /app-logs/[folder]/*
Deleted /apps-logs/*


Si quereis mas info de HDFS:

##### [Apache HDFS space reclamation][34f3fd92]
---

  [34f3fd92]: http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#File_Deletes_and_Undeletes "Apache HDFS Space Reclamation"

Comments

⬆︎TOP