hdfs是一个用于存储大文件的分布式文件系统，是apache下的一个开源项目，使用java实现。它的设计目标是可以运行在廉价的设备上，运行在大多数的系统平台上，高可用，高容错，易于扩展。

适合场景

• 存储大文件：G级别或者以上
• 离线数据分析
• 非结构化数据
• 一次写多次读

不适合的场景

• 存储小文件
• 文件需要修改(hdfs只能追加，如果需要修改，删除后，再重新上传)
• 低延迟服务
• 多用户写
• 大量随机读

整体架构

各组件含义以及关系

组件	含义	备注
NameNode	名字节点，Master节点，仲裁者	管理和存储命名空间元数据信息，维护文件路径和block的映射，维护block和DataNode节点的映射，根据制定的策略和集群DataNode节点情况确定block数据真实存储的数据节点列表，维护和监控已存在的block列表，根据实际情况指示数据节点增删block，负责客户端文件元数据的请求响应
SecondaryNameNode	辅助名字节点的节点	负责维护NameNode元数据的镜像文件fsimage，周期性的合并NameNode产生的事物日志(edit log)到自己的fsimage，并且回写到NameNode节点，保证NameNode节点的镜像文件不会非常过时
DataNode	数据节点	按块存储真实的文件数据，周期性的发送心跳包到NameNode，告知相关状态信息(heartbeat)以及上报块列表信息(安全模式下)，负责客户端数据的读取和写入，负责处理NameNode发出的指令，负责数据节点间块数据的同步
Client	客户端	负责发起读写请求，负责数据完整性效验，写数据时，负责根据相关配置切割数据，然后分块上传到指定的节点，提供的客户端类型有：shell，java api，c api, web ui，http接口

副本存储策略

采用机架感知策略，兼顾性能和容灾的平衡。通过dfs.replication配置block副本数，一般设置3个。如果是三个副本具体怎么确定单个数据块的存储位置呢？采用如下方式：以客户端所在的数据节点为第一个副本的节点（如果客户端在集群外，则随机选择一个数据节点），从另外一个机架随机选择一个节点作为第二个副本的存储节点，从第二个节点所在的机架随机选择一个数据节点存储第三个副本。

读数据流程

• dfs客户端向NameNode发起读文件请求，检查是否有权限，如果有访问权限，返回文件block所在节点列表（根据近地原则返回）
• 根据返回的数据节点列表，并发发起获取文件数据请求，对返回数据按切割的块进行完整性效验，最后合并数据成一个文件，保存到本地

写数据流程

• dfs客户端向NameNode发起写文件请求，检查是否有写权限，如果有权限，NameNode根据制定的策略和数据节点的状态情况确定block存储的数据节点列表，然后返回给客户端
• dfs客户端对本地文件按块规则进行切分，每一个数据块上传到指定的数据节点。对数据块进一步切割成更小的块，带上完整性效验码，一块接着一块上传到数据节点。
• 数据节点之间互相拷贝数据，一个小块接着一个小块数据在节点之间传输，收到小块数据后，进行完整性效验，节点之间类似管道一样传输数据
• 当数据传输完成，dfs客户端告知NameNode完成，NameNode落地这次修改的事物日志(通过NameNode上报)，同时更新内存中元数据信息

数据完整性

• 读写文件效验码(crc32)验证
• DataNode启动一个DataBlockScanner线程周期性扫描block是否损坏

启动流程

通过脚本启动集群中所有的节点，整个集群进入安全模式(safe mode)，安全模式下只能读不能写。NameNode读取元数据镜像文件(fsimage)以及合并为合并过的事物日志文件（edit log），然后产生一个最新的fsimage文件并覆盖到本地硬盘，并且清空事物日志文件。NameNode启动完成后，等待DataNode上报块列表信息。综合上报的信息，检查集群是否健康，上报的可用块列表信息中是否达到了最小健康标准百分比（通过一个配置设置，默认是90%），如果未达到，会一直处在安全模式。如果有块数据丢失，从新指示某机器复制副本，以达到副本数的要求。如果配置副本数有更改，则根据要求自动增删副本。当判断集群处于健康状态时，等待30秒左右，集群退出安全模式，进入可服务状态。

分布式文件系统以及权限

• 类似于linux文件系统，也是一个树状结构
• 类似于linux文件系统，只有读写权限
• 启动服务的用户默认属于集群超级用户组，拥有所有的权限
• 上传和创建目录时，文件用户归属和组归属是当前用户和当前用户所在的组
• 删除有回收站模式，防止文件会被误删，删除时会移动到集群/trash目录，超过有效期，会定时删除，此功能默认是关闭的，需要通过配置打开

客户端 - WEB UI

只能查看

默认地址是：http://master:50070

客户端 - Shell

通过 hadoop fs 命令 参数 方式启动

显示帮助信息

[wadeyu@master ~]$ hadoop fs -helphadoop fs is the command to execute fs commands. The full syntax is: hadoop fs [-fs 
    
     ] [-conf 
     
      ]        [-D 
      
       ] [-ls 
       
        ] [-lsr 
        
         ] [-du 
         
          ] [-dus 
          
           ] [-mv 
            
            
             ] [-cp 
              
              
               ] [-rm [-skipTrash] 
               
                ] [-rmr [-skipTrash] 
                
                 ] [-put 
                 
                   ... 
                  
                   ] [-copyFromLocal 
                   
                     ... 
                    
                     ] [-moveFromLocal 
                     
                       ... 
                      
                       ] [-get [-ignoreCrc] [-crc] 
                        
                        
                          [-getmerge 
                          
                          
                            [addnl]] [-cat 
                           
                            ] [-copyToLocal [-ignoreCrc] [-crc] 
                             
                             
                              ] [-moveToLocal 
                               
                               
                                ] [-mkdir 
                                
                                 ] [-report] [-setrep [-R] [-w] 
                                  
                                  
                                   ] [-touchz 
                                   
                                    ] [-test -[ezd] 
                                    
                                     ] [-stat [format] 
                                     
                                      ] [-tail [-f] 
                                      
                                       ] [-text 
                                       
                                        ] [-chmod [-R] 
                                        
                                          PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-chgrp [-R] GROUP PATH...] [-count[-q] 
                                         
                                          ] [-help [cmd]]
                                         
                                        
                                       
                                      
                                     
                                    
                                   
                                  
                                 
                                
                               
                              
                             
                            
                           
                          
                         
                        
                       
                      
                     
                    
                   
                  
                 
                
               
              
             
            
           
          
         
        
       
      
     
    

列出/目录下所有的文件

[wadeyu@master ~]$ hadoop fs -ls /Found 22 items-rw-r--r--   2 root   supergroup     632207 2018-09-03 18:16 /The_Man_of_Property.txt-rw-r--r--   2 root   supergroup        495 2018-09-04 10:54 /a.txt-rw-r--r--   2 root   supergroup        404 2018-09-04 10:54 /b.txt-rw-r--r--   2 root   supergroup       2541 2018-09-04 12:48 /cookie_ip.txt-rw-r--r--   2 root   supergroup   12224421 2018-09-04 12:48 /ip.lib.txtdrwxr-xr-x   - root   supergroup          0 2018-09-03 12:59 /outputdrwxr-xr-x   - root   supergroup          0 2018-09-03 19:29 /output_cachearchive_resultdrwxr-xr-x   - root   supergroup          0 2018-09-03 18:47 /output_cachefile_resultdrwxr-xr-x   - root   supergroup          0 2018-09-04 09:36 /output_compresss_resultdrwxr-xr-x   - root   supergroup          0 2018-09-04 09:44 /output_decompress_catdrwxr-xr-x   - root   supergroup          0 2018-09-04 10:03 /output_decompress_cat2drwxr-xr-x   - root   supergroup          0 2018-09-03 18:48 /output_file_resultdrwxr-xr-x   - root   supergroup          0 2018-09-04 12:49 /output_ip_libdrwxr-xr-x   - root   supergroup          0 2018-09-04 11:41 /output_sort_multi_reducedrwxr-xr-x   - root   supergroup          0 2018-09-04 10:55 /output_sort_one_reduce-rw-r--r--   3 root   supergroup        847 2018-09-01 11:44 /passwddrwxr-xr-x   - root   supergroup          0 2018-09-04 09:13 /test-rw-r--r--   3 root   supergroup          0 2018-09-01 20:03 /test.txtdrwxr-xr-x   - root   supergroup          0 2018-09-04 09:12 /usr-rw-r--r--   2 root   supergroup        165 2018-09-03 19:11 /w.tar.gzdrwxr-xr-x   - wadeyu wadeyu              0 2018-09-04 21:03 /wadeyu-rw-r--r--   2 root   supergroup         24 2018-09-03 18:36 /white_list

显示/a.txt文件内容

[wadeyu@master ~]$ hadoop fs -cat /a.txt | head -11       hadoop# 如果是压缩文件，会解压后再输出[wadeyu@master ~]$ hadoop fs -text /a.txt | head -1   1       hadoop

删除/test.txt文件

[root@master wadeyu]# hadoop fs -rmr -skipTrash /test.txtDeleted hdfs://192.168.1.15:9000/test.txt

参考资料

【0】八斗学院内部hdfs学习资料

【1】HDFS Architecture Guide

http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html