dremio的分布式存储简单说明

本文主要是介绍dremio的分布式存储简单说明，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

dremio 的pdfs 在系统中是一个比较重要的东西，dremio 的加速，上传，下载，查询结果，scratch 空间都是存储在这个里边的，没有配置的话，默认是在
paths.local 中, 同时官方支持多种文件存储（nas，hdfs，mapr-fs，s3，azure data lake，azure storage）而且dremio 基于s3 以及hdfs 也扩展了自己的hdfs 文件系统，扩展格式dremioS3，同时还基于dremio的fabric rpc 服务开发了pdfs文件系统,而且目前来说官方默认的就是此文件系统的配置

分布式存储配置说明

支持的配置模式不少，nas，hdfs，s3 ,pdfs。。。。s3 是一个不错的选择，可以实现多节点加速以及下载数据的共享，而且管理简单

pdfs 说明

pdfs 是基于fabric rpc 框架开发的，可以在远端查询本地文件系统的元数据，但是只能低于本地文件系统进行打开以及写入操作
参考格式

 

/

├── <dir1>

│   ├── <address1>@<file1>

│   ├── <address2>@<file1>

│   └── <address1>@<file2>

├── <dir2>

如果部署过集群多exectutor 就会看到如果我们的反射数据使用了默认的pdfs 机制，当我们在进行系统升级的时候，以前的反射会不能使用，而且会有
莫名奇妙的异常

源码简单说明

dremio 有一套自己的service 生命周期接口定义

 

public interface Service extends AutoCloseable {

  void start() throws Exception;

}

dfs 的service 使用了guice 管理
plugins/pdfs/src/main/java/com/dremio/exec/store/dfs/PDFSService.java
构造函数如下

 

public PDFSService(

      Provider<FabricService> fabricService,

      Provider<NodeEndpoint> identityProvider,

      Provider<Iterable<NodeEndpoint>> nodeProvider,

      Tracer tracer,

      SabotConfig config,

      BufferAllocator allocator,

      PDFSMode mode) 

以上服务是通过guice 注入的，比较有意思的是nodeProvider，处理如下(dremio 的service 都是在dac 模块注入启动的)
dac/backend/src/main/java/com/dremio/dac/daemon/DACDaemonModule.java

 

// PDFS depends on fabric.

registry.bind(PDFSService.class, new PDFSService(

    registry.provider(FabricService.class),

    selfEndpoint,

    isCoordinator ? executorsProvider : () -> Collections.singleton(selfEndpoint.get()), // 如果是Coordinator，使用执行器节点，否则使用当前的

    bootstrapRegistry.lookup(Tracer.class),

    sabotConfig,

    bootstrap.getAllocator(),

    isExecutor ? PDFSMode.DATA : PDFSMode.CLIENT

    ));

PseudoDistributedFileSystem 扩展自 hadoop 的FileSystem
plugins/pdfs/src/main/java/com/dremio/exec/store/dfs/PseudoDistributedFileSystem.java
PseudoDistributedFileSystem 判断了访问的是本地文件系统还是远端的，
本地文件系统初始化的时候使用了PDFSLocalFileSystem
plugins/pdfs/src/main/java/com/dremio/exec/store/dfs/PDFSLocalFileSystem.java

 

static FileSystem newLocalFileSystem(Configuration conf, boolean isLocalAccessAllowed) throws IOException {

  // we'll grab our own local file system so append is supported (rather than the checksum local file system).

  final FileSystem localFS = isLocalAccessAllowed ? new PDFSLocalFileSystem() : new NoopFileSystem();

  localFS.initialize(localFS.getUri(), conf);

  return localFS;

}

远端使用了RemoteNodeFileSystem
plugins/pdfs/src/main/java/com/dremio/exec/store/dfs/RemoteNodeFileSystem.java

 

@VisibleForTesting

FileSystem newRemoteFileSystem(final NodeEndpoint endpoint) throws IOException {

  final FabricCommandRunner runner = runnerFactory.getCommandRunner(endpoint.getAddress(), endpoint.getFabricPort());

  RemoteNodeFileSystem rdfs = new RemoteNodeFileSystem(runner, allocator);

  rdfs.initialize(URI.create(format("sabot://%s:%d", endpoint.getAddress(), endpoint.getFabricPort())), getConf());

  return rdfs;

}

使用rpc 进行文件处理

minio 做为dfs 的配置

• 参考配置

paths: {

  ...

  dist: "dremioS3:///<bucket_name>/<folder1>/<folder2>"

} 

core-site.xml (与dremio.conf 同一个目录，而且需要copy 所有节点)

<?xml version="1.0"?>

<configuration>

<property>

    <name>fs.dremioS3.impl</name>

    <description>The FileSystem implementation. Must be set to com.dremio.plugins.s3.store.S3FileSystem</description>

    <value>com.dremio.plugins.s3.store.S3FileSystem</value>

</property>

<property>

    <name>fs.s3a.access.key</name>

    <description>Minio server access key ID.</description>

    <value>ACCESS_KEY</value>

</property>

<property>

    <name>fs.s3a.secret.key</name>

    <description>Minio server secret key.</description>

    <value>SECRET_KEY</value>

</property>

<property>

    <name>fs.s3a.aws.credentials.provider</name>

    <description>The credential provider type.</description>

    <value>org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider</value>

</property>

<property>

    <name>fs.s3a.endpoint</name>

    <description>Endpoint can either be an IP or a hostname, where Minio server is running . However the endpoint value cannot contain the http(s) prefix. E.g. 175.1.2.3:9000 is a valid endpoint. </description>

    <value>ENDPOINT</value>

</property>

<property>

    <name>fs.s3a.path.style.access</name>

    <description>Value has to be set to true.</description>

    <value>true</value>

</property>

<property>

    <name>dremio.s3.compat</name>

    <description>Value has to be set to true.</description>

    <value>true</value>

</property>

<property>

    <name>fs.s3a.connection.ssl.enabled</name>

    <description>Value can either be true or false, set to true to use SSL with a secure Minio server.</description>

    <value>SSL_ENABLED</value>

</property>

</configuration>

注意默认使用了buf 在 /tmp/hadoop-dremio/s3a，如果空间不够，需要调整目录，调整以下配置

fs.s3a.buffer.dir

说明

dremio内部自己开发文件系统扩展是不少的，比如元数据存储扩展，加速存储扩展，home 存储扩展，s3 存储扩展，nas 存储扩展
同时如果大家看了dremio的数据目录（worker节点）会看到一个cm的目录，此目录是进行数据缓存的，同时在dremio的系统表sys,cache 中可以看到相关
性能参数

参考资料

https://docs.dremio.com/advanced-administration/dremio-conf/
https://docs.dremio.com/deployment/dist-store-config/
sabot/kernel/src/main/java/com/dremio/exec/store/dfs/FileSystemPlugin.java

这篇关于dremio的分布式存储简单说明的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！