dremio 集成lakefs

核心还是利用了lakefs 暴露s3 的特性,没多少技术难度,但是基于lakefs 支持git 的特性,我们可以更好的管理数据

环境准备

  • docker-compose
version: '3'
services:
  lakefs:
    image: "treeverse/lakefs:${VERSION:-latest}"
    ports:
      - "8000:8000"
    depends_on:
      - "postgres"
    environment:
      - LAKEFS_AUTH_ENCRYPT_SECRET_KEY=${LAKEFS_AUTH_ENCRYPT_SECRET_KEY:-some random secret string}
      - LAKEFS_DATABASE_CONNECTION_STRING=${LAKEFS_DATABASE_CONNECTION_STRING:-postgres://lakefs:lakefs@postgres/postgres?sslmode=disable}
      - LAKEFS_BLOCKSTORE_TYPE=${LAKEFS_BLOCKSTORE_TYPE:-local}
      - LAKEFS_BLOCKSTORE_LOCAL_PATH=${LAKEFS_BLOCKSTORE_LOCAL_PATH:-/home/lakefs}
      - LAKEFS_GATEWAYS_S3_DOMAIN_NAME=${LAKEFS_GATEWAYS_S3_DOMAIN_NAME:-s3.local.lakefs.io:8000}
      - LAKEFS_BLOCKSTORE_S3_CREDENTIALS_ACCESS_KEY_ID=${AWS_ACCESS_KEY_ID:-}
      - LAKEFS_BLOCKSTORE_S3_CREDENTIALS_ACCESS_SECRET_KEY=${AWS_SECRET_ACCESS_KEY:-}
      - LAKEFS_LOGGING_LEVEL=${LAKEFS_LOGGING_LEVEL:-INFO}
      - LAKEFS_STATS_ENABLED
      - LAKEFS_BLOCKSTORE_S3_ENDPOINT
      - LAKEFS_BLOCKSTORE_S3_FORCE_PATH_STYLE
      - LAKEFS_COMMITTED_LOCAL_CACHE_DIR=${LAKEFS_COMMITTED_LOCAL_CACHE_DIR:-/home/lakefs/.local_tier}
    entrypoint: ["/app/wait-for", "postgres:5432", "--", "/app/lakefs", "run"]
  postgres:
    image: "postgres:${PG_VERSION:-11}"
    command: "-c log_min_messages=FATAL"
    environment:
      POSTGRES_USER: lakefs
      POSTGRES_PASSWORD: lakefs
    logging:
      driver: none
  dremio:
    image: dremio/dremio-oss:20.0.0
    ports:
    - "9047:9047"
    - "31010:31010"

使用

  • 启动
docker-compose up -d 

demo 项目如下

 

 

  • 链接
    因为lakefs 已经暴露了标准的s3 api 我们可以使用minio 以及aws 提供的client 工具
    mc 如下:

 

mc  config host add lakefs  http://127.0.0.1:8000 xxxx xxxxxxxx
mc ls lakefs

dremio 链接,就是添加s3 配置,几个需要关注的配置

fs.s3a.path.style.access  true
fs.s3a.endpoint http://lakefs:8000
fs.s3a.connection.ssl.enabled false
  • 集成效果

lakefs 会暴露项目为一个s3 的bucket,分支为文件夹

 

 

 

 

说明

集成上没有傻难度,但是记基于lakefs 强大版本管理能力,我们可以方便的进行数据版本管理

参考资料

https://docs.lakefs.io/quickstart/installing.html
https://docs.dremio.com/data-sources/s3/
https://github.com/rongfengliang/lakefs-dremio

文章标题:dremio 集成lakefs
文章链接:https://www.dianjilingqu.com/51455.html
本文章来源于网络,版权归原作者所有,如果本站文章侵犯了您的权益,请联系我们删除,联系邮箱:saisai#email.cn,感谢支持理解。
THE END
< <上一篇
下一篇>>