家蛙树

Hyperledger fabric peer数据膨胀解决方案探讨

Zealot
区块链
2019-02-28

1. 问题场景

Fabric peer节点使用文件保存区块, 使用level db或couchdb数据库保存状态, 数据很多state db会膨胀, 我们探讨下一些解决方案。

2. couchdb集群

couchdb2.x支持集群, 分片, 应该能把数据分散到集群的其它节点。先简单过一下如何安装。

2.1 couchdb集群搭建

Fabric用到的couchdb镜像是自己打包的, 1.4对应的是hyperledger/fabric-couchdb:0.4.14, 不过很悲催, 笔者测试官方这个版本是有不少问题的:
(1)开启couchdb持久化, 启动直接报错; 不开启持久化可跳过

    volumes:
      - ./couchdb1/data:/opt/couchdb/data
Could not open file ./data/_users.couch: permission denied

(2)参考couchdb2.2, 2.3官方文档, docker hub couchdb镜像的安装文档, 三个节点可以复制, 但是每个节点的状态是 single_node_enable, 而换成docker hub couchdb镜像则直接成功。笔者已将把问题提交到官方JIRA https://jira.hyperledger.org/browse/FABB-118 不知道会有人跟进不。

搭建代码分享在https://github.com/zealzeng/fabric-couchdb-cluster-demo
docker启动couchdb算简单, 不过参数有点多, 最少需要三个节点, 我们参考docker-compose-couchdb1.yaml

#
# Copyright IBM Corp All Rights Reserved
#
# SPDX-License-Identifier: Apache-2.0
#
version: '2'

networks:
  basic:

services:
  couchdb1:
    container_name: couchdb
    #image: hyperledger/fabric-couchdb:0.4.14
    image: couchdb:2.2.0
    # Populate the COUCHDB_USER and COUCHDB_PASSWORD to set an admin user and password
    # for CouchDB.  This will prevent CouchDB from operating in an "Admin Party" mode.
    environment:
      - COUCHDB_USER=admin
      - COUCHDB_PASSWORD=adminpwd
      - NODENAME=192.168.31.86
      - ERL_FLAGS=-setcookie "brumbrum" -kernel inet_dist_listen_min 9100 -kernel inet_dist_listen_max 9100
      - COUCHDB_SECRET=1234567890
    ports:
      - 5984:5984
      #- 5986:5986
      - 4369:4369
      - 9100:9100
    volumes:
      - ./couchdb1/data:/opt/couchdb/data
    #  - ./couchdb1/etc/local.ini:/opt/couchdb/etc/local.ini
    #  - ./couchdb1/etc/vm.args:/opt/couchdb/etc/vm.args
    #networks:
    #  - basic

必须使用低版本些couchdb:2.2.0, 实际上fabric-couchdb:0.4.14用的是2.2版本的couchdb, 2.3.0已测试过, 无法启动。
NODENAME一般用IP或完整域名, 实际生成的节点唯一名字为couchdb@NODENAME.

ERL_FLAGS实际是couchdb启动参数, 会对应生成一个ini文件, setcookie也是一个通信密钥, 到官方文档查下https://docs.couchdb.org/en/2.2.0/cluster/setup.html?highlight=cluster.

端口5984是一个Couchdb Fauxton工具或http api端口, 要保证fabric peer能采访。
端口5986是内部管理任务的端口, 可不开放。
端口4369是erlang epmd机制的通信端口, 好像是要节点之间相互采访, 通过setcookie保证安全。
端口9100用于集群内节点通信, 说是随机生成, 只能限制端口范围, 不开放集群好像就起不来。

安装步骤

(1)启动三个couchdb节点
192.168.31.86执行step1-start-couchdb1.sh
192.168.31.168执行step1-start-couchdb2.sh
192.168.31.121执行step1-start-couchdb1.sh

(2)选择一个操作节点192.168.31.86
假设ssh登录86, 默认使用127.0.0.1, 也可以使用86采访

curl -X POST -H "Content-Type: application/json" http://admin:adminpwd@127.0.0.1:5984/_cluster_setup -d '{"action": "enable_cluster", "bind_address":"0.0.0.0", "username": "admin", "password":"adminpwd", "port": 5984, "node_count": "3", "remote_node": "192.168.31.168", "remote_current_user": "admin", "remote_current_password": "adminpwd" }'
curl -X POST -H "Content-Type: application/json" http://admin:adminpwd@127.0.0.1:5984/_cluster_setup -d '{"action": "add_node", "host":"192.168.31.168", "port": 5984, "username": "admin", "password":"adminpwd"}'
curl -X POST -H "Content-Type: application/json" http://admin:adminpwd@127.0.0.1:5984/_cluster_setup -d '{"action": "enable_cluster", "bind_address":"0.0.0.0", "username": "admin", "password":"adminpwd", "port": 5984, "node_count": "3", "remote_node": "192.168.31.121", "remote_current_user": "admin", "remote_current_password": "adminpwd" }'
curl -X POST -H "Content-Type: application/json" http://admin:adminpwd@127.0.0.1:5984/_cluster_setup -d '{"action": "add_node", "host":"192.168.31.121", "port": 5984, "username": "admin", "password":"adminpwd"}'
curl -X POST -H "Content-Type: application/json" http://admin:adminpwd@127.0.0.1:5984/_cluster_setup -d '{"action": "finish_cluster"}'

要确保86能够采访168, 121其它两个节点, 防火墙之类要保证通信。
最后验证一下集群安装.

curl http://admin:adminpwd@127.0.0.1:5984/_cluster_setup

返回内容要保证是cluster_finished,如果是single_node_enabled, single_node_disabled多数要重来。
{“state”:”cluster_finished”}

(3)测试下集群
http://192.168.31.86:5984/_utils/
http://192.168.31.168:5984/_utils/
http://192.168.31.121:5984/_utils/

登录fauxton, 在一个节点创建或更新文档或数据, 在其它节点能够看到变化数据就对了。 一个节点停止后, 其它节点应该也能采访。

2.2 peer连接couchdb

参考docker-compose.yaml, 假设启动一个peer节点。

      - CORE_LEDGER_STATE_STATEDATABASE=CouchDB
      #- CORE_LEDGER_STATE_COUCHDBCONFIG_COUCHDBADDRESS=couchdb:5984
      - CORE_LEDGER_STATE_COUCHDBCONFIG_COUCHDBADDRESS=192.168.31.86:5984
      # The CORE_LEDGER_STATE_COUCHDBCONFIG_USERNAME and CORE_LEDGER_STATE_COUCHDBCONFIG_PASSWORD
      # provide the credentials for ledger to connect to CouchDB.  The username and password must
      # match the username and password set for the associated CouchDB.
      - CORE_LEDGER_STATE_COUCHDBCONFIG_USERNAME=admin
      - CORE_LEDGER_STATE_COUCHDBCONFIG_PASSWORD=adminpwd

默认只能接入一个couchdb节点。couchdb貌似是提倡前置一个均衡负载HAPROXY或NGINX。
执行step2-start-fabric.sh就可以启动了。

登录cli可查询下, 也可以到fauxton查询下, 数据都是同步的。
peer chaincode query -C mychannel -n fabcar -c ‘{“Args”:[“queryAllCars”]}’

一些链码更新操作的同步测试这里就跳过了。

2.3 小结

couchdb的集群, 复制, 分片是否默认真的解决我们的问题 这里需要进一步研究下couchdb。但一个原则是如果能保证不是所有数据都放要给couchdb节点就好, 如果单纯只是每个节点都保存所有数据, 每个节点只是复制备份这样就没撒用了。 分片参考下
https://docs.couchdb.org/en/2.2.0/cluster/sharding.html?highlight=shard

3.使用网络存储

每个peer节点对应一个couchdb, couchdb使用网络存储NFS, NAS等扩容, fabric原本也是分布式记账本, 怕一个peer节点挂, 就多建两个peer冗余就好。

现在有不少区块链分片的实现, 闪电网络,侧链,迅雷的同构多链出现,实际上也是各玩各的,没有一个标准,fabric的路还长。

点赞 1
0条评论
其他心得
1. 问题场景 Fabric peer节点使用文件保存区块, 使用level db或couchdb数据库保存状态, 数据很多state db会膨胀, 我们探讨下一些解决方案。 2. couchdb集群 couchdb2.x支持集群, 分片, 应该能把数据分散到集群的其它节点。先简单过一下如何安装。 2.1 couchdb集群搭建 Fabric用到的couchdb镜像是自己打包的, 1.4对应的是hyperledger/fabric-couchdb:0.4.14, 不过很悲催, 笔者
Zealot · 21天前 
1.简介 Fabric 1.4引入operation service即运维服务接口, orderer,peer节点可提供http服务, 方便外部获取节点的运行指标,管理日志级别,健康检查。 2.如何使用运维服务 以fabirc-sample/first-network为例, ./byfn.sh up 2.1 Orderer节点运维服务 启动后连接到orderer容器 docker exec -it -e LINES=$(tput lines) -e COLUMNS=$(tput co
Zealot · 30天前 
1.使用场景 Fabric区块链网络一个channel即一个记账本, 在很多业务场景,一个记账本的数据自身组织可以读写,也可以提供给其它组织只读,部分读或部分写。数据隔离使用channel是粗粒度的,private data私有数据是fabric 1.2引入, 是为了在更细的粒度上控制数据访问。 2.如何使用私有数据? 以fabric-sample/chaincode/marble02_private弹珠游戏为例. (1)文件collections_config.json
Zealot · 31天前 
1.简介 Fabric CA基于开源项目CFSSL开发, 主要为fabric网络提供PKI证书服务,是MSP生成的基础。可能有人会问, 官方不是有cryptogen工具批量生成MSP吗? cryptogen实际是辅助测试工具,默认不同orderer,org都有不同的CA, 如果一个org要追加个peer或user, cryptogen就不管用了。生产环境我们建议使用fabric ca全面管理证书, 如果想简单来而区块链组织,节点和用户基本不会变, cryptogen也没问题。 2.
1.Kafka排序服务原理 官方文档在google doc上, 参考翻译 https://www.jianshu.com/p/db006359133d 2. kafka 排序服务安装 所有的代码已分享在https://github.com/zealzeng/kafka-orderer-demo 2.1 安装环境 官方文档有一些简单的描述 https://hyperledger-fabric.readthedocs.io/en/release-1.4/kafka.h