对于分布式集群MinIo，一个有N块硬盘的分布式Minio,只要有N/2硬盘在线，数据就是安全可读的。但需要至少有N/2+1个硬盘在线，才能创建新的对象。部署分布式MinIO集群，需要注意1、分布式MinIO所有节点需要相同的MINIO_ROOT_USER和MINIO_ROOT_PASSWORD两个参数，保证可相互连接。2、MinIO分布式模式需要新的目录。建议单独挂载磁盘创建数据目录。3、建议所有运行分布式MinIO设置的节点都是同构的，即相同的操作系统、相同的硬盘数量和相同的网络互连。4、运行分布式MinIO实例的服务器应都启动...[>>…]

    minio的最新版2023-02-27T18-10-45Z有些较大的变化，老版本的minio只需要一个端口9000即可。可以另外指定自带的管理后台的地址，但也可以使用默认的9000。但新版的minio将minioconsole管理后台融入了进来。必须另外指定一个不同的端口，不然会报错：    ERRORUnabletostarttheserver:--console-addresscannotbesameas--address    MinIOConsole是一个Minio的图形化界面工具，这篇文章中有相关的介绍：http://www.04007.cn/article/1161.html，比原...[>>…]

    Minio是一个很好用的对象存储系统，操作简单，性能优良可伸缩，但在使用Minio时我们避免不了要进行用户管理、权限管理，而这时需要使用一个mc的命令行工作，虽然这个工作也好用，但对于Human来说，最好用的东西就是图形化界面。而MinIOConsole就是一个以最小的运营开销支持云规模部署而构建的Minio图形化界面工具，使管理员和用户能够将多租户对象存储作为一种服务，直观地检查系统的运行状况，执行关键审核任务并简化与其他组件集成（通过Webhooks和API）。 root@server:/opt/dockerrun-d-p...[>>…]

    SentenceTransformers是一个可以用于句子、文本和图像嵌入的Python库。可以为100多种语言计算文本的嵌入并且可以轻松地将它们用于语义文本相似性、语义搜索和同义词挖掘等常见任务。按照官方的文档最近在搭建Milvus的搜索。参考官方文档地址如下：https://github.com/milvus-io/bootcamp/tree/master/solutions/text_search_engine/quick_deploy     按照上面的方法使用docker搭建起了一个搜索内容，并且通过导入测试文件text.csv以及example.csv文件可以进行NLP检...[>>…]

1.Python中使用pandasread_csv方法中文乱码问题UnicodeDecodeError:'utf-8'codeccan'tdecodebyte0xd6inposition12:invalidcontinuationbyte修改读取的csv文件编码，需要保证csv文件编码和读取编码一致。在/app/src/operations/目录下的load.py中的第13行读取csv文件添加编码设置。data=pd.read_csv(file_dir,encoding='utf8')2.bootcamp执行插入Mysql时失败了Incorrectstringvalue:python代码报如下异常: raiseerrorclass(errno,errval) 　　pymysql.err.InternalError:(1366,"Incorrectstringvalue:''\xEF\xBF\xBD\x...[>>…]

    Milvus是一款开源的、针对海量特征向量的相似性搜索引擎。基于异构众核计算框架设计，成本更低，性能更好。在有限的计算资源下，十亿向量搜索仅毫秒响应。Milvus是专为AI而生的数据库。Milvus具有以下特点和优势：向量数据库：它是一个向量数据库，更加工业级可用。海量数据快速检索：万亿条向量数据搜索的平均延迟以毫秒级别，速度不比Facebook的Faiss差。稳定可靠：具有故障转移和故障恢复机制。高可用可拓展：读写分离、实时离线分离，提供单机和分布式版本。索引支持：集成了Faiss、NMSL...[>>…]

    在docker下安装Milvus2.0的步骤并不多，官方文档地址：https://milvus.io/docs/v2.0.x/install_standalone-docker.md先下载docker-compose.yml文件，然后设置DOCKER_VOLUME_DIRECTORY的值执行docker-compose安装即可。但在执行下载镜像的时候太慢了。 root@testMC:~/#wgethttps://raw.githubusercontent.com/milvus-io/milvus/master/deployments/docker/standalone/docker-compose.yml-Odocker-compose.yml root@testMC:~/#DOCKER_VOLUME_DIRECTORY=/disk root@testMC:~/#docker-composeup-...[>>…]

    之前也有相关的文章有过记录，最近有过几次增加新桶然后对桶添加访问权限控制的操作，进行了一些整理，作个记录。1.列出所有的桶并添加对应的bucket桶mclslocal #列出所有桶mcmblocal/test-bucket #添加对应桶mclslocal #查看添加后的桶是否在列表中2.修改已有的策略文件，将新加的桶名加入cd/root/.mcvimtest.json#修改Resource中添加对应的bucket#"arn:aws:s3:::test-bucket/*",3.更新原已有的策略mcadminpolicyaddlocaltesttest.json4.对新加的桶设置永久下载权限mcpolicy...[>>…]

MinIO中Bucket被视为挂载目录，而不是磁盘目录。MinIO的迁移不能直接拷贝磁盘原始文件来实现，需要使用mc工具连接到两个MinIO实体，使用命令来完成操作。1.部署好mc工具好，用相同的命令添加要迁移的源地址和目标地址。mcconfighostadd$hostName$Address"$accessKey""$accessSecret"部署好mc后可以通过mclsminio实体来获取各个minio里的Bucket列表信息，来检测minio连通是否正常。mclsminio实体使用du命令获取minio里的数据大小，minio看已经有存储内容时会在最后一行显示当前minio文件总大小。mcduminio实体2.minio...[>>…]

    Ubuntu下ClickHouse的安装使用比较简单，跟着ClickHouse的官网安装方法操作即可，地址：https://clickhouse.tech/#quick-start #执行如下命令 apt-getinstall-yapt-transport-httpsca-certificatesdirmngr apt-keyadv--keyserverhkp://keyserver.ubuntu.com:80--recvE0C56BD4 echo"debhttps://repo.clickhouse.tech/deb/stable/main/"tee/etc/apt/sources.list.d/clickhouse.list apt-getupdate apt-getinstall-yclickhouse-serverclickhouse-client #在执行安装的时候会提示输入默认密码 C...[>>…]