ClickHouse批量执行sql语句及超长语句：#命令行创建数据库clickhouse-client--query"CREATEDATABASEIFNOTEXISTStutorial"#也可以登录之后执行执行CREATEDATABASEIFNOTEXISTStutorial    把创建表的语句写到一个文件中，从https://clickhouse.tech/docs/zh/getting-started/tutorial/复制到vim文件时，添加setpaste可以避免格式混乱。例如写入到了文件create_table_sql.sql中。然后可以通过--queries-file执行越长SQL语句。#执行创建表的语句clickhouse-client--userdefa...[>>…]

    在Python程序中遇到了一个报错raiseerr.InterfaceError(0,""),pymysql.err.InterfaceError:(0,'')详细报错内容如下。 File"/usr/local/lib/python3.8/site-packages/pymysql/connections.py",line479,inrollback self._execute_command(COMMAND.COM_QUERY,"ROLLBACK") File"/usr/local/lib/python3.8/site-packages/pymysql/connections.py",line793,in_execute_command raiseerr.InterfaceError(0,"") pymysql.err.InterfaceError:(0,'')     从报错的提示来看是MYSQL...[>>…]

    程序调试的时候有时需要看看当前程序的进程和线程ID，可以使用如下的方法。 #引入OS和psutil库 importos importpsutil importthreading #取得python进程数据 pid=os.getpid() p=psutil.Process(pid) print('PID:%d'%pid) print('PNAME:%s'%p.name()) print(p.__dict__) #取得线程ID数据 t=threading.currentThread() print("TID:%d"%t.ident) print("TID:%d"%t.name) print("TNAME:%S"%t.getName()) print(t.__dict__) #print(p)打印出来的结果 psutil.Process(pid=14572,name='python.ex...[>>…]

    ClickHouse是什么？ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。由Yandex公司从一个自身开发的专门用于聚合数据的系统Metrage发展而来。clickHouse以卓越的查询性能著称，目前在大数据的存储和分析领域有广泛应用。ClickHouse不单是一个数据库，它是一个数据库管理系统。因为它允许在运行时创建表和数据库、加载数据和运行查询，而无需重新配置或重启服务。列式数据库是以列相关存储架构进行数据存储的数据库，主要适合于批量数据处理和即时查询。列式数据库把一列中的...[>>…]

MinIO中Bucket被视为挂载目录，而不是磁盘目录。MinIO的迁移不能直接拷贝磁盘原始文件来实现，需要使用mc工具连接到两个MinIO实体，使用命令来完成操作。1.部署好mc工具好，用相同的命令添加要迁移的源地址和目标地址。mcconfighostadd$hostName$Address"$accessKey""$accessSecret"部署好mc后可以通过mclsminio实体来获取各个minio里的Bucket列表信息，来检测minio连通是否正常。mclsminio实体使用du命令获取minio里的数据大小，minio看已经有存储内容时会在最后一行显示当前minio文件总大小。mcduminio实体2.minio...[>>…]

    PyMySQL是Python3.x版里用于连接处理MySQL业务的库，在之前的Python2版本中是使用mysqldb，使用时引入类库后直接执行connect方法，其中要注意的两个选项,设置connect_timeout控制连接时间，设置cursorclass=pymysql.cursors.DictCursor从而使mysql返回的结果中包含字段，如果不设置执行完毕返回的结果集默认以元组形式。如下示例： #导入pymysql连接database importpymysql con=pymysql.connect( host="", user="", password="", database="", port="", cursorclass=pymysql.cursors.Dic...[>>…]

    业务程序中少不了需要使用大屏来展示统计的数据，推荐一个好用的Vue3数据大屏模板vue-datav-chart。vue-datav-chart是基于vue3.x+echarts+antv构建的数据可视化大屏展示模板，包含各种动态图表、地图展示等功能。用起来方便简单。演示地址：http://upholdjx.gitee.io/vue-datav-chart/#项目gitee地址：https://gitee.com/solovejack/big-screen-vue-datav使用方法：1.克隆项目gitclonehttps://gitee.com/upholdjx/vue-datav-chart.git#2.进入目录cdvue-datav-chart3.安装依赖npminstall4.本...[>>…]

    MYSQL账号密码写在vim/etc/mysql/my.cnf文件中，直接mysqldump导出数据库不需要账号密码，完整shell如下。对导出的sql日志文件进行了压缩，并删除原文件，以节省空间。完整shell如下： !/bin/bash dbname='test' backtime=`date+%Y-%m-%d_%H%M%S` ym=`date+%Y-%m` rootpath='/opt/mysql/backup' datapath=${rootpath}/${ym} logfile=${rootpath}/backup.log if[!-x"$datapath"];then mkdir-p$datapath fi /usr/bin/mysqldump-h127.0.0.1$dbname--no-tablespaces--single-transaction>${d...[>>…]

    使用mysqldump对mysql进行数据库备份的时候可能遇到Usingapasswordonthecommandlineinterfacecanbeinsecure，问题原因是从mysql5.6版本不再建议将密码写在命令行中，而是使用文件，报错详情如下：mysqldump:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.mysqldump:Error:'Accessdenied;youneed(atleastoneof)thePROCESSprivilege(s)forthisoperation'whentryingtodumptablespaces    之前有篇文章涉及此：http://www.04007.cn/article/722.html解决...[>>…]

    Ubuntu下ClickHouse的安装使用比较简单，跟着ClickHouse的官网安装方法操作即可，地址：https://clickhouse.tech/#quick-start #执行如下命令 apt-getinstall-yapt-transport-httpsca-certificatesdirmngr apt-keyadv--keyserverhkp://keyserver.ubuntu.com:80--recvE0C56BD4 echo"debhttps://repo.clickhouse.tech/deb/stable/main/"tee/etc/apt/sources.list.d/clickhouse.list apt-getupdate apt-getinstall-yclickhouse-serverclickhouse-client #在执行安装的时候会提示输入默认密码 C...[>>…]