不需要另外再单独安装canal,阿里巴巴有一个包含canal服务端和kafka对接的包：canal.kafka-1.1.0.tar.gz。github主页：https://github.com/alibaba/canal/releases     从v1.0.26alpha4开始释放此包。canal.kafka-1.1.0解压后启动更改配置后直接和kafka相结合，将获取的mysql的bin日志传入kafka消息队列供后续各种使用。Canal服务端与消息队列Kafka以及RocketMQ快速开始QuickStart文档见github:https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickSt...[>>…]

    今天重装mysql后，进行了canal的再次试验，原来用的mysql5.7,今天重装直接换了5.6算了。反正测试服务器的mysql也不常用。canal启动后日志显示examplepreparetofindstartpositionjustshowmasterstatus开始寻找开始点，因为canal的配置中canal.instance.master.position项没有填写，所以这个如果mysql没有数据变化canal会一直停留在这里直到mysql数据库有变化，也即是从启动canal开始认为是数据变化的起始点。 ==>canal/canal.log<== JavaHotSpot(TM)64-BitServerVMwarning:ignoringopti...[>>…]

在mysql的启动过程中遇到的一些问题及解决办法：[Warning]TIMESTAMPwithimplicitDEFAULTvalueisdeprecated.Pleaseuse--explicit_defaults_for_timestampserveroption(seedocumentationformoredetails).此项警告是TIMESTAMP类型字段的一些问题，以前在插入一此事TIMESTAMP字段时，这个字段必须要在sql里显式地显示插入的值，很麻烦。在my.cnf里mysqld中添加：explicit_defaults_for_timestamp=true从而关闭timestamp这些行为，[Note]Plugin'FEDERATED'isdisabled...bin/mysqld:Table'mysql.plugin'doesn'texistmysql.p...[>>…]

    后台里使用的是KindEditor编辑器，网页中也经常使用代码插入，不过我一直用得多的是shell代码插入，因为主要就是一个单独显示以及着色，很少使用其它的选项，但在Kindeditor编辑器里，后台点击插入程序代码后弹出的框里排序是JavaScript第一，导致我每次都要进行下拉选择，如下位置所示图：    偶尔一次也就算了，但用多了就有点烦这个地方了，于是就到官网上去找设置这里的文档：http://kindeditor.net/docs/option.html但是没有什么收获，看来这里就是写死的东西吧，...[>>…]

    canal可以用来监控数据库数据的变化(binlog日志)，从而获得指定数据的变化。canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求时开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。现实业务中非常常用的包括数据库镜像、实时备份、多级索引及cache刷新等。搭建canal的使用需要用到mysql,canal服务端以及client.一：mysql的相关配置修改等处理1，修改mysql配置文件my.cnf添加以下配置： [mysqld] server_id=1 log-bin=...[>>…]

    安装前的基本环境检查和准备，我这里的服务器系统是CentOSrelease6.8(Final)，准备安装Kafka版本：2.0.0，因为kafka需要运行java环境，看了一下我服务器上已经装过了jdk,如果没有安装JDK，直接使用yum安装即可。如下： [root@123download]#java-version javaversion"1.8.0_171" Java(TM)SERuntimeEnvironment(build1.8.0_171-b11) JavaHotSpot(TM)64-BitServerVM(build25.171-b11,mixedmode) Youhavenewmailin/var/spool/mail/root #如果没装过，搜索一下jdk的yum源 [root@123download]#yums...[>>…]

偶尔碰到一个需求，我需要使用awk打印数据，但是只需要打印某列之后的其它列，比如我只要第2列及之后的所有数据，如何实现呢？实际很简单： #将$1置成空，然后打印即可 awk'{$1="";print}'filepath awk'{$1="";print$0}'filepath     这个能成功按我们的想法执行，说明awk命令中$0并不是在拿到原始数据之后进行行处理时的一行内容，而是最后将各$列相互拼接在一起的$0。而在此之前我一直在脑海里认为$0是awk一开始进行行处理时的原始整行内容，并且不会变化。所以这个命令的执行说明我原来的想法...[>>…]

    本站里某天的User-Agent数据如下列表，占用量最大的就是前四项，后面的各项数量都很少可忽略，因网站的程序统计访问用户数和百度统计相差很大，于是我统计了一下nginx日志中User-Agent数据，其中有一项值为“-”，即获取不到用户的User-Agent数据，量也不小排第二，之前未对这个进行处理，于是我从程序里将其也判断为搜索引擎，但是即使进行了这样的操作，发现统计数据和百度统计的数据相比仍然相去甚远，如果从两者统计结果来看，排第一的这个User-Agent数据：Mozilla/5.0(Linux;Android6.0...[>>…]

    今天在写一个shell脚本的时候需要发送html格式邮件最佳，在linux命令下使用mail命令可以轻松实现发送html格式邮件，只在邮件头部指定内容格式即可，格式如下： [online@USERngx]$mail-s"$(echo-e"主题nContent-Type:text/html;charset=utf-8")"收件人<内容来源 [online@USERngx]$echo内容mail-s"$(echo-e"主题nContent-Type:text/html;charset=utf-8")"收件人   看上面的代码，真的很精巧，以前使用echo的时候还总觉得echo-e没什么用处，但这个地方精巧地使用echo-e，使得subje...[>>…]

    以前有时间的时候就会去把服务器上的日志进行统计一下，以分析出请求的数据，特别是当前产品的APP用户活跃数，因为有多台服务器，有时在执行的时候还需要等待，特别是亿级的日志同步的时候比较慢，在执行的时候也是，所以今天把这些东西整合到了一起做成了一个shell,定时早上执行，整个定时任务相关的东西如下： #定时任务启动的地方 [online@USERwww]$sudocat/var/spool/cron/rsync 157***/bin/bash/home/rsync/logsys.sh [online@USERwww]$sudols-l/home/rsync/ -rwxr-xr-x1rsyncrsync1860...[>>…]

  小问题，在此记录一下，有时在shell下执行命令重定向到文件时提示无权限-bash:temp_20181015.log:Permissiondenied，而且加sudo执行依提示无权限，示例如下： [online@USERngx]$sudohead-n100000access_20181015.log>>temp_20181015.log -bash:temp_20181015.log:Permissiondenied [online@USERngx]$touchtemp_20181015.log [online@USERngx]$sudohead-n100000access_20181015.log>>temp_20181015.log -bash:temp_20181015.log:Permissiondenied [online@USERngx]$lltemp_20181015.log -rw-r...[>>…]

    开发中有些业务可能需要要取地图位置上的经纬度数据，结合我使用过的场景，大概常用的有以下三种方式吧。1，如果只是拿到手头上用可以使用百度地图工具网页：http://api.map.baidu.com/lbsapi/getpoint/index.html点击提取经纬度数据，非常方便好用。2，如果是要嵌入到自己的网页中在页面中点击获取地图数据，可以参考百度地图的开发文档：鼠标点击拾取坐标 http://lbsyun.baidu.com/jsdemo.htm#f0_3非常简单易用。如链接页面中的示例，代码也很简单,就不复制过来了。3，自己在程序里面...[>>…]