以前公司运维用来自动化服务器lnmp环境的shell脚本,这里没有mysql的，可能是我以前剪切掉了，mysql的看这篇文章吧：https://www.04007.cn/article/143.html整个里面的路径自己去完善一下，因为公司内用的是内网的资源路径，写在这里也没有用。在我的这个小站里搜索也都能搜索到下载路径。自动化部署脚本如下： #!/bin/bash mv/etc/yum.repos.d/CentOS-Base.repo/etc/yum.repos.d/CentOS-Base.repo.bak wget-O/etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/repo/Centos-6.repo...[>>…]

一、lua开发时启动调试模式：lua_code_cacheoff;nginx+lua开发时因为已经加载进内存，修改lua脚本不会起作用，这样不方便调试。nginx配置中将lua_code_cache配置成on/off来控制是否关闭lua的cache缓存，如果设置为off.则每次修改lua脚本都会重新加载新的lua代码，从而实现快速调试响应。同时状态为off时启动或重启nginx都会提示：nginx:[alert]lua_code_cacheisoff;thiswillhurtperformancein/path/to/nginx.conf。因为这会影响nginx性能表现。一般开发调试的时候使用off,线上运行时设置为on。 location/{ lua_code_c...[>>…]

    数据分库分表，数据分片处理是业务数据增长到一定阶段后都会碰到的问题，对于一般的分库分表多是通过自定义的数据分类来达到分片，但在大数据分片上仍然使用自定义数据分片的话非常不利于扩展，这也就是一致性哈希算法的需求初衷。    例如我们业务中会涉及到很多Redis数据存储，开始的时候redis服务器并不多，也就是使用了最简单的方式通过在业务代码里对key进行hash计算再和存储实例个数进行对比进行分别存放，后来业务量加大增加到了60多个redis实例进行数据存储，这...[>>…]

这是一个简单的Twemproxy的配置文件nutcracker.yml内容： #Twemproxy的配置文件nutcracker.yml简化内容如下： [root@123twemproxy]#vimnutcracker.yml localRedis: listen:127.0.0.1:22122 hash:fnv1a_64 hash_tag:"{}" distribution:ketama auto_eject_hosts:false timeout:400 redis:true servers: -127.0.0.1:6379:1server1 -127.0.0.1:6380:1server2 -127.0.0.1:6381:1server3 上面的Twemproxy(redis集群方案)的配置内容参数详解：listen：监听地址和端口（name:port或者ip:port）,也可以用sock文件（/var/run/nu...[>>…]

    redis集群是个常用的需求和应用，在我做的业务中，也同时使用了二十多台REDIS服务器，一些是主从架构，另一些是集群（数据很多，读取）。为什么会分主从架构和集群架构：主从架构：适用于缓存数据量不大，但是读写频率高。集群架构：适用于缓存数据量大（Redis单实例内存一般最多20G左右）    总之主从架构是为了应对大量的读写，集群架构主要是为了将大量数据分片。由于单台redis服务器的内存管理能力有限，单实例内存一般最多20G左右。使用过大内存redis服务器的性能...[>>…]

keepalived配置各参数详细解释： global_defs{ notification_email{ #通知的邮件地址列表 } #通知邮件的相关数据 notification_email_from发送邮箱 smtp_server192.168.200.1 smtp_connect_timeout30 router_idLVS_DEVEL#标识本节点的名称，主从服务器配置要一致 } ##keepalived会定时执行脚本并对脚本执行的结果进行分析,动态调整vrrp_instance的优先级。 ##如果脚本执行结果为0,并且weight配置的值大于0,则优先级相应的增加。如果脚本执行结果非0, ##并且weight配置的值小于0,则优先级相应的减少。其他情况,维持原...[>>…]

    Keepalived是基于vrrp协议的一款高可用软件。它的作用是检测服务器的状态，如果有一台web服务器宕机或故障，Keepalived将检测到并将有故障的服务器从系统中剔除，同时使用备用服务器替换故障服务器保证业务能正常运行。Keepalived的搭建一般使用一主一备两台服务器，两台服务器使用同一个虚IP，通过Keepalived确定哪台服务器使用此VIP（即虚IP发生漂移）从而保障此IP对用的服务器一直能正常运行。一、第一步，给主备服务器添加虚IP（VIP）    VIP是虚拟ip，实际上就是et...[>>…]

    不需要另外再单独安装canal,阿里巴巴有一个包含canal服务端和kafka对接的包：canal.kafka-1.1.0.tar.gz。github主页：https://github.com/alibaba/canal/releases     从v1.0.26alpha4开始释放此包。canal.kafka-1.1.0解压后启动更改配置后直接和kafka相结合，将获取的mysql的bin日志传入kafka消息队列供后续各种使用。Canal服务端与消息队列Kafka以及RocketMQ快速开始QuickStart文档见github:https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickSt...[>>…]

    今天重装mysql后，进行了canal的再次试验，原来用的mysql5.7,今天重装直接换了5.6算了。反正测试服务器的mysql也不常用。canal启动后日志显示examplepreparetofindstartpositionjustshowmasterstatus开始寻找开始点，因为canal的配置中canal.instance.master.position项没有填写，所以这个如果mysql没有数据变化canal会一直停留在这里直到mysql数据库有变化，也即是从启动canal开始认为是数据变化的起始点。 ==>canal/canal.log<== JavaHotSpot(TM)64-BitServerVMwarning:ignoringopti...[>>…]

在mysql的启动过程中遇到的一些问题及解决办法：[Warning]TIMESTAMPwithimplicitDEFAULTvalueisdeprecated.Pleaseuse--explicit_defaults_for_timestampserveroption(seedocumentationformoredetails).此项警告是TIMESTAMP类型字段的一些问题，以前在插入一此事TIMESTAMP字段时，这个字段必须要在sql里显式地显示插入的值，很麻烦。在my.cnf里mysqld中添加：explicit_defaults_for_timestamp=true从而关闭timestamp这些行为，[Note]Plugin'FEDERATED'isdisabled...bin/mysqld:Table'mysql.plugin'doesn'texistmysql.p...[>>…]

    后台里使用的是KindEditor编辑器，网页中也经常使用代码插入，不过我一直用得多的是shell代码插入，因为主要就是一个单独显示以及着色，很少使用其它的选项，但在Kindeditor编辑器里，后台点击插入程序代码后弹出的框里排序是JavaScript第一，导致我每次都要进行下拉选择，如下位置所示图：    偶尔一次也就算了，但用多了就有点烦这个地方了，于是就到官网上去找设置这里的文档：http://kindeditor.net/docs/option.html但是没有什么收获，看来这里就是写死的东西吧，...[>>…]

    canal可以用来监控数据库数据的变化(binlog日志)，从而获得指定数据的变化。canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求时开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。现实业务中非常常用的包括数据库镜像、实时备份、多级索引及cache刷新等。搭建canal的使用需要用到mysql,canal服务端以及client.一：mysql的相关配置修改等处理1，修改mysql配置文件my.cnf添加以下配置： [mysqld] server_id=1 log-bin=...[>>…]