今天在执行更新房产小站http://house.04007.cn/数据时发现报错：ImportError:libmysqlclient_r.so.16:cannotopensharedobjectfile:Nosuchfileordirectory,也都是上上次中毒导致的，上次中毒导致了几个网站的数据抓取都出现了问题，漏了好多天的数据。报错过程如下： [root@04007curl-7.56.1]#python/pythonroot/getHouse.py Traceback(mostrecentcalllast): File"/home/pythonroot/getHouse.py",line2,in<module> importMySQLdb File"/usr/local/python27/lib/python2.7/site-packages...[>>…]

    服务器之前各shell脚本以及curl等东西运行的好好的，但这次中毒之后变得奇怪了，各种报错，执行curl,wget都提示命令不存在，wget方面我使用yum安装后又能正常。但yuminstallcurl安装也提示成功，但是安装成功后仍然是curl就是不行，通过下载一个版本的curl安装包编译安装成功，能查看Version,但就是执行curl时报错;curl:(2)Failedinitialization [root@04007~]#curl -bash:curl:commandnotfound #后通过wget下载安装包安装后，能查看到版本信息，但是curl报错curl:(2)Failedinitialization w...[>>…]

    最近阿里云服务器给我发报警短信，提示服务器：进程异常行为-可疑Host访问行为，但因为只是一个自己玩玩的服务器，有时一尽快也没当回事，试着访问了服务器还都正常，后来甚至有报警：恶意进程（云查杀）-挖矿程序，这有一天有空就上来看看，一看问题大了，整个服务器的定时任务被改写了，成了乱码，检查一下其它的东西到还正常，不过打开网站发现突然很慢了，不错，是中毒了，门罗币（XMR）挖矿程序。报警截图如下：登录服务器后，首先我查看了一下服务器各个文件夹近几天改过的文件，一看...[>>…]

    以前公司运维用来自动化服务器lnmp环境的shell脚本,这里没有mysql的，可能是我以前剪切掉了，mysql的看这篇文章吧：https://www.04007.cn/article/143.html整个里面的路径自己去完善一下，因为公司内用的是内网的资源路径，写在这里也没有用。在我的这个小站里搜索也都能搜索到下载路径。自动化部署脚本如下： #!/bin/bash mv/etc/yum.repos.d/CentOS-Base.repo/etc/yum.repos.d/CentOS-Base.repo.bak wget-O/etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/repo/Centos-6.repo...[>>…]

一、lua开发时启动调试模式：lua_code_cacheoff;nginx+lua开发时因为已经加载进内存，修改lua脚本不会起作用，这样不方便调试。nginx配置中将lua_code_cache配置成on/off来控制是否关闭lua的cache缓存，如果设置为off.则每次修改lua脚本都会重新加载新的lua代码，从而实现快速调试响应。同时状态为off时启动或重启nginx都会提示：nginx:[alert]lua_code_cacheisoff;thiswillhurtperformancein/path/to/nginx.conf。因为这会影响nginx性能表现。一般开发调试的时候使用off,线上运行时设置为on。 location/{ lua_code_c...[>>…]

    数据分库分表，数据分片处理是业务数据增长到一定阶段后都会碰到的问题，对于一般的分库分表多是通过自定义的数据分类来达到分片，但在大数据分片上仍然使用自定义数据分片的话非常不利于扩展，这也就是一致性哈希算法的需求初衷。    例如我们业务中会涉及到很多Redis数据存储，开始的时候redis服务器并不多，也就是使用了最简单的方式通过在业务代码里对key进行hash计算再和存储实例个数进行对比进行分别存放，后来业务量加大增加到了60多个redis实例进行数据存储，这...[>>…]

这是一个简单的Twemproxy的配置文件nutcracker.yml内容： #Twemproxy的配置文件nutcracker.yml简化内容如下： [root@123twemproxy]#vimnutcracker.yml localRedis: listen:127.0.0.1:22122 hash:fnv1a_64 hash_tag:"{}" distribution:ketama auto_eject_hosts:false timeout:400 redis:true servers: -127.0.0.1:6379:1server1 -127.0.0.1:6380:1server2 -127.0.0.1:6381:1server3 上面的Twemproxy(redis集群方案)的配置内容参数详解：listen：监听地址和端口（name:port或者ip:port）,也可以用sock文件（/var/run/nu...[>>…]

    redis集群是个常用的需求和应用，在我做的业务中，也同时使用了二十多台REDIS服务器，一些是主从架构，另一些是集群（数据很多，读取）。为什么会分主从架构和集群架构：主从架构：适用于缓存数据量不大，但是读写频率高。集群架构：适用于缓存数据量大（Redis单实例内存一般最多20G左右）    总之主从架构是为了应对大量的读写，集群架构主要是为了将大量数据分片。由于单台redis服务器的内存管理能力有限，单实例内存一般最多20G左右。使用过大内存redis服务器的性能...[>>…]

keepalived配置各参数详细解释： global_defs{ notification_email{ #通知的邮件地址列表 } #通知邮件的相关数据 notification_email_from发送邮箱 smtp_server192.168.200.1 smtp_connect_timeout30 router_idLVS_DEVEL#标识本节点的名称，主从服务器配置要一致 } ##keepalived会定时执行脚本并对脚本执行的结果进行分析,动态调整vrrp_instance的优先级。 ##如果脚本执行结果为0,并且weight配置的值大于0,则优先级相应的增加。如果脚本执行结果非0, ##并且weight配置的值小于0,则优先级相应的减少。其他情况,维持原...[>>…]

    Keepalived是基于vrrp协议的一款高可用软件。它的作用是检测服务器的状态，如果有一台web服务器宕机或故障，Keepalived将检测到并将有故障的服务器从系统中剔除，同时使用备用服务器替换故障服务器保证业务能正常运行。Keepalived的搭建一般使用一主一备两台服务器，两台服务器使用同一个虚IP，通过Keepalived确定哪台服务器使用此VIP（即虚IP发生漂移）从而保障此IP对用的服务器一直能正常运行。一、第一步，给主备服务器添加虚IP（VIP）    VIP是虚拟ip，实际上就是et...[>>…]

    不需要另外再单独安装canal,阿里巴巴有一个包含canal服务端和kafka对接的包：canal.kafka-1.1.0.tar.gz。github主页：https://github.com/alibaba/canal/releases     从v1.0.26alpha4开始释放此包。canal.kafka-1.1.0解压后启动更改配置后直接和kafka相结合，将获取的mysql的bin日志传入kafka消息队列供后续各种使用。Canal服务端与消息队列Kafka以及RocketMQ快速开始QuickStart文档见github:https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickSt...[>>…]

    今天重装mysql后，进行了canal的再次试验，原来用的mysql5.7,今天重装直接换了5.6算了。反正测试服务器的mysql也不常用。canal启动后日志显示examplepreparetofindstartpositionjustshowmasterstatus开始寻找开始点，因为canal的配置中canal.instance.master.position项没有填写，所以这个如果mysql没有数据变化canal会一直停留在这里直到mysql数据库有变化，也即是从启动canal开始认为是数据变化的起始点。 ==>canal/canal.log<== JavaHotSpot(TM)64-BitServerVMwarning:ignoringopti...[>>…]