MySQL 的隐式类型转换问题

隐式类型转换存在两个巨大的风险:

  1. 类型转换无法命中索引的风险,在高并发、大数据量的情况下,命不中索引带来的后果非常严重。将数据库拖死,继而整个系统崩溃,对于大规模系统损失惨重。
  2. 类型转换导致查询条件改变,造成安全问题。
    例如这个安全问题:假如 password 类型为字符串,查询条件为 int 0 则会匹配上。
    mysql_transform.jpg

MySQL的隐式类型转换原则如下:

  • 两个参数至少有一个是 NULL 时,比较的结果也是 NULL,例外是使用 <=> 对两个 NULL 做比较时会返回 1,这两种情况都不需要做类型转换
  • 两个参数都是字符串,会按照字符串来比较,不做类型转换
  • 两个参数都是整数,按照整数来比较,不做类型转换
  • 十六进制的值和非数字做比较时,会被当做二进制串,和数字做比较时会按下面的规则处理
  • 有一个参数是 TIMESTAMP 或 DATETIME,并且另外一个参数是常量,常量会被转换为 timestamp
  • 有一个参数是 decimal 类型,如果另外一个参数是 decimal 或者整数,会将整数转换为 decimal 后进行比较,如果另外一个参数是浮点数,则会把 decimal 转换为浮点数进行比较
  • 所有其他情况下,两个参数都会被转换为浮点数再进行比较

由于 MySQL 隐式类型转换规则比较复杂,依赖 MySQL 隐式转换很容易出现各种想想不到的问题,而且 MySQL 隐式类型转换本身也是非常耗费 MySQL 服务器性能的,所以建议代码做严格的类型查询。

Redis协议笔记

redis协议相当简单好理解。

redis协议支持类型:

  • 正确 Simple Strings
  • 错误 Errors
  • 整数 Integers
  • 字符块 Bulk Strings
  • 数组 Arrays

Simple Strings(+)
Simple Strings的呈现以+开始,以\r\n结尾,一个只含有'OK'的表示为+OK\r\n。所以简单的字符串不能包含连续的\r\n字符。

Errors(-)
Errors 的呈现以-开始,以\r\n结尾,一条表示Error message错误信息的字符为-Error message\r\n

Integers(:)
Integers 的呈现以:开始,以\r\n结尾,比如:1000\r\n表示数字1000

Bulk Strings($)
Bulk Strings 数据头同时表示下一行数据长度,不包括换行符长度\r\n,$后面则是对应的长度的数据。它还有一个特殊用途,用长度为-1的空字符表示NUll值

Arrays(*)
Arrays 头以 * 开始,后边接一个Integer类型,表示消息体总共有多少行,不包括当前行,*后面是具体的行数,也就是数组长度,之后接着各自的数据类型。

发送方式

客户端将命令用块字符的方式发送给服务端,比如:

SET xyz abcde
*3\r\n
$3\r\n
SET\r\n
$3\r\n
xyz\r\n
$5\r\n
abcde\r\n

成功或者失败:

+OK\r\n
-错误信息\r\n

如果是内建的命令操作,可以直接发送命令给服务器。比如PING, EXISTS mykey等.使用telnet 127.0.0.1 6379连上默认的redis server, 敲入PING就可以返回结果+PONG

c#实现一个简单浏览器 和 dns查询软件

初中的时候看别人开发的软件很有意思,非常想学,但苦于c的难度,最后转学web来提升成就感,而且一做就这么多年,这两年因为想做游戏的原因又开始由php往底层学c c++ c# java,虽然软件跟互联网或者游戏相比被看做夕阳产业,但能实现小时候的梦想也挺有意思的,刚入门的小东西大家随便看看哈。

dns查询软件,dns协议分析并实现
源码:https://github.com/forthxu/mydns
下载程序:https://github.com/forthxu/mydns/blob/master/exe.rar?raw=true
设计和实施 DNS 服务器和客户端服务时可能用到的RFC相关规范:
RFC
标题
1034
域名 - 概念和工具
1035
域名 - 实现和规范
1123
Internet 主机 - 应用和支持的要求
1886
支持 IP 版本 6 的 DNS 扩展名
1995
DNS 中的增量区域传输
1996
提示通知区域更改的机制 (DNS NOTIFY)
2136
域名系统中的动态更新 (DNS UPDATE)
2181
对 DNS 规范的说明
2308
DNS 查询的负缓存 (DNS NCACHE)
2535
域名系统安全扩展 (DNSSEC)
2671
DNS 的扩展机制 (EDNS0)
2782
指定服务位置的 DNS RR (DNS SRV)
2930
DNS 的密钥建立 (TKEY RR)
3645
DNS (GSS-TSIG) 密钥事务身分验证的通用安全服务算法
3646
IPv6 (DHCPv6) 动态主机配置协议的 DNS 配置选项

浏览器,简单的调用控件
源码:https://github.com/forthxu/forthxu_browser
下载程序:https://github.com/forthxu/forthxu_browser/blob/master/exe/Forthxu_browser.exe?raw=true

手游上线流程

手游上线非常麻烦,有客户端,需要跟渠道紧密沟通,下面是我之前总结的产品上线流程,并不适用所有团队,仅供参考。

上线前一个月

运营工作

  • 游戏信息确定
    • 确定游戏名字
    • icon做多个版本进行测试
    • 截图准备做多个版本进行测试
  • 法律流程
    • 申请软件著作权
    • 申请软件产品登记
    • 美术相关申请美术作品版权登记
  • 游戏官网(适应移动端浏览)
  • 游戏视频制作开始筹备
  • 游戏资料整理(初版)
  • 第三方账号申请
    • 百度贴吧申请
    • 微信账号申请
    • 微博账号申请
    • QQ空间账号申请
  • 提交运营通用需求(详情在另外一个文档)
  • 后台功能需求
    • 领取活动
    • 兑换活动
    • 充值,消费活动
    • 转盘活动
    • 公告
    • 邮件
    • 配置商城
    • buff类活动(经验加成,掉率加成)
    • 特殊掉落活动
  • 游戏设计验证
    • 不同系统投入产出比
    • 扭蛋概率
    • 宝箱概率
  • 第三方SDK接入
    • talkingdata数据统计后台
    • 广告效果跟踪campaign
    • 广告SDK
    • 事件添加

市场工作

  • 推广计划制定
  • 新闻素材整理
  • 早期产品曝光

上线前1周

运营工作

  • 确定icon
    • 尺寸:1024、512、120、114、90、72、48、36
  • 确定截图
    • 横版,竖版各一套
    • 尺寸:1136*640、1024*768、960*640、800*480、480*360、480*320
  • 游戏介绍
    • 简版200字
    • 完整版无字数限制(带图)
  • 游戏攻略(至少3篇)
    • 新手攻略(多篇)
    • 花钱攻略
    • 游戏资源产出图
  • 百度贴吧内容填充
    • 游戏资料区
    • 攻略区
    • 精品区
  • 微信素材填充
    • 游戏资料
    • 攻略链接到官网
    • 自定义回复
    • 自定义菜单
  • 游戏官网资料填充(未来不断更新)
  • 准备20个服务器名称
  • 开通QQ群
  • 检查后台数据准确性
    • 事件记录
    • 自己游戏后台和talkingdata对比
  • 删档封测活动
    • 游戏内活动
    • 社群刷楼活动
    • 好评活动
    • 加Q群活动
    • 加微信活动
  • 渠道接入完成,可上线状态
    • 给渠道提交客户端
    • 充值联调完毕
    • 游戏专区建设完毕(icon,截图,介绍,关键字)

市场工作

  • 产品新闻
    • 上线新闻
    • 游戏特色
    • 故事背景
    • 游戏评测
    • 制作人专访
    • 制作团队探班
    • IP合作新闻
  • 渠道资源准备
    • 确定删档封测的推广资源
    • 软文
    • 媒体合作
    • 外部活动合作(激活码,礼包码,找bug活动,实物奖励活动)
  • 广告投放前期准备
    • 广告素材
    • 短链生成

上线前1天

运营工作

  • 游戏删档
  • 配置好所有活动并测试
  • 检查游戏设置
    • 不开充值
    • 商城测试
    • 服务器名
    • 游戏版本
    • 游戏公告
    • qq群,微信推荐

上线当天

运营工作

  • 提前1小时检查客户端是否上架,游戏介绍页是否正常
  • 上线前10分钟开放服务器,进游戏检查
    • 商城
    • 活动
    • 公告
    • 功能
    • 充值
  • 上线后频繁关注
    • 新增玩家
    • 下载量和激活玩家对比
    • QQ群
    • 在线数据
    • 微信
    • 游戏内聊天
    • 事件数据

市场工作

  • 检查广告资源
    • 媒体新闻是否上线,位置是否正确
    • 广告位是否正常
    • 链接,包是否正确

封测期间:

  • 收集玩家反馈,整理bug,游戏优化建议
  • 整理玩家行为数据,发现前期卡点,提出前期优化建议
  • 提出新的后台需求,完善后台功能
  • 跟活跃玩家深入交流,保持长期沟通
  • 用户访谈(不同类型玩家)
  • 重点优化留存数据

收费内测:

  • 首服作为测试服,可较大改动,改到数据理想为止
  • 查看消费结构,优化游戏付费
  • 针对性的写一些消费攻略和引导
  • 搭建好玩家管理团队,管理贴吧,qq群
  • 接一个小渠道做专服,用来做玩家测试服,每次版本更新先更新测试服
本文来源:原文链接

skynet线上使用的数据,解答性能问题

记录一下MMZB的运维运营数据

陌陌争霸已经运行9个多月,记录一下现在的运维运营数据:

总用户460万,集群服务器共30台,其中Game Server
9台,redis集群内存占用接近900G,mongo集群磁盘占用接近5T(定时删除旧数据,所以增长速度趋缓了)。
redis集群内存每周增长20G,很快突破1T。后期会上线leveldb落地redis冷数据的方案,有望把redis内存占用削减到现在的三分之二,则600G左右。使用TokuMX替换Mongo后,减少了的磁盘空间占用压力,已经处于恒定状态。

统观项目状态,资源需求已经趋于平稳状态,运维方向可向更高层次的调优和架构改造偏重。

从最近的两次崩溃所总结出的及我的2013

公司的手游项目(注:手游 陌陌争霸)上线了半个多月,一直运行的稳定,开始的测试过程中也出现了零零散散的几个小坑,都顺利跨过了。能实现单机支持3W在线用户的水平,按云风GG的说法,这结果出乎之前的预算,有那么一点小鼓舞。
过去的这个周末和今天周一连续出现了两次集群中一台服务崩溃的情况,晓靖和云风GG很快找到了梗所在,并迅速修复了这个坑,让我们对这个项目更加充满了希望,我相信合作方也与我们一样。
说回运维层面的东西,首先我想说的是,好的代码和架构能为运维节省大量的工作并同时提升运维效率,从这一点上,skynet和与之配合的各模块都出色的达到了这个标准:完善的日志输出、高效但并不复杂的架构设计,我还是遵循我一向的标准,只要是简单、高效、安全的设计,就是优秀的设计。

web服务系统连接状态

系统

1.查看TCP连接状态

netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rn
netstat -n | awk '/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}' 或
netstat -n | awk '/^tcp/ {++state[$NF]}; END {for(key in state) print key,"\t",state[key]}'
netstat -n | awk '/^tcp/ {++arr[$NF]};END {for(k in arr) print k,"\t",arr[k]}'
netstat -n |awk '/^tcp/ {print $NF}'|sort|uniq -c|sort -rn
netstat -ant | awk '{print $NF}' | grep -v '[a-z]' | sort | uniq -c

2.查找请求数请20个IP(常用于查找攻来源)
netstat -anlp|grep 80|grep tcp|awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -nr|head -n20
netstat -ant |awk '/:80/{split($5,ip,":");++A[ip1]}END{for(i in A) print A[i],i}' |sort -rn|head -n20

3.用tcpdump嗅探80端口的访问看看谁最高
tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." '{print $1″."$2″."$3″."$4}' | sort | uniq -c | sort -nr |head -20

4.查找较多time_wait连接
netstat -n|grep TIME_WAIT|awk '{print $5}'|sort|uniq -c|sort -rn|head -n20

5.找查较多的SYN连接
netstat -an | grep SYN | awk '{print $5}' | awk -F: '{print $1}' | sort | uniq -c | sort -nr | more

6.根据端口列进程
netstat -ntlp | grep 80 | awk '{print $7}' | cut -d/ -f1

日志

1.获得访问前10位的ip地址
cat access.log|awk '{print $1}'|sort|uniq -c|sort -nr|head -10
cat access.log|awk '{counts[$(11)]+=1}; END {for(url in counts) print counts[url], url}'

2.访问次数最多的文件或页面,取前20
cat access.log|awk '{print $11}'|sort|uniq -c|sort -nr|head -20

3.列出传输最大的几个exe文件(分析下载站的时候常用)
cat access.log |awk '($7~/.exe/){print $10 " " $1 " " $4 " " $7}'|sort -nr|head -20

4.列出输出大于200000byte(约200kb)的exe文件以及对应文件发生次数
cat access.log |awk '($10 > 200000 && $7~/.exe/){print $7}'|sort -n|uniq -c|sort -nr|head -100

5.如果日志最后一列记录的是页面文件传输时间,则有列出到客户端最耗时的页面
cat access.log |awk '($7~/.php/){print $NF " " $1 " " $4 " " $7}'|sort -nr|head -100

6.列出最最耗时的页面(超过60秒的)的以及对应页面发生次数
cat access.log |awk '($NF > 60 && $7~/.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100

7.列出传输时间超过 30 秒的文件
cat access.log |awk '($NF > 30){print $7}'|sort -n|uniq -c|sort -nr|head -20

8.统计网站流量(G)
cat access.log |awk '{sum+=$10} END {print sum/1024/1024/1024}'

9.统计404的连接
awk '($9 ~/404/)' access.log | awk '{print $9,$7}' | sort

10. 统计http status.
cat access.log |awk '{counts[$(9)]+=1}; END {for(code in counts) print code, counts[code]}'
cat access.log |awk '{print $9}'|sort|uniq -c|sort -rn

11.蜘蛛分析查看是哪些蜘蛛在抓取内容。
/usr/sbin/tcpdump -i eth0 -l -s 0 -w - dst port 80 | strings | grep -i user-agent | grep -i -E 'bot|crawler|slurp|spider'

12.按域统计流量
zcat squid_access.log.tar.gz| awk '{print $10,$7}' |awk 'BEGIN{FS="[ /]"}{trfc[$4]+=$1}END{for(domain in trfc){printf "%s\t%d\n",domain,trfc[domain]}}'
效率更高的perl版本请到此下载:http://docs.linuxtone.org/soft/tools/tr.pl

13.按步骤分析请求时间
curl -o /dev/null -w %{time_namelookup}::%{time_connect}::%{time_starttransfer}::%{time_total}::%{speed_download}"\n" "http://joke.4399pk.com"

数据库篇

1.查看数据库执行的sql
/usr/sbin/tcpdump -i eth0 -s 0 -l -w - dst port 3306 | strings | egrep -i 'SELECT|UPDATE|DELETE|INSERT|SET|COMMIT|ROLLBACK|CREATE|DROP|ALTER|CALL'

系统Debug分析篇

1.调试命令
strace -p pid

2.跟踪指定进程的PID
gdb -p pid

原文
使用netstat和awk命令来统计网络连接数

一道php引用问题

<?php
    $arr = array('a','b','c');
    foreach($arr as $key=>$val){
            $val=&$arr[$key];
            print_r($arr);
    }
?>

执行结果为:

Array 第一次循环,使$val是$arr[0 ]的引用
(
[0 ] => a
[1 ] => b
[2 ] => c
)
Array 第二次循环,因为$arr[1 ]赋值给$val,而$val是$arr[0 ]的引用,因此数组被改变。 同样第二次循环使$val是$arr[1 ]的引用
(
[0 ] => b
[1 ] => b
[2 ] => c
)
Array 同理
(
[0 ] => b
[1 ] => c
[2 ] => c
)

PHP底层运行原理初探

PHP是一种适用于web开发的动态语言,但从研究PHP实现来讲她就是一个用C语言实现包含大量组件的软件框架。

PHP说简单,但是要精通也不是一件简单的事。我们除了会使用之外,最好要知道它底层的工作原理。那么了解PHP底层实现的目的是什么?

  • 动态语言要像用好首先得了解它,因为理解底层才能真正用好上层
  • 内存管理、框架模型值得我们借鉴
  • 通过扩展开发实现更多更强大的功能,优化我们程序的性能。

- 阅读剩余部分 -

获取apk的name,icon,version,permissions,RSA等信息

https://gist.github.com/forthxu/f42113205494abd54453

#!/bin/bash
#@author forthxu.com
#说明
#找到获取apk信息有两种方式
#一种解压后读取AndroidManifest.xml,解压最好不要通过unzip因为获取的是压缩过的内容,读取不准确,可用apktool反编译解压
#另外一种可通过aapt也就是官方sdk中提供的工具读取信息
#aapt和apktoool工具 https://code.google.com/p/android-apktool
#可能存在的问题 http://www.qiansw.com/centos-apk-apktool.html
#扩展阅读,汉化apk http://bbs.dospy.com/thread-9991523-1-354-1.html

#如果使用unzip解压的方法还可以通过以下方法解析XMl文件
#java可用 java -jar AXMLPrinter2.jar AndroidManifest.xml > AndroidManifest2.xml
#AXMLPrinter2.jar下载 https://code.google.com/p/android4me/
#AXMLPrinter2 php版http://blog.katcin.com/archives/69

#获取apk
if [ ! -s "${1}" ];then
    echo "usage:bash ${0} some.apk";
    exit;
fi
#获取文件后存储的位置
ex=./ex/;

echo "-----apk信息----";
#apk信息
badging=`aapt d badging $1`;
# echo $badging;

echo "-----apk icon----";
#获取apk icon
icons=`aapt d badging $1 | grep -E "application-icon|application:" | sed -e 's/.*\(res\/\w\{1,\}\-\w\{1,\}\/\w\{1,\}\.png\).*/\1/' | uniq`;
# echo $icons;
for icon in $icons;do
    echo $icon;
done

echo "-----解压图标 到 ${ex}----";
#解压图标
unzip -o $1 $icons -d $ex

echo "-----apk name----";
#获取apk name
name=`aapt d badging $1 | grep -E "application:" | sed -e "s/.*label='\(\w*\)'.*/\1/"`;
echo $name;

echo "-----apk 权限----";
#获取apk 权限
permissions=`aapt d permissions  $1 | awk -F " " '/uses-permission/ {print $2}'`;
# echo $permissions;
for permission in $permissions;do
    echo $permission;
done

echo "-----apk sdkVersion----";
#获取apk sdkVersion
sdkVersion=`aapt d badging $1 | grep -E "sdkVersion:" | sed -e "s/.*:'\(\w\{1,\}\)'.*/\1/"`;
echo $sdkVersion;

echo "-----apk targetSdkVersion----";
#获取apk targetSdkVersion
targetSdkVersion=`aapt d badging $1 | grep -E "targetSdkVersion:" | sed -e "s/.*:'\(\w\{1,\}\)'.*/\1/"`;
echo $targetSdkVersion;

echo "-----apk versionCode----";
#获取apk versionCode
versionCode=`aapt d badging $1 | grep -E "package:" | sed -e "s/.*versionCode='\(\w\{1,\}\)'.*/\1/"`;
echo $versionCode;

echo "-----apk versionName----";
#获取apk versionName
versionName=`aapt d badging $1 | grep -E "package:" | sed -e "s/.*versionName='\(\S\{1,\}\)'.*/\1/"`;
echo $versionName;

echo "-----apk package----";
#获取apk package
package=`aapt d badging $1 | grep -E "package:" | sed -e "s/.*name='\(\S\{1,\}\)'.*/\1/"`;
echo $package;

echo "-----apk supports-screens----";
#获取apk supports-screens
supports=`aapt d badging $1 | grep -E "supports-screens:" | sed -e "s/.*supports-screens:\(.\{1,\}\)/\1/"`;
echo $supports;

echo "-----解压证书 到 ${ex}----";
#解压证书
unzip -o $1 META-INF/CERT.RSA  -d $ex