Becomin' Charles

算法 | LNMP | Flutter | Mac

Becomin' Charles

有些很基础的东西,一直以来也就没有搞懂,其实,究其原因,还是不求甚解。关于Bash的种种,便是如是。接下来,我来过一点man里面有的东西,经常看man的人,就请自动飘过吧。

Bash是shell的一种,运行中的Bash有两种属性(状态/模式),一种,是否interactive shell(交互式Shell),另一种,是否login shell(登录Shell),然后,运行中的Shell排列组合有这么几种:

  1. 登录交互式Shell
  2. 非登录交互式Shell
  3. 登录非交互式Shell
  4. 非登录非交互式Shell

关于这两种东西的定义也是非常简单明了,但是非常不容易记忆:

交互式Shell:没有非选项参数,没有-c,标准输入和标准输出与终端相连的,或者用-i参数启动的Bash实例。可以通过探测PS1变量是否设置或者$-返回值中是否包含字幕i来判定。

什么是没有非选项参数?比如bash ~/myscript/clear_temp_files.sh这样执行的Shell脚本的Bash实例,就不是交互式Shell,因为脚本的路径,就是非选项参数。

-c又是干什么的?就是使用一个字符串作为Bash的传入参数,比如bash -c ‘ls -ahl’,这种Shell进程也不算是交互式Shell。

登录Shell:第0个参数以-号开头的Bash实例,或者用–login参数启动的Bash Shell。

更加诡异了,什么叫第0个参数以-号开头?你只要随便登录一个*nix系统,Mac也行,Linux也行,然后echo $0,你就明白了,惊讶吧,出来的值竟然是-bash。真的是以-号开头的!!

搞不清楚这两个东西,到底有没有什么决定性的关系呢?事实上是没有太大关系的,又一个事实是我工作四年了,还没搞清楚这点东西。I survived. No big deal. 什么时候出问题了呢?比如当你配置了一个crontab,然后你发现,我擦,为毛总是不执行呢?又然后,为啥环境变量没有呢?一般,crontab里的东西都属于运维脚本,用不着一个小开发去写,所以,你survive的机会师很大的。

好吧,我漏了很重要的一块内容没说。

就是Bash启动的时候,要加载哪些配置文件的问题。搞清楚上面两点,就可以搞清楚Bash的配置文件到底是怎么加载的。对于一个登录Shell(不管是不是交互式的)来说,一般会按照顺序加载如下四个配置文件,如果存在的话。

  1. /etc/profile
  2. ~/.bash_profile
  3. ~/.bash_login
  4. ~/.profile

对于一个交互式非登录Shell来说呢?加载的文件又不一样了:

  1. /etc/bash.bashrc
  2. ~/.bashrc

所以,我们就会搞清楚一些事情的原因。比如一个crontab的bash脚本,到底会不会执行如上的配置文件,答案是否定的。一个crontab脚本,没经过处理的话,既不是交互式Shell,也不是登录Shell,所以上面的都不会执行。

怎么处理?比如可以把shabang改一下#!/bin/bash -l让脚本用登录Shell来解释执行,就可以加载/etc/profile或者,调用Bash解释器,加-l参数也可以。看似很简单对吧。

另一个遇到的问题,为什么在Linux,我们总是配置~/.bashrc但是在Mac下,我们配置就没有用呢,要去配置~/.bash_profile才行?哈!什么情况加载~/.bashrc,上面说得很清楚了,交互式非登录Shell,那在Mac下,你打开Term,echo一下$0,看看,前面是不是有个-号?说明这是交互式的登录Shell,当然不会加载~/.bashrc了。实属正常。你肯定要问了,为啥Linux下没问题呢?你打开~/.profile看看就知道了,这货竟然在~/.profile文件里面source了~/.bashrc!啊!谜题都解开了~

一般在开发大型系统的时候,都免不了要分库分表,一种常见的分表方案,就是按照用户的id来进行分库分表。

我们的产品id,是数字,因为传统和一些习俗原因,很多数字对中国人有着特殊含义。比如大家不喜欢4和喜欢8,当然只是个例子。然后我们项目开发就遇到了一些麻烦,就4和8这个例子来说,就会产生这么一个麻烦。如果按照模100分表,那么4号表里是空的,8号表里压力很大。然后,就有了各种办法,比如模256。再比如,md5以后,取后两位。这两种都是分了256个表了。

结果有一天,我看到一个系统,分表方案是模97。我就觉得这个数字很蹊跷,问了下开发。这个97很完美地解决了4和8那个案例。原来,这个97是个素数。我有一种当头一棒的感觉,原来如此啊……

因为放在VPS上的博客一直Nginx 502和500,我去看了一下access.log,不看不要紧,一看下一跳。我的博客是个没多少访问量的博客,竟然每秒也能产生数十条的log,而最糟糕的是,这些log,都指向了同一个文件,xmlrpc.php。

这个xmlrpc.php,其实是WordPress博客提供的一种API接口,如果你使用Live Writer或者MarsEdit这类软件,这个xmlrpc.php就是必不可少的一个东西了。其实就是使用xml文件描述的,远程方法调用。频繁地访问这个API,非奸即盗啊!试密码,或者发垃圾评论,或者发垃圾文章,太糟糕了。虽然这么久了,没有被攻破,但是看着总归不爽。

一般方法是将访问的IP都找出来,然后全部iptables禁用掉。如果你不用客户端,直接把xmlrpc禁用掉好了,省得让贼惦记着。

1
2
3

grep "POST /xmlrpc.php" access.log* awk '{print $1}' sort uniq -c sort -nr

上述命令,用倒序列出所有攻击得IP和攻击次数,对于攻击最多的,直接iptables就好。

然后,以前ishow也谈过的,ssh试密码的问题,可以对auth.log搜索一下“Failed password”这个关键词。我看了,我自己的,是没有的。又看了管理的两台朋友的服务器,都有10万这个量级的攻击次数。我大体想了想,可能因为我一开始习惯性更换了sshd的端口,导致攻击者找不到目标了的关系。所以这个问题,我建议直接更换sshd的端口,很方便。

应朋友的要求,帮他做了一个WordPress的镜像站点。一般的个人博客是用不着做镜像站点了,就我的观点来看,如果不是追求极致的访问速度,一般都没有必要做镜像站点。但是如果为了服务的稳定性,做镜像站点还是有必要的。比如,创业团队用廉价云服务器来提供Web服务的情况下,受到国内云服务质量的影响,会经常停服,如果对稳定性有极致要求,就需要多点、多机房去部署。也就有了镜像的需求。

阅读全文 »

http://stackoverflow.com/questions/172303/is-there-a-regular-expression-to-detect-a-valid-regular-expression

由此衍生的一个问题,是不是可以写一个正则表达式,来判定一个字符串是不是正则表达式。

答案是否定的:

http://stackoverflow.com/questions/2789407/regular-expression-for-regular-expressions

昨天晚上,我打算自己实现一个使用Redis作为对象存储的模型,并且提供一个类似CActiveRecord的接口,做事情之前,我非常小心的搜索了一遍,基本确定没有人已经实现过我的理念,所以放心大胆开始写了。在开始真正的对象存储模型编写之前,我还是忍不住自己创造轮子,就是用CCache接口封装Redis,开始我没搞懂addValue和setValue有什么区别,就按照我一般使用的经验去实现了,然后今天早上,我在别人的项目YiiRedis里看到了一个RedisCache的实现,发现跟我写得很不一样,主要是一上来没看懂,就觉得人家写错了,还跑twitter上骂了一句,哈哈,太傻逼了。

阅读全文 »

工作中,发现鄙厂使用的服务器监控系统,非常牛逼,CPU,内存,UDP,TCP,eth包量,各种监控应有尽有,此外,还有自定义上报。不光上报,还能对上报数据做绘图,异常数字报警,能发短信、邮件、RTX消息、微信消息等等,无所不能!于是乎,不禁对此类系统神往之,要是自己也能有一套就好了。于是,我找到了Zabbix。

阅读全文 »

如题,一般我们写Shell脚本的时候,都倾向使用绝对路径,这样无论脚本在什么目录执行,都应该起到相同的效果,但是有些时候,我们设计一个软件包中的工具脚本,可能使用相对路径更加灵活一点,因为你不知道用户会在哪个目录执行你的程序,就有了本文的题目。

阅读全文 »

在我印象里,我大概做了许多次这个事情了,拿到一台新的Linode,或者将某个Linode实例彻底清空而变成新的Linode,然后从0开始装成一个Web Server。本文,我就记录一下这个过程吧,省得以后用到了,又去各个服务器上拷贝。

阅读全文 »

其实一直以来都没把nodejs当成一回事情,看到广大前端同学那个雀跃劲,好像得到个宝一样。不就是又多了一个后端语言么?不就是语法跟js很像么?那又怎么样?其实后端语言多的很,node.js单从feature上看,貌似没什么绝对优势,要说有的话,我觉得就是js语法了~估计就这一点,就够博取一大票前端开发同学的好感了。

今天打开主页看了下,感觉还是不错的,小清新的一个技术,把Google的V8引擎一封装,然后弄套包管理,就吭哧吭哧上线了,制造一个技术,还真容易,难为那么多人为它写插件。

如今的互联网高度异构,然后大多数产品以服务形态出现,久而久之,服务的对接势将成为必然,又由于js浏览器端语言的天赋,所以很多Service都提供js调用的接口,如果说,有一门用js解释器来运行的后端语言,作为异构网络的粘合剂,那其方便程度可想而知了。从这个角度看,nodejs还真是解决了一大难题 呢!