Perl 工作积累（不定期更新）

灰太狼 2022-08-11 17:59 187阅读 0赞

**学会用 perl -c 检查语法， perl -e 直接执行语句， perldoc 查看文档 ， CPAN 查找 module ...**

\# 注释； =pod ... =cut 多行注释

特殊变量：

$$ 　　 Perl解释器的进程ID

@ARGV 保存命令行参数

@\_　　 在子程序内,这个数组变量包含传递给子程序的参数

$\_ 默认输入

$/ 　　 当前输入记录分隔符，默认情况是新行

$! 　　 根据上下文内容返回错误号或者错误串

$@ 　　 Perl解释器从eval语句返回的错误消息

$? 　　 返回上一个外部命令的状态

1）url 判断是否合法： /^(http:\\/\\/|https:\\/\\/)?((?:\[A-Za-z0-9\]+-\[A-Za-z0-9\]+|\[A-Za-z0-9\]+)\\.)+(\[A-Za-z0-9\]+)\[\\/\\?\\:\]?.\*$/

如果想不用\\ 去转义 /, . , 等特殊字符，可以 /\\Q$var\\E/

在用 =~ 判断字符串包含时，需要注意是否包含空格等字符，特别是从文件中读出的时候，还要注意文件中的空白行 `$context``=~ s/^\s*\n//mg;`

Perl Code

2）什么时候需要转义：1. 比如在"" 里面还要使用"，则\\"; 2. 一些特殊字符

3）数据库乱码问题：在脚本中查询的表和插入的表都要设置同样的编码如utf8（$db\_url->do(set names utf8)）, 在secureCRT显示时设置UTF-8，查询数据库显示前set names utf8;

4）打log问题：如果log文件没权限写入，那会将log信息输出在标准输出。secureCRT sz/rz 也会遇到目录权限的问题

5）倒数据不要全量重新倒，可以设定时间起始点甚至表自增id，从文件读出写入；当tmmp表为空时，perl sql执行以下语句返回还是为真，需要再次判断idmax的值是否为""

mysql> select max(id) idmax from tmmp;

\+-------+

| idmax |

\+-------+

| NULL |

\+-------+

6）perl 对类型还是要注意，如$url为字符串，则如果判断 $url == 0 很可能为真，字符串比较尽量用 eq

perl DBI 中的 my $ref = $sth->fetchrow\_hashref(); $ref->\{xxx\} 返回的都是字符串?

7）perl 的print $log "xxx" ; syswrite $log, "xxxx"; perl中的printf很多字符打印有问题，最好是使用syswrite来打印数据

8）> or >> 如果文件不存在都会创建，只是truncate or append的区别

9）sql 执行出错，页面出现很多乱码，包括log文件会有显示不了的字符，往往是因为插入的参数包含乱码，导致某些引号提早并上而执行出错，有种解决办法是只取参数的有些长度字段。可以用参数绑定的方式，搜索 Binding Parameters to Statements。

10）当log文件太大时，往往vim打开会显示为new file, 可以tail/head -n num file | more 来查看部分内容

11）$db->quote($url) 这样在插入sql时不用再对$url 加' '， 如果$url 内还有单引号会被转义； sql 执行出错很可能是引号提前闭合的问题

the single/double quotes are are properly escaped (ie. \\') but the backslashes are not escaped.

如果字符串中只是存在单一的 \\（后面没有跟 ", ', \\, n, r, b 等），那么db 将不插入任何字符。

12) mysql> pager less 多页显示

13) select substring\_index('xxx.xxx.xx.22', '.', -1) // 得到22

14) perl中的散列赋值都是引用拷贝而非值拷贝

15) perl打印shell脚本的结果信息之前需要先chomp结果，否则打印出来的信息不对

16)  取出url的后缀，如html, php等

if ($url =~ /^(http:\\/\\/ | https:\\/\\/).\*\\/.\*\\.(\[^\\/\\.\\?\]+)/)

my $suffix = $2;

17） 从url中取出域名

my @tmp = split(/:/, $url); my @tmp2= split(/\\//, $tmp\[1\]); my $domain = $tmp2\[2\];

18）解析Http 头部信息

Perl Code

<table style="width:100%; font-family:'Consolas','Courier New'; font-size:12px; vertical-align:text-top; line-height:15px"> 
 <tbody> 
 <tr> 
 <td style="color:#008284; background-color:#e3e3e3; vertical-align:text-top"> 
 <div style="margin:7px; text-align:right; white-space:nowrap">
 1 
 2 
 3 
 4 
 5 
 6 
 7 
 8 
 9 
 10 
 11 
 12 
 13 
 14 
 15 
 16 
 17 
 18 
 19 
 20 
 21 
 22 
 23 
 24 
 25 
 26 
 27 
 28 
 29 
 30 
 31 
 32 
 33 
 34 
 35 
 36 
 37 
 38 
 39 
 40 
 41 
 
 </div> </td> 
 <td style="background-color:#008284; padding:1px"> 
 <div style="border:1px #008284 solid"></div> </td> 
 <td style="width:100%; vertical-align:text-top; background-color:rgb(239,239,239)"> 
 <div style="margin:7px"> 
 sub&nbsp;HttpHeadrParse 
 #解析http头部信息 { 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;$header&nbsp;=&nbsp; 
 shift; 
 
 #&nbsp;&nbsp;&nbsp;$header&nbsp;=~s/\r\n/$~/g; &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;@element&nbsp;=&nbsp; 
 split(/\r\n/,$header); 
 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;%hash; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;$key&nbsp;= 
 ""; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;$var&nbsp;= 
 ""; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;@tmp= 
 ""; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 foreach&nbsp;$var&nbsp;(@element) 
 &nbsp;&nbsp;&nbsp;&nbsp;{ 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
 if($var=~/POST./&nbsp; 
 or&nbsp;$var&nbsp;=~/GET./) 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{ 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;@tmp&nbsp;= 
 split(/&nbsp;/,$var); 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$hash{ 
 "Method"}&nbsp;=&nbsp;$tmp[ 
 0]; 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$hash{ 
 "Cgi"}&nbsp;=$tmp[ 
 1]; 
 
 #&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;print&nbsp;"method&nbsp;:&nbsp;$tmp[0]&nbsp;cgi:&nbsp;$tmp[1]\n"; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$hash{ 
 "Protocol"}&nbsp;=$tmp[ 
 2]; 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
 else 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{ 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;@tmp&nbsp;=&nbsp; 
 split(/:/,$var); 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$hash{$tmp[ 
 0]}=$tmp[ 
 1]; 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
 if($tmp[ 
 0]&nbsp; 
 eq&nbsp; 
 "Host") 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{ 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
 if($tmp[ 
 2]&nbsp; 
 eq&nbsp; 
 "") 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{ 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$hash[ 
 "Port"]&nbsp;=&nbsp; 
 "80"; 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
 else 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;{ 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$hash[ 
 "Port"]&nbsp;=&nbsp;$tmp[ 
 2]; 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} 
 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} 
 &nbsp;&nbsp;&nbsp;&nbsp;} 
 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 return&nbsp;%hash; 
 } 
 </div> </td> 
 </tr> 
 </tbody> 
</table>

19）去除左右空格

Perl Code

20）根据url, get, post 做md5 去重

Perl Code

<table style="width:100%; font-family:'Consolas','Courier New'; font-size:12px; vertical-align:text-top; line-height:15px"> 
 <tbody> 
 <tr> 
 <td style="color:#008284; background-color:#e3e3e3; vertical-align:text-top"> 
 <div style="margin:7px; text-align:right; white-space:nowrap">
 1 
 2 
 3 
 4 
 5 
 6 
 7 
 8 
 9 
 10 
 11 
 12 
 13 
 14 
 15 
 16 
 17 
 18 
 19 
 20 
 21 
 22 
 23 
 24 
 25 
 26 
 27 
 28 
 29 
 30 
 31 
 32 
 33 
 34 
 35 
 36 
 37 
 38 
 39 
 40 
 41 
 42 
 43 
 44 
 45 
 46 
 47 
 48 
 49 
 
 </div> </td> 
 <td style="background-color:#008284; padding:1px"> 
 <div style="border:1px #008284 solid"></div> </td> 
 <td style="width:100%; vertical-align:text-top; background-color:rgb(239,239,239)"> 
 <div style="margin:7px"> 
 #输入name,value字符串，name界定符;返回唯一的name列表 
 sub&nbsp;get_name{ 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;$param&nbsp;=&nbsp; 
 shift; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;$delim&nbsp;=&nbsp; 
 shift; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 return&nbsp; 
 ''&nbsp; 
 if&nbsp;! 
 defined($param)&nbsp;||&nbsp;&nbsp;$param&nbsp; 
 eq&nbsp; 
 ''; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;@name_value&nbsp;=&nbsp; 
 split( 
 "$delim",&nbsp;$param); 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;%hash_name_value&nbsp;=&nbsp;(); 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 for( 
 my&nbsp;$i&nbsp;=&nbsp; 
 0;&nbsp;$i&lt;=&nbsp;$ 
 #name_value;&nbsp;$i++){ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;$name&nbsp;=&nbsp; 
 ''; 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;$value&nbsp;=&nbsp; 
 ''; 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
 if($name_value[$i]&nbsp;=~&nbsp;/([^=]+)=(.*)/){ 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$name&nbsp;=&nbsp;$1; 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$value&nbsp;=&nbsp;$2; 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
 if($name&nbsp;=~&nbsp;/[.\d]{ 
 10, 
 50}|1\d{ 
 9, 
 9}$/){&nbsp; 
 #去除随机数name &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
 next; 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$hash_name_value{ 
 "$name"}&nbsp;=&nbsp;$value; 
 &nbsp;&nbsp;&nbsp;&nbsp;} 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;@names&nbsp;=&nbsp; 
 sort&nbsp; 
 keys&nbsp;%hash_name_value; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;$names_str&nbsp;=&nbsp; 
 join( 
 "$delim",@names); 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 return&nbsp;$names_str; 
 } 
 
 
 #计算uniquemd5 
 sub&nbsp;uniquemd5{ 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;($url,&nbsp;$params,&nbsp;$query_get,&nbsp;$query_post)&nbsp;=&nbsp;@_; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;$uniquemd5_str&nbsp;=&nbsp;$url; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;$port&nbsp;=&nbsp; 
 0; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;$q_get_name&nbsp;=&nbsp; 
 ''; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;$q_post_name&nbsp;=&nbsp; 
 ''; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;$p_name&nbsp;=&nbsp; 
 ''; 
 &nbsp;&nbsp;&nbsp;&nbsp;$q_get_name&nbsp;=&nbsp;get_name($query_get,&nbsp; 
 '&amp;'); 
 &nbsp;&nbsp;&nbsp;&nbsp;$q_post_name&nbsp;=&nbsp;get_name($query_post,&nbsp; 
 '&amp;'); 
 &nbsp;&nbsp;&nbsp;&nbsp;$p_name&nbsp;=&nbsp;get_name($params,&nbsp; 
 ';'); 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 if($url&nbsp;=~&nbsp; 
 m/(?:http|https):\/\/[^:\/;? 
 #]+(?::([0-9]+))?/){ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$port&nbsp;=&nbsp;$1; 
 &nbsp;&nbsp;&nbsp;&nbsp;} 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 if( 
 defined&nbsp;$port&nbsp;&amp;&amp;&nbsp; 
 80&nbsp;==&nbsp;$port){ 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$uniquemd5_str&nbsp;=~&nbsp; 
 s/:[ 
 0- 
 9]+//; 
 &nbsp;&nbsp;&nbsp;&nbsp;} 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 &nbsp;&nbsp;&nbsp;&nbsp;$uniquemd5_str&nbsp;.=&nbsp; 
 ",$p_name,$q_get_name,$q_post_name"; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;$md5&nbsp;=&nbsp;Digest::MD5-&gt;new; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 my&nbsp;$uniquemd5&nbsp;=&nbsp;$md5-&gt;add($uniquemd5_str)-&gt;hexdigest; 
 &nbsp;&nbsp;&nbsp;&nbsp; 
 return&nbsp;$uniquemd5; 
 
 } 
 </div> </td> 
 </tr> 
 </tbody> 
</table>

21）一次性读取整个文件内容

open my $fh, '<', 'file.txt' or die $!; \#系统或库调用fail时会设置$!

my $content = do \{ local $/; <$fh> \};