python八爬虫框架,适用于WebApi的SQL注入过滤器
分类:计算机编程

开发工具:Visual Studio 2017
C#版本:C#7.1

爬虫框架

  1. ##### BeautifulSoup

  2. 功能
    BeautifulSoup是用来从HTML或XML中提取数据的Python库。

  3. 导入
  4. 使用方法:
    from bs4 import BeautifulSoup
    soup = BeautifulSoup(html)
  5. 对象种类
    有四种类型:Tag,NavigableString,BeautifulSoup,Comment。
    BeautifulSoup将文档转化为树形结构,每个节点都是上述四种类型的Python对象。
  • Tag
    与XML和HTML中Tag对象相同。
    如:
    soup = BeautifulSoup(<b class="boldest">Extremely bold</b>)
    soup.b就是一个Tag对象。

      1. Name
        tag.name 可获取,可更改
      1. Attribute
        一个Tag对象可以有多个属性,操作方法和字典相同,如上述Tag对象b就有一个class属性:
        soup.b['class']
        或者使用get方法soup.b.get('class')
        获取所有属性键值对
        soup.b.attrs
        tag的属性可添加、删除(del soup.b['class'])、修改,和字典方法相同。
        如果一个属性key对应多个value,则返回一个value的list,如:
css_soup = BeautifulSoup('<p class="body strikeout" name="lzy"></p>') 
print css_soup.p.attrs
输出:{'class': ['body', 'strikeout'], 'name': 'lzy'}

这种多个值的属性是需要在HTML中有定义的,如果并没有被定义为多值属性,则返回字符串:

id_soup = BeautifulSoup('')
id_soup.p['id']
输出'my id'

如果转换的是XML文档,则不会存在多值属性,返回字符串。
可以使用list或字符串对属性赋值。

  • NavigableString
    Tag中的字符串即为NavigableString对象。
    tag.string
    在BeautifulSoup之外使用该类型,推荐转换为Unicode:
    unicode(Tag.string)
    tag中包含的字符串不可编辑,只能替换
    tag.string.replace_with(new string)
    tag能够包含其他tag或字符串,而NavigableString则不能包含其他对象。不支持.content,.string,find(),只支持部分遍历文档树和搜索文档树中的属性。

  • BeautifulSoup
    表示的是一个文档的全部内容,大部分情况可当做Tag对象,支持遍历文档树和搜索文档树的大部分属性。
    而在HTML或XML中并没有叫做BeautifulSoup的Tag,所以并没有name和attribute属性,但是有个特殊属性:

soup.name
输出u'[document]'
  • Comment
    Comment类型是NavigableString类型的子类,BeautifulSoup中也有同样道理的一些其他类型。
<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>
 Elsie 
<class 'bs4.element.Comment'>

我们在使用前最好做一下判断,判断代码如下

if type(soup.a.string)==bs4.element.Comment:
    print soup.a.string
  1. 遍历文档树
    BeautifulSoup对象作为一棵树,有多个节点。对于一个节点,相对于它所在的位置,有子节点、父节点、兄弟节点。
  • 子节点
    一个Tag可包含多个Tag以及字符串,这些都是这个Tag的子节点。而NavigableString不会有子节点。
    如果想要获得某个Tag,上述已提到方法:
    soup.tag_name
    通过点取属性,只能获得当前名字的第一个tag,
    若要获取所有,需要使用搜索文档树中的方法:
    soup.find_all('tag_name')
    tag的.contents属性可将所有子节点以列表的方式输出。
    可通过tag的.children生成器,对所有子节点进行遍历。
    .contents和.children只对获取Tag的直接子节点,.descendants可用于对Tag的所有子孙节点进行遍历。
    如果tag只有一个NavigableString类型子节点,则可用.string获取。如果包含多个,使用.strings遍历。若输出的字符串中包含空格或空行,使用.stripped_strings去除。
  • 父节点
    当前节点的父节点:.parent
    当前节点的所有父辈节点:.parents
  • 兄弟节点
    拥有同一父节点的节点之间。
    .next_sibling
    .previous_sibling
    同理,所有兄弟节点:
    .next_siblings
    .previous_siblings
    指向下一个或上一个解析对象:不区分层级
    .next_element
    .previous_element
    .next_elements
    .previous_elements
  1. 搜索文档树
    经常使用的两种方法: find(str)find_all(str)
    其中的str,代表了tag的name。可以是纯字符串、正则表达式、列表(任一匹配就满足条件,是或运算)、True(返回所有Tag节点不返回字符串节点)
    另一种入参不是str,而是method。此方法是一个函数,只接受一个元素入参,若此函数返回True表示入参匹配要求。例如:
def has_class_but_no_id(tag): 
return tag.has_attr('class') and not tag.has_attr('id')

综上,过滤器包括:纯字符串、正则表达式、列表、True、方法这几种。

  1. find_all(name,attrs,recursive,text,kwargs)
    该方法搜索
    当前节点的所有tag子节点。**
- name参数:

指的是tag的name属性,字符串对象自动忽略。
过滤器可以使用全部种类。

  • keyword参数:
    如果一个入参指定了名字,但是并不是上述提到的入参名字,搜索时会把该入参当做是tag的属性来搜索。例如:
    soup.find_all(id='link2')
    会返回tag中存在属性id,并且id对应的值是link2的tag。
    以上方法可使用除方法之外的所有过滤器。
  • 某些特殊属性不能这样直接使用,则使用如下方法:
    soup.find_all(attrs={"key":"value"})
    例如要使用class属性进行搜索,由于class是python中的保留字,不能直接写成入参,目前有两种方法:

    soup.findall('tag.name',class='class_value') soup.find_all('tag.name',attrs={'class':'class_value'})

class_方法可以使用全部过滤器。
另外,因为class是一个多值属性,所以只需要匹配一个值,就可以得到结果,所谓的不完全匹配。
使用完全匹配时,过滤器中的字符顺序需要和实际相符合才能得到对应结果。

  • text参数:
    搜索的是Tag中的字符串内容,可使用全部过滤器。
  • limit参数:
    限制返回数量。
  • recursive参数:
    find_all()默认是搜索当前节点的所有子孙节点,若只需要搜索直接的子节点,则设置recursive=False

    find_all()是实际当中用的最广泛的。

因此有了等价的简化版:

soup('a')```

  2. find(name,attrs,recursive,text,**kwargs)
find()方法等价于find_all(limit=1),返回符合条件的第一个对象。
区别在于,前者直接返回结果,后者返回只有一个元素的列表。若没有对象符合条件,前者返回None,后者返回空列表。
它也有简化版:

soup.find('head').find('title')
soup.head.title

除了find()和find_all()之外还有一些搜索的方法:
find_parent()
find_next_sibling()
find_previous_sibling()
上面三种可以在后面加's'表示所有。
find_next()
find_previous()
find_all_next()
find_all_previous()

  3. CSS选择器
Tag或BeautifulSoup对象的.select()方法。

7. **输出**
prettify()将文档树格式化之后输出。
若不注重格式,则可使用python的str()或unicode()。
如果想得到tag中包含的文本内容,使用get_text(),可获取到当前节点的文本,以及子孙节点中的文本。返回的是Unicode。
可以指定参数设置分隔符如get_text("|")是以“|”作为分隔符。
get_text(strip=True)可去除文本前后的空白。
或者用.stripped_strings进行遍历。

7. **文档解析器**
BeautifulSoup的第一个入参是文档,第二个入参是文档解析器,默认情况下的优先顺序是:lxml, html5lib,python标准库。其中只有lxml支持xml文档的解析。

最近一直在用BeautifulSoup,但是语法很容易忘记。在这里做个学习总结吧。

良好实践,这次主要挑了一些开发PHP应用时应该运用上的良好实践进行详细记录,特别是良好实践部分中密码和流两个点。关于代码风格、常用或者常见的做法会简单带过。

最有效的防止SQL注入的方式是调用数据库时使用参数化查询。
但是如果是接手一个旧的WebApi项目,不想改繁多的数据库访问层的代码,应该如何做。

参考:

PHP组件和框架的数量很多,随之产生的问题就是:单独开发的框架没有考虑到与其他框架的通信。这样对开发者和框架本身都是不利的。

我的解决方案是加一个过滤器。

Beautiful Soup 4.2.0 文档

打破旧局面的PHP-FIG多位PHP框架的开发者认识到了这个问题,在2009年的 php|tek(一个受欢迎的PHP会议)上谈论了这个问题。经过讨论后得出:我们需要一个标准,用来提高框架的互操作性。于是这几位在php|tek意外碰头的PHP框架开发者组织了PHP Framework Interop Group,简称PHP-FIG。

先写过滤方法,上代码

功能

BeautifulSoup是用来从HTML或XML中提取数据的Python库。


PHP-FIG是框架代表自发组织的,其成员不是选举产生的,任何人都可以申请加入PHP-FIG,并且能对处于提议阶段的推荐规范提交反馈。另外,PHP-FIG发布的是推荐规范,而不是强制规定。

using System;
using System.Collections.Generic;
using System.Web;

namespace Test
{
    /// <summary>
    /// 防止SQL注入
    /// </summary>
    public class AntiSqlInject
    {
        public static AntiSqlInject Instance = new AntiSqlInject();

        /// <summary>
        /// 初始化过滤方法
        /// </summary>
        static AntiSqlInject()
        {
            SqlKeywordsArray.AddRange(SqlSeparatKeywords.Split('|'));
            SqlKeywordsArray.AddRange(Array.ConvertAll(SqlCommandKeywords.Split('|'), h => h   " "));
            SqlKeywordsArray.AddRange(Array.ConvertAll(SqlCommandKeywords.Split('|'), h => " "   h));
        }

        private const string SqlCommandKeywords = "and|exec|execute|insert|select|delete|update|count|chr|mid|master|"  
                                                  "char|declare|sitename|net user|xp_cmdshell|or|create|drop|table|from|grant|use|group_concat|column_name|"  
                                                  "information_schema.columns|table_schema|union|where|select|delete|update|orderhaving|having|by|count|*|truncate|like";

        private const string SqlSeparatKeywords = "'|;|--|'|"|/*|%|#";

        private static readonly List<string> SqlKeywordsArray = new List<string>();

        /// <summary>
        /// 是否安全
        /// </summary>
        /// <param name="input">输入</param>
        /// <returns>返回</returns>
        public bool IsSafetySql(string input)
        {
            if (string.IsNullOrWhiteSpace(input))
            {
                return true;
            }
            input = HttpUtility.UrlDecode(input).ToLower();

            foreach (var sqlKeyword in SqlKeywordsArray)
            {
                if (input.IndexOf(sqlKeyword, StringComparison.Ordinal) >= 0)
                {
                    return false;
                }
            }
            return true;
        }

        /// <summary>
        /// 返回安全字符串
        /// </summary>
        /// <param name="input">输入</param>
        /// <returns>返回</returns>
        public string GetSafetySql(string input)
        {
            if (string.IsNullOrEmpty(input))
            {
                return string.Empty;
            }
            if (IsSafetySql(input)) { return input; }
            input = HttpUtility.UrlDecode(input).ToLower();

            foreach (var sqlKeyword in SqlKeywordsArray)
            {
                if (input.IndexOf(sqlKeyword, StringComparison.Ordinal) >= 0)
                {
                    input = input.Replace(sqlKeyword, string.Empty);
                }
            }
            return input;
        }
    }
}

导入

使用方法:
from bs4 import BeautifulSoup
soup = BeautifulSoup(html)


PSR是PHP Standards Recommendation的简称。截至今日,PHP-FIG发布了五个推荐规范:

然后是过滤器,先上代码

编码

soup使用Unicode编码。


  • PSR-1:基本的代码风格
  • PSR-2:严格的代码风格
  • PSR-3:日志记录器接口
  • PSR-4:自动加载
using System.Web.Http.Controllers;
using System.Web.Http.Filters;

namespace Test
{
    /// <inheritdoc>
    ///     <cref></cref>
    /// </inheritdoc>
    /// <summary>
    /// SQL注入过滤器
    /// </summary>
    public class AntiSqlInjectFilter : ActionFilterAttribute
    {
        /// <inheritdoc />
        /// <summary>
        /// </summary>
        /// <param name="filterContext"></param>
        public override void OnActionExecuting(HttpActionContext filterContext)
        {
            base.OnActionExecuting(filterContext);
            var actionParameters = filterContext.ActionDescriptor.GetParameters();

            var actionArguments = filterContext.ActionArguments;

            foreach (var p in actionParameters)
            {
                var value = filterContext.ActionArguments[p.ParameterName];

                var pType = p.ParameterType;

                if (value == null)
                {
                    continue;
                }
                //如果不是值类型或接口,不需要过滤
                if (!pType.IsClass) continue;

                if (value is string)
                {
                    //对string类型过滤
                    filterContext.ActionArguments[p.ParameterName] = AntiSqlInject.Instance.GetSafetySql(value.ToString());
                }
                else
                {
                    //是一个class,对class的属性中,string类型的属性进行过滤
                    var properties = pType.GetProperties();
                    foreach (var pp in properties)
                    {
                        var temp = pp.GetValue(value);
                        if (temp == null)
                        {
                            continue;
                        }
                        pp.SetValue(value, temp is string ? AntiSqlInject.Instance.GetSafetySql(temp.ToString()) : temp);
                    }
                }
            }

        }
    }
}

对象种类

有四种类型:Tag,NavigableString,BeautifulSoup,Comment。
BeautifulSoup将文档转化为树形结构,每个节点都是上述四种类型的Python对象。

你会发现只有四个,没错,因为第一份推荐规范PSR-0废弃了,新发布的PSR-4替代了。

思路是,加过滤器继承ActionFilterAttribute,重写OnActionExecuting方法,获取入参,对入参中的string类型的所有数据进行过滤。两种情况,一是参数是string类型,二是类的属性。过滤器搞定。

1.Tag

与XML和HTML中Tag对象相同。
如:
soup = BeautifulSoup(<b class="boldest">Extremely bold</b>)
soup.b就是一个Tag对象。

  1. Name
    tag.name 可获取,可更改

  2. Attribute
    一个Tag对象可以有多个属性,操作方法和字典相同,如上述Tag对象b就有一个class属性:
    soup.b['class']
    或者使用get方法soup.b.get('class')

获取所有属性键值对:
soup.b.attrs

tag的属性可添加、删除(del soup.b['class'])、修改,和字典方法相同。

如果一个属性key对应多个value,则返回一个value的list,如:
css_soup = BeautifulSoup('<p class="body strikeout"></p>')
css_soup.p['class']
输出:["body", "strikeout"]

这种多个值的属性是需要在HTML中有定义的,如果并没有被定义为多值属性,则返回字符串:
id_soup = BeautifulSoup('<p id="my id"></p>')
id_soup.p['id']
输出'my id'
如果转换的是XML文档,则不会存在多值属性,返回字符串。

可以使用list或字符串对属性赋值。

如果想编写符合社区标准的PHP代码,首先要遵守PSR-1。遵守这个标准非常简单,可能你已经再使用了。标准的细节就不写啦,点链接就能看。

过滤器有两种使用方式,一种是在具体的方法上添加

2. NavigableString

Tag中的字符串即为NavigableString对象。
tag.string
在BeautifulSoup之外使用该类型,推荐转换为Unicode:
unicode(Tag.string)

tag中包含的字符串不可编辑,只能替换:
tag.string.replace_with(new string)

tag能够包含其他tag或字符串,而NavigableString则不能包含其他对象。不支持.content,.string,find(),只支持部分遍历文档树和搜索文档树中的属性。

PSR-2是在PSR-1的基础上更进一步的定义PHP代码规范。这个标准解决了很多世纪问题哈,比如缩进,大括号等等。细节也不多记录啦。

        [HttpPut,Route("api/editSomething")]
        [AntiSqlInjectFilter]
        public async Task<bool> EditSomeThingAsync([FromBody]SomeThingmodel)
        {
            var response = await SomeThingBusiness.Editsync(model);
            return response;
        }
3. BeautifulSoup

表示的是一个文档的全部内容,大部分情况可当做Tag对象,支持遍历文档树和搜索文档树的大部分属性。
而在HTML或XML中并没有叫做BeautifulSoup的Tag,所以并没有name和attribute属性,但是有个特殊属性:
soup.name
输出u'[document]'

另外,现在很多IDE(比如,PHPStorm)会有代码格式化功能,设置代码格式化的标准,编写完代码,然后全部格式化,可以帮助你遵循推荐规范,修复一些换行、缩进、大括号等细节。

一种是全局配置,在WebApiConfig.cs文件中的Register方法中加上过滤器

4. Comment

Comment类型是NavigableString类型的子类,BeautifulSoup中也有同样道理的一些其他类型。


图片 1设置标准

using System.Web.Http;

namespace Test
{
    /// <summary>
    /// WebApi配置
    /// </summary>
    public static class WebApiConfig
    {
        /// <summary>
        /// 注册配置服务
        /// </summary>
        /// <param name="config"></param>
        public static void Register(HttpConfiguration config)
        {                      
            // Web API 路由
            config.MapHttpAttributeRoutes();

            config.Routes.MapHttpRoute(
                name: "DefaultApi",
                routeTemplate: "api/{controller}/{id}",
                defaults: new { id = RouteParameter.Optional }
            );
            //全局配置防止SQL注入过滤
            config.Filters.Add(new AntiSqlInjectFilter());
        }
    }
}

遍历文档树

BeautifulSoup对象作为一棵树,有多个节点。对于一个节点,相对于它所在的位置,有子节点、父节点、兄弟节点。

这个推荐规范与前两个不同,这是一个接口,规定PHP日志记录器组件可以实现的方法。符合PSR-3推荐规范的PHP日志记录器组件,必须包含一个实现PsrLogLoggerInterface接口的PHP类。PSR-3接口复用了RFC 5424系统日志协议,规定要实现的九个方法:

测试有效。

1. 子节点

一个Tag可包含多个Tag以及字符串,这些都是这个Tag的子节点。而NavigableString不会有子节点。

如果想要获得某个Tag,上述已提到方法:
soup.tag_name
通过点取属性,只能获得当前名字的第一个tag,若要获取所有,需要使用搜索文档树中的方法:
soup.find_all('tag_name')

tag的.contents属性可将所有子节点以列表的方式输出。
可通过tag的.children生成器,对所有子节点进行遍历。

.contents.children只对获取Tag的直接子节点,.descendants可用于对Tag的所有子孙节点进行遍历。

如果tag只有一个NavigableString类型子节点,则可用.string获取。如果包含多个,使用.strings遍历。若输出的字符串中包含空格或空行,使用.stripped_strings去除。

<?phpnamespace PsrLog;interface LoggerInterface{ public function emergency($message, array $context = array; public function alert($message, array $context = array; public function critical($message, array $context = array; public function error($message, array $context = array; public function warning($message, array $context = array; public function notice($message, array $context = array; public function info($message, array $context = array; public function debug($message, array $context = array; public function log($level, $message, array $context = array;}
2. 父节点

当前节点的父节点:.parent
当前节点的所有父辈节点:.parents

每个方法对应RFC 5424协议的一个日志级别。

3. 兄弟节点

拥有同一父节点的节点之间。
.next_sibling
.previous_sibling
同理,所有兄弟节点:
.next_siblings
.previous_siblings

指向下一个或上一个解析对象:
.next_element
.previous_element
.next_elements
.previous_elements


使用PRS-3日志记录器如果你正在编写自己的PSR-3日志记录器,可以停下来了。因为已经有一些十分出色的日志记录器组件。比如:monolog/monolog,直接用就可以了。如果不能满足要求,也建议在此基础上做扩展。

搜索文档树

经常使用的两种方法:find(str)和find_all(str)。
其中的str,代表了tag的name。可以是纯字符串、正则表达式、列表(任一匹配就满足条件,是或运算)、True(返回所有Tag节点不返回字符串节点)。

另一种入参不是str,而是method。此方法是一个函数,只接受一个元素入参,若此函数返回True表示入参匹配要求。例如:
*def has_class_but_no_id(tag): *
return tag.has_attr('class') and not tag.has_attr('id')

综上,过滤器包括:纯字符串、正则表达式、列表、True、方法这几种。

这个推荐规范描述了一个标准的自动加载器策略。自动加载器策略是指,在运行时按需查找PHP类,接口或性状,并将其载入PHP解释器。

1. find_all(name,attrs,recursive,text,**kwargs)

该方法搜索当前节点的所有tag子节点。

name参数:
指的是tag的name属性,字符串对象自动忽略。
过滤器可以使用全部种类。

keyword参数:
如果一个入参指定了名字,但是并不是上述提到的入参名字,搜索时会把该入参当做是tag的属性来搜索。例如:
soup.find_all(id='link2')
会返回tag中存在属性id,并且id对应的值是link2的tag。
以上方法可使用除方法之外的所有过滤器。

某些特殊属性不能这样直接使用,则使用如下方法:
soup.find_all(attrs={"key":"value"})

例如要使用class属性进行搜索,由于class是python中的保留字,不能直接写成入参,目前有两种方法:
soup.find_all('tag.name',class_='class_value')
soup.find_all('tag.name',attrs={'class':'class_value'})
class_方法可以使用全部过滤器。
另外,因为class是一个多值属性,所以只需要匹配一个值,就可以得到结果,所谓的不完全匹配。
使用完全匹配时,过滤器中的字符顺序需要和实际相符合才能得到对应结果。

text参数:
搜索的是Tag中的字符串内容,可使用全部过滤器。

limit参数:
限制返回数量。

recursive参数:
find_all()默认是搜索当前节点的所有子孙节点,若只需要搜索直接的子节点,则设置recursive=False

find_all()是实际当中用的最广泛的。
因此有了等价的简化版:
soup.find_all('a')
soup('a')

为什么自动加载很重要在PHP文件的顶部你是不是经常看到类似下面的代码?

2. find(name,attrs,recursive,text,**kwargs)

find()方法等价于find_all(limit=1),返回符合条件的第一个对象。
区别在于,前者直接返回结果,后者返回只有一个元素的列表。若没有对象符合条件,前者返回None,后者返回空列表。

它也有简化版:
soup.find('head').find('title')
soup.head.title

除了find()和find_all()之外还有一些搜索的方法:
find_parent()
find_next_sibling()
find_previous_sibling()
上面三种可以在后面加's'表示所有。
find_next()
find_previous()
find_all_next()
find_all_previous()

<?phpinclude 'path/to/file1.php';include 'path/to/file2.php';include 'path/to/file3.php';
3. CSS选择器

Tag或BeautifulSoup对象的.select()方法。


如果只需载入几个PHP脚本,使用这些函数、include_once()、require()、require_once能很好的完成工作。可是如果你要引入一千个PHP脚本呢?

修改文档树

暂略


在PSR-4推荐规范之前,PHP组件和框架的作者使用__autoload()和spl_autoload_register()函数注册自定义的自动加载器策略。可是,每个PHP组件和框架的自动加载器都使用独特的自动加载器。因此,使用的组件多的时候,也是很麻烦的事情。

输出

prettify()将文档树格式化之后输出。
若不注重格式,则可使用python的str()unicode()

如果想得到tag中包含的文本内容,使用get_text(),可获取到当前节点的文本,以及子孙节点中的文本。返回的是Unicode。
可以指定参数设置分隔符如get_text("|")是以“|”作为分隔符。
get_text(strip=True)可去除文本前后的空白。
或者用.stripped_strings进行遍历。


推荐使用PSR-4自动加载器规范,就是解决这个问题,促进组件实现互操作性。

文档解析器

BeautifulSoup的第一个入参是文档,第二个入参是文档解析器,默认情况下的优先顺序是:lxml, html5lib,python标准库。其中只有lxml支持xml文档的解析。


PSR-4自动加载器策略PSR-4推荐规范不要求改变代码的实现方式,只建议如何使用文件系统目录结构和PHP命名空间组织代码。PSR-4的精髓是把命名空间的前缀和文件系统中的目录对应起来。比如,我可以告诉PHP,OreillyModernPHP命名空间中的类、接口和性状在物理文件系统的src/目录中,这样PHP就知道,前缀为OreillyModernPHP的命名空间中的类、接口和性状对应的src/目录里的目录和文件。

编码

soup使用Unicode编码。
BeautifulSoup进行了编码检测并自动转为Unicode。
BeautifulSoup对象的.original_encoding属性来获取自动识别编码的结果。
当然这样比较慢,有时候会出错。可以在创建BeautifulSoup对象时,指定入参from_encoding来告知文档的编码方式。

有时候转码时有些特殊字符替换成了特殊的Unicode,可通过BeautifulSoup对象的.contains_repalcement_characters属性来判断是否有此情况,为True即为有特殊替换。

输出编码统一为UTF8,若想要其他的编码,则和一般的python字符串相同,需要进行手动设置。

使用chartdet库可提高编码检测效率。

如何编写PSR-4自动加载器如果你在写自己的PSR-4自动加载器,请停下来。我们可以使用依赖管理器Composer自动生成的PSR-4自动加载器。

过滤HTML

使用htmlentities()函数过滤输入。

<?php$input = '<p><script>alert("You won the Nigerian lottery!");</script></p>';echo htmlentities($input, ENT_QUOTES, 'UTF-8');

需要注意的是:默认情况下,htmlentities()函数不会转义单引号,而且也检测不出输入字符串的字符集。正确的使用方式是:第一个参数输入字符串;第二个参数设为ENT_QUOTES常量,转移单引号;第三个参数设为输入字符串的字符集

更多过滤HTML输入的方式,可以使用HTML Purifier库。这个库强健且安全,缺点:慢,且可能难以配置。

SQL查询

构建SQL查询不好的方式:

$sql = sprintf( 'UPDATE users SET password = "%s" WHERE id = %s', $_POST['password'], $_GET['id']);

如果 psasword=abc";-- ,则导致修改了整个users表的记录password都未abc。如果需要在SQL查询中使用输入数据,要使用PDO预处理语句

用户资料信息

A.过滤用户资料中的电子邮件地址这里会删除除字符、数字和!#$%&'* -/=?^_{|}~@.[]`之外的所有其他符号。

<?php$email = 'beckjiang@meijiabang.cn';$emailSafe = filter_var($email, FILTER_SANITIZE_EMAIL);

B.过滤用户资料中的外国字符

<?php$string = "外国字符";$safeString = filter_var( $string, FILTER_SANITIZE_STRING, FILTER_FLAG_STRIP_LOW|FILTER_FLAG_ENCODE_HIGH);

验证数据

验证数据与过滤不同,验证不会从输入数据中删除信息,而是只确认输入数据是否符合预期。

验证电子邮件地址我们可以把某个FILTER_VALIDATE_*标志传给filter_var()函数,除了电子邮件地址,还可以验证布尔值、浮点数、整数、IP地址、正则表达式和URL。

<?php$input = 'beckjiang@meijiabang.cn';$isEmail = filter_var($input, FILTER_VALIDAE_EMAIL);if ($isEmail !== false) { echo "Success";} else { echo "Fail";}

哈希算法有很多种,例如:MD5、SHA1、bcrypt和scrypt。有些算法的速度很快,用于验证数据完整性;有些算法速度则很慢,旨在提高安全性。生成密码和存储密码时需要使用速度慢、安全性高的算法。

目前,经同行审查,最安全的哈希算法是bcrypt。与MD5和SHA1不同,bcrypt是故意设计的很慢。bcrypt算法会自动加盐,防止潜在的彩虹表攻击。bcrypt算法永不过时,如果计算机的运算速度变快了,我们只需提高工作因子的值。

重新计算密码的哈希值下面是登录用户的脚本:

<?phpsession_start();try { // 从请求主体中获取电子邮件地址 $email = filter_input(INPUT_POST, 'email'); // 从请求主体中获取密码 $password = filter_input(INPUT_POST, 'password'); // 使用电子邮件地址获取用户(注意,这是虚构代码) $user = User::findByEmail; // 验证密码和账户的密码哈希值是否匹配 if (password_verify($password, $user->password_hash) === false) { throw new Exception('Invalid password'); } // 如果需要,重新计算密码的哈希值 $currentHashAlgorithm = PASSWORD_DEFAULT; $currentHashOptions = array('cost' => 15); $passwordNeedRehash = password_needs_rehash( $user->password_hash, $currentHashAlgorithm, $currentHashOptions ); if ($passwordNeedsRehash === true) { // 保存新计算得出的密码哈希值(注意,这是虚构代码) $user->password_hash = password_hash( $password, $currentHashAlgorithm, $currentHashOptions ); $user->save(); } // 把登录状态保存到回话中 ... // 重定向到个人资料页面 ...} catch (Exception $e) { //异常处理 ...}

值得注意的是:在登录前,一定要使用password_needs_rehash()函数检查用户记录中现有的密码哈希值是否过期。如果过期了,要重新计算密码哈希值

PHP5.5.0之前的密码哈希API如果无法使用PHP5.5.0或以上版本,可以使用安东尼·费拉拉开发的ircmaxell/password-compat组件。这个组件实现了PHP密码哈希API中的所有函数:

  • password_hash()
  • password_get_info()
  • password_needs_rehash()
  • password_verify()

DateTime类

DateTime类提供一个面向对象接口,用于管理日期和时间。

没有参数,创建的是一个表示当前日期和时间的实例:

<?php$datetime = new DateTime();

传入参数创建实例:

<?php$datetime = new DateTime('2017-01-28 15:27');

指定格式,静态构造:

<?php$datetime = DateTime::createFromFormat('M j, Y H:i:s', 'Jan 2, 2017 15:27:30');

DateInterval类

DateInterval实例表示长度固定的时间段,或者相对而言的时间段。DateInterval实例用于修改DateTime实例。

使用DateInterval类:

<?php// 创建DateTime实例$datetime = new DateTime();// 创建长度为两周的间隔$interval = new DateInterval;// 修改DateTime实例$datetime->add($interval);echo $datetime->format('Y-m-d H:i:s');

创建反向的DateInterval实例:

<?php// 过去一天$interval = new DateInterval;

DateTimeZone类

如果应用要迎合国际客户,可能要和时区斗争。

创建、使用时区:

<?php$timezone = new DateTimeZone('America/New_York');$datetime = new DateTime('2017-01-28', $timezone);

实例化之后,也可以使用setTimeZone()函数设置市区:

$datetime->setTimeZone(new DateTimeZone('Asia/Hong_Kong'));

DatePeriod类

有时我们需要迭代处理一段时间内反复出现的一系列日期和时间,DatePeriod类可以解决这种问题。DatePeriod类的构造方法接受三个参数,而且都必须提供:

  • 一个Datetime实例,表示迭代开始时的日期和时间。
  • 一个DateInterval实例,表示到下个日期和时间的间隔。
  • 一个整数,表示迭代的总次数。

DatePeriod实例是迭代器,每次迭代时都会产出一个DateTime实例

使用DatePeriod类:

<?php$start = new DateTime();$interval = new DateInterval;$period = new DatePeriod($start, $interval, 3);foreach ($period as $nextDateTime) { echo $nextDateTime->format('Y-m-d H:i:s'), PHP_EOL;}

PHP应用可以在很多种数据库中持久保存信息,比如:MySQL、SQLite、Oracle等。如果在项目中使用多种数据库,需要安装并学习多种PHP数据库扩展和接口,这增加了认知和技术负担。

正是基于这个原因,PHP原生提供了PDO扩展(PHP Data Objects,意思是PHP数据对象),PDO是一系列PHP类,抽象了不同数据库的具体实现。PDO的介绍和使用就不写了,比较常用。

在现代的PHP特性中,流或许是最出色但最少使用的。虽然PHP4.3.0就引入了流,但很多开发者不知道流的存在,因为很少人提及流,而且流的文档也匮乏。官方的解释比较难理解,一句话说就是:流的作用是在出发地和目的地之间传输数据

我把流理解为管道,相当于把水从一个地方引到另一个地方。在水从出发地流到目的地的过程中,我们可以过滤水,可以改变水质,可以添加水,也可以排出水(提示:水是数据的隐喻)。

流封装协议

流式数据的种类各异,每种类型需要独特的协议,以便读写数据。我们称这些协议为流封装协议。比如,我们可以读写文件系统,可以通过HTTP、HTTPS或SSH与远程Web服务器通信,还可以打开并读写ZIP、RAR或PHAR压缩文件。这些通信方式都包含下述相同的过程:

  1. 开始通信。
  2. 读取数据。
  3. 写入数据。
  4. 结束通信。

虽然过程一样的,但是读写文件系统中文件的方式与手法HTTP消息的方式有所不同。流封装协议的作用是使用通用的几口封装这些差异。

每个流都有一个协议和一个目标。格式如下:

<scheme>://<target>

说这么多有点懵,先看例子,使用HTTP流封装协议与Flickr API通信:

<?php$json = file_get_contents( 'http://api.flickr.com/services/feeds/photos_public.gne?format=json');

不要误以为这是普通的网页URL,file_get_contents()函数的字符串参数其实是一个流标识符。http协议会让PHP使用HTTP流封装协议。看起来像是普通的网页URL,是因为HTTP流封装协议就是这样规定的:)。其他流封装协议可能不是这样。

file://流封装协议

我们使用file_get_contents()fopen()fwrite()fclose()函数读写文件系统。因为PHP默认使用的流封装协议是file://,所以我们很少认为这些函数使用的是PHP流。

隐式使用file://流封装协议:

<?php$handle = fopen('/etc/hosts', 'rb');while (feof !== true) { echo fgets;}fclose;

显式使用file://流封装协议:

<?php$handle = fopen('file:///etc/hosts', 'rb');while (feof !== true) { echo fgets;}fclose;

流上下文

有些PHP流能接受一些列可选的参数,这些参数叫流上下文,用于定制流的行为。流上下文使用stream_context_create()函数创建。

比如,你知道可以使用file_get_contents()函数发送HTTP POST请求吗?如果想这么做,可以使用一个流上下文对象:

<?php$requestBody = '{"username": "beck"}';$context = stream_context_create(array( 'http' => array( 'method' => 'POST', 'header' => "Content-Type: application/json;charset=utf-8;rn" . "Content-Length: " . mb_strlen($requestBody), "content" => $requestBody )));$response = file_get_contents('https://my-api.com/users', false, $context);

流过滤器

关于PHP的流,其实真正强大的地方在于过滤、转换、添加或删除流中传输的数据

注意:PHP内置了几个流过滤器:string.rot13、string.toupper、string.tolower和string.strp_tags。这些过滤器没什么用,我们要使用自定义的过滤器。

若想把过滤器附加到现有的流上,要使用stream_filter_append()函数。比如,想要把文件中的内容转换成大写字母,可以使用string.toupper过滤器。书中不建议使用这个过滤器,这里只是演示如何把过滤器附加到流上:

<?php$handle = fopen('data.txt', 'rb');stream_filter_append($handle, 'string.toupper');while (feof !== true) { echo fgets; // <-- 输出的全是大写字母}fclose;

使用php://filter流封装协议把过滤器附加到流上:

<?php$handle = fopen('php://filter/read=string.toupper/resource=data.txt', 'rb');while (feof !== true) { echo fgets; // <-- 输出的全是大写字母}fclose;

来看个更实际的流过滤�器示例,假如我们nginx访问日志保存在rsync.net,一天的访问情况保存在一个日志文件中,而且会使用bzip2压缩每个日志文件,名称格式为:YYYY-MM-DD.log.bz2。某天,领导让我提取过去30天某个域名的访问数据。使用DateTime类和流过滤器迭代bzip压缩的日志文件

<?php$dateStart = new DateTime();$dateInterval = DateInterval::createFromDateString;$datePeriod = new DatePeriod($dateStart, $dateInterval, 30);//创建迭代器foreach ($datePeriod as $date) { $file = 'sftp://USER:PASS@rsync.net/' . $date->format . 'log.bz2'; if (file_exists { $handle = fopen($file, 'rb'); stream_filter_append($handle, 'bzip2.decompress'); while (feof !== true) { $line = fgets; if (strpos($line, 'www.example.com') !== false) { fwrite(STDOUT, $line); } } fclose; }}

计算日期范围,确定日志文件的名称,通过FTP连接rsync.net,下载文件,解压缩文件,逐行迭代每个文件,把相应的行提取出来,然后把访问数据写入一个输出目标。使用PHP流,不到20行代码就能做完所有这些事情。

自定义流过滤器

其实大多数情况下都要使用自定义的流过滤器。自定义的流过滤器是个PHP类,继承内置的php_user_filter类。这个类必须实现filter()onCreate()onClose()方法。而且,必须使用stream_filter_register()函数注册自定义的流过滤器。

PHP流会把数据分成按次序排列的桶,一个桶中盛放的流数据量是固定的。一定时间内过滤器接收到的桶叫做桶队列。桶队列中的每个桶对象都有两个公开属性:data和datalen,分别是桶中的内容和内容的长度。

下面定义一个处理脏字的流过滤器

<?phpclass DirtyWordsFilter extends php_user_filter{ /** * @param resource $in 流来的桶队列 * @param resource $out 流走的桶队列 * @param resource $consumed 处理的字节数 * @param resource $closing 是流中最后一个桶队列吗? */ public function filter() { $words = array('grime', 'dirt', 'grease'); $wordData = array(); foreach ($words as $word) { $replacement = array_fill(0, mb_strlen, '*'); $wordData[$word] = implode(' ', $replacement); } $bad = array_keys($wordData); $goods = array_values($wordData); // 迭代流来的桶队列中的每个桶 while ($bucket = stream_bucket_make_writeable { // 审查桶数据中的脏字 $bucket->data = str_replace($bad, $goods, $bucket->data); // 增加已处理的数据量 $consumed  = $bucket->datalen; // 把桶放入流向下游的队列中 stream_bucket_append($out, $bucket); } return PSFS_PASS_ON; }}

filter()方法的作用是接受、处理再转运桶中的流数据。这个方法的返回值是PSFS_PASS_ON常量,表示操作成功。

注册流过滤器接着,我们必须使用stream_filter_register()函数注册这个自定义的DirtWordsFilter流过滤器:

<?phpstream_filter_register('dirty_words_filter', 'DirtWordsFilter');

第一个参数是用于识别这个自定义过滤器的过滤器名,第二个参数是自定义过滤器的类名。

使用DirtWordsFilter流过滤器

<?php$handle = fopen('data.txt', 'rb');stream_filter_append($handle, 'dirty_words_filter');while (feof !== true) { echo fgets; // <-- 输出审查后的文本}fclose;

对错误和异常的处理,一定要遵守四个规则:

  • 一定要让PHP报告错误。
  • 在开发环境中要显示错误。
  • 在生产环境中不能显示错误。
  • 在开发环境和生产环境中都要记录错误。

错误与异常在日常使用的比较多,就不记录啦。

本文由pc28.am发布于计算机编程,转载请注明出处:python八爬虫框架,适用于WebApi的SQL注入过滤器

上一篇:判断用户是否对路径拥有访问权限,Windows身份认 下一篇:没有了
猜你喜欢
热门排行
精彩图文