数据描述,总括算法_探寻性总括
分类:计算机编程

前段时间不亮堂写什么了,基本python的种种功效百度时而,都能搜到一大把,近年来itchat好像超级火,可是对这些不是很胸闷,等今后有意思味恐怕用的上的时候讨论商讨
预备把总结方面包车型大巴东西再看看,就写一些简便的统总计法吧,其实这几个在python里面都有现存的,不过有句名言“不要只会用,还要明白原理”(是哪些有名的人说的?若无,这固然笔者说的了),所以写那些供就学之用。那么重新开始,安份守己,先写那一个,本来想写个对数函数的,结果开采真TM难,假如什么人能写出来麻烦告知下,作者也敬拜大神一下
1、算数平平均数量
2、算数等分回报
3、中位数
4、众数
5、极差
6、陆分位数
7、几何平均数
8、几何平均回报

文/明道先生软件 胡晨川 个人民众号“川术”

继续统总括法,这一次也没怎么极其的,尚未到那么透顶,也是比较基础的
1、方差-样本
2、协方差(标准差)-样本
3、变异周密
4、相关周密

怎么样描述数据是二个很有趣的事体,这里根本记录几个简易而且常用的定义,用原生的python达成

9、对数(没写出来)
上面上代码,和过去类似,含表达,为了更便于领会,就不直接用函数了,尽量用最原始的语法写

图片 1

照例是先造个list,此番把那一个效应写个函数,方便将来调用,其余上生龙活虎篇写过的函数本次也会一连
def create_rand_list(min_num,max_num,count_list):
  case_list = []
  while len(case_list) < count_list:
    rand_float = random.uniform(min_num,max_num)
    if rand_float in case_list:
      continue
    case_list.append(rand_float)
  case_list = [round(case,2) for case in case_list]
  return case_list

平均数

import random

case_list = [] #准备个容器,放样例
#随机生成10个1到30的小数,不能重复,把10个小数放到容器里
while len(case_list) < 10:
  rand_float = random.uniform(1,30)
  if rand_float in case_list:
    continue
  case_list.append(rand_float)
case_list = [round(case,2) for case in case_list] #格式化一下,不然太长不好看,当然这个因需要而定,我为了显示好看,所以格式化保留两位小数
#我先执行了个结果
print case_list #结果是,[5.77, 27.21, 27.12, 12.65, 23.12, 25.56, 18.6, 23.75, 4.1, 25.13]
case_list[6] = 23.12 #为了后面众数,弄个相同值出来
print str(case_list) #单独打下面了,方便看
'[5.77, 27.21, 27.12, 12.65, 23.12, 25.56, 23.12, 23.75, 4.1, 25.13]'
case_list.sort() #排序,这个算法有很多,单独写,不在这里啰嗦
#先写个累加函数,为了方便,就不try了,默认输入的结果都是对的
def sum_fun(xlist):
  n = 0
  for x in xlist:
    n  = x
  return n
#统计数据量函数
def len_fun(xlist):
  n = 0
  for x in xlist:
    n  = 1
  return n
#累乘,和累加一样
def multiply_fun(xlist):
  n = 1
  for x in xlist:
    n *= x
  return n

#1、算数平均数:加和/个数
def sum_mean_fun(case_list):
  sum_mean_num = sum_fun(case_list)/len_fun(case_list)
  return sum_mean_num #结果是19.753

#2、算数平均数回报,平均回报率计算,
def sum_mean_rate(case_list):
  '((case_list[1]-case_list[0])/case_list(0) (case_list[2]-case_list[1])/case_list(1) ...(case_list[n]-case_list[n-1])/case_list(n-1))/len(case_list-1)'
  n = 1
  rate_return = [] #存放回报率
  while n < len_fun(case_list):
    rate = (case_list[n] - case_list[n-1])/case_list[n-1]
    rate_return.append(rate)
    n  = 1
  mean_rate_num = sum_fun(rate_return)/len_fun(rate_return)
  return mean_rate_num

#3、中位数,list中间的数,如果count是基数index = len(list)/2,如果是偶数index1 = (len(list)/2 index2 = (len(list)/2) 1)    
def median_fun(case_list):
  if len_fun(case_list)%2 == 1:
    median = case_list[(len_fun(case_list) 1)/2-1]
  else:
    median = (case_list[len_fun(case_list)/2-1]   case_list[len_fun(case_list)/2])/2
  return median

#4、众数,存在最多的数
def modes_fun(case_list):
  case_list_delre = list(set(case_list)) #去重,这个如果自己写的话可以用分治法,有兴趣的话可以自己写个
  count_max = 0
  for case_part in case_list_delre:
    case_count = case_list.count(case_part)
    if case_count > count_max:
      count_max = case_count
      max_return = case_part
  if count_max == 1:
    return None
  mode = max_return
  return mode

#5、极差,最大-最小,因为已经拍好序,所以index min - index max
def ext_minus_fun(case_list):
  ext_minus_num = case_list[len_fun(case_list)-1] - case_list[0]
  return ext_minus_num

#6、四分位数,箱图用的,可以避免极值的影响,分别是index1 = len(list)/4 index2 = 3*len(list)/4
def four_bit_fun(case_list):
  Q1 = case_list[len_fun(case_list)/4]
  Q2 = case_list[3*len_fun(case_list)/4]
  return Q1,Q2

#7、几何平均数,和算数平均数不同,把所有都乘过^(1/len(list))
def geom_mean_fun(case_list):
  geom_mean_num = multiply_fun(case_list) ** (1.0/len_fun(case_list))
  return geom_mean_num

#8、几何平均回报,R = 回报,((1 R1)(1 R2)...(1 Rn))^1/(len(count(R))-1)
def geom_mean_rate(case_list):
  n = 1
  rate_return = [] #存放回报率
  while n < len_fun(case_list):
    rate = (case_list[n] - case_list[n-1])/case_list[n-1]
    rate_return.append(rate)
    n  = 1
  rate_return = [1 rate for rate in rate_return]
  geom_mean_rate_num = multiply_fun(rate_return) ** (1.0/len_fun(rate_return)) - 1
  return geom_mean_rate_num

# 验证
if __name__ == '__main__':
  rand_list = create_rand_list(1,30,10)
  rand_list.sort()
  print rand_list
  sum_mean_num = sum_mean_fun(rand_list)
  print sum_mean_num
  mean_rate_num = sum_mean_rate(rand_list)
  print mean_rate_num
  median_num = median_fun(rand_list)
  print median_num
  modes_num = modes_fun(rand_list)
  print modes_num
  ext_minus_num = ext_minus_fun(rand_list)
  print ext_minus_num
  four_bit_q1,four_bit_q2 = four_bit_fun(rand_list)
  print four_bit_q1
  print four_bit_q2
  geom_mean_num = geom_mean_fun(rand_list)
  print geom_mean_num
  geom_mean_rate_num = geom_mean_rate(rand_list)
  print geom_mean_rate_num

平均数计算的目标,是用来剖断三个种类的汇总趋势,进而对数码全体有一个创立的认识。渴求一个队列的平平均数量,主流算法其实有两种:算术平平均数量,中位数,众数。

上边是历史函数
sum_fun() #累加
len_fun() #总括个数
multiply_fun() #累乘
sum_mean_fun() #算数平平均数量
sum_mean_rate() #算数平平均数量总计回报
median_fun() #中位数
modes_fun() #众数
ext_minus_fun() #极差
geom_mean_fun() #几何平平均数量
geom_mean_rate() #几何平均回报

算数平均数
sum = 0
for x in data: 
  sum  = x
avg = sum/len(data)

 

算术平平均数量即大家用得最多的,几个数加中国人民解放军总后勤部除以个数;而中位数是种类中的数实行高低排序后,排行在个中的数(若连串中数值个数是偶数,则取排行在中游的五个数的算数平平均数量);而众数是指体系中冒出频率最高的极度数。

新函数代码

几何平平均数量
import math
sum = 1
for x in data:
  sum *= x
avg = math.pow(sum, 1/len(data))

三种算法在excel中对应的函数是average(),median()和mode()

import random

# 先生成一个随机list,已有函数,不赘述
rand_list = [15.79, 6.83, 12.83, 22.32, 17.92, 6.29, 10.19, 10.13, 24.23, 25.56]

# 1、方差-样本S^2,list中的每个元素减整个list的平均数的平方累加,结果比个数-1,方差总量不-1
def var_fun(rand_list):
  mean_num = sum_mean_fun(rand_list) #计算平均数
  len_num = len_fun(rand_list) #计算总量
  var_list = [(x-mean_num)**2 for x in rand_list]
  var_sum = sum_fun(var_list)
  var_num = var_sum/(len_num - 1)
  return var_num

# 2、协方差(标准差)-样本S,这个简单,用方差开平方就可以了
def covar_fun(rand_list):
  var_num = var_fun(rand_list)
  covar_num = var_num ** 0.5
  return covar_num

# 3、变异系数CV,变异程度度量,协方差/算数平均数*100%
# 说明(百度百科):在进行数据统计分析时,如果变异系数大于15%,则要考虑该数据可能不正常,应该剔除
def  trans_coef_fun(rand_list):
  covar_num = covar_fun(rand_list)
  mean_num = sum_mean_fun(rand_list)
  trans_coef_num = covar_num / mean_num
  return trans_coef_num

# 4、相关系数-样本r,表示两个维之间的线性关系,-1 < r < 1,越接近1关系维间的关系越强
#    因为是两个维,因此需要输入两维的list,算法比较麻烦
'''
((x1-mean(x))(y1-mean(y)) (x2-mean(x))(y2-mean(y)) ...(xn-mean(x))(yn-mean(y)))
/((x1-mean(x))^2 (x2-mean(x))^2 ...(xn-mean(x))^2)^0.5*((y1-mean(y))^2 (y2-mean(y))^2 ...(yn-mean(y))^2)^0.5
'''
x_list = rand_list
y_list = [4.39, 13.84, 9.21, 9.91, 15.69, 14.92, 25.77, 23.99, 8.15, 25.07]
def pearson_fun(x_list,y_list):
  x_mean = sum_mean_fun(x_list)
  y_mean = sum_mean_fun(y_list)
  len_num = len_fun(x_list)
  if len_num == len_fun(y_list):
    xy_multiply_list = [(x_list[i]-x_mean)*(y_list[i]-y_mean) for i in range(len_num)]
    xy_multiply_num = sum_fun(xy_multiply_list)
  else:
    print 'input list wrong,another input try'
    return None
  x_covar_son_list = [(x-x_mean)**2 for x in x_list]
  y_covar_son_list = [(y-y_mean)**2 for y in y_list]
  x_covar_son_num = sum_fun(x_covar_son_list)
  y_covar_son_num = sum_fun(y_covar_son_list)
  xy_covar_son_multiply_num = (x_covar_son_num ** 0.5) * (y_covar_son_num ** 0.5)
  pearson_num = xy_multiply_num / xy_covar_son_multiply_num
  return pearson_num

三种算法各有特点,也各有使用标准。算数平平均数量的使用,不常侯会把您带坑里。小编用前段时间遇见的三个案例,来讲说怎么要接受中位数。

 

用中位数来制止算数平平均数量陷阱

中位数数的总计方法,作者用上面意气风发段python的代码表示,技士们或许越来越好精晓:

def Median(a):

a = sorted(a)

l = len(a)

l2 = l / 2

return a[l2] if l % 2 else (a[l2] a[l2 - 1]) / 2.0

(小说最终附录中作者列出了sql语句总计中位数的方法)

几天前在做明道(英文名:míng dào)crm中的总括模块,总结订单承当周期时,蒙受了算数平平均数量陷阱:

比方说,有个别发卖在7月份签了5单,每单的周期是order_period=[15,18,26,30,365]。在那之中有二个订单是二零一八年注册的线索(小概率事件),因而周期的算数平平均数量90.8。在此以前成单周期水平都在叁个月左右的人,在此个月溘然成为了四个月,这一个数值肯定是有所偏向的。那样的巨幅变化,也会给出卖决策形成苦闷(对数码总体的体会被扭曲了)。因为365那么些庞大值,拉高了总体种类的算数平均数,使得数据失真。那多亏算数平平均数量的缺陷。

取用中位数,便消逝了特数值带来的熏陶。纵使有风流浪漫单是二零一八年的线索,那位顾问的成单周期是26,照旧是常规水平。

算数平平均数量与中位数的组合

而算数平均数也是有它的优势,它是汇总全部数值音信后,计算的聚焦方向,只要不出新特殊值,它的准确度是超过南中国位数的。所以,算数平平均数量和中位数如何整合呢?

crm成单周期的计算,又引发出另二个主题材料:从哪个层面来计量中位数?

小编们的臆想其实有四级:

公司贩卖部宏观的成单周期➡️每一个城市分行的成单周期➡️种种发售团队的成单周期➡️个人的成单周期。

如果每一流都盘算中位数,分明是过度分散的。笔者动用的措施是在个人那顶级取中位数,之后的具有层级都取算数平平均数量。

但那仍有毛病的:

村办成单量少之又少的情状下,计算中位数也会不创建。比如,某个团体几人,每一种人周期体系分别是[2,300,200],[15,3],[5,14,26],中位数分别是200,14,14,算团队算数平平均数量时,还是未有撤除掉极值的震慑。

故此,最合理的主意大概是:

人均订单数超越5单的团社团,计算超级中位数;而每人平均订单数小于5的团体,总结两级中位数。

当然,这里组合的法子就要求读者您依据本人职业情状来定了。

众数这两天自身还并未有用上,它日常会用在离散型系列且数值个数非常多的时候。

附录:

sql语句中就像并未有间接计算中位数的办法,作者那边从英特网找了风姿罗曼蒂克段,个人读后感到是可信的,也贴出来,供我们明白。总结的说,它是行使2个子查询来测算,1个子查询用来排序,1个子查询用于计算总量,然后按照总量的 奇/偶,来决定哪些行须要展开计算。

SELECT

data_with_rownumber.Name,

AVG(data_with_rownumber.val) AS median

FROM

(

SELECT

ROW_NUMBER() OVER(PARTITION BY Name ORDER BY val) AS seq,

Name,val

FROM

test_median

) data_with_rownumber

JOIN

(

SELECT

Name, COUNT(1) AS NumOfVal

FROM

test_median

GROUP BY

Name

) data_count

ON

(

data_count.Name = data_with_rownumber.Name

AND

(

(data_count.NumOfVal % 2 = 0 AND data_with_rownumber.seq

IN (data_count.NumOfVal / 2, (data_count.NumOfVal / 2) 1))

OR

(data_count.NumOfVal % 2 = 1

AND

data_with_rownumber.seq = 1 data_count.NumOfVal / 2)

)

)

GROUP BY

data_with_rownumber.Name

本文由pc28.am发布于计算机编程,转载请注明出处:数据描述,总括算法_探寻性总括

上一篇:python基础情形搭建,Python包管理工科具和多版本 下一篇:没有了
猜你喜欢
热门排行
精彩图文