首页 今日头条 正文

打底裤裙,机器学习实战项目——用奇异值分解简化数据,五花肉的做法大全

SVD 概述

奇特值分化(SVD, Singular Value Decomposition):
提取信息的一种办法,能够把 SVD 看成是从噪声数据中抽取相关特征。从生物信息学到金融学,SVD 是提取信息的强壮东西。

SVD 场景

信息检索-隐性语义检索(Lstent Semantic Indexing, LSI)或 隐形语义剖析(Latent Semantic Analysis, LSA)

隐性语义索引:矩阵 = 文档 + 词语

  • 是最早的 SVD 应c2808用之一,咱们称运用 SVD 的办法为隐性语义索引(LSI)或隐性语义剖析(LSA)。

引荐体系

  1. 运用 SVD 从数据中构建一个主题空间。
  2. 再在该空间下核算其类似度。(从高维-低维空间的转化,在低维空间来核算类似度,SVDgdp排名 提升了引荐打底裤裙,机器学习实战项目——用奇特值分化简化数据,五花肉的做法大全体系的功率。)

上图右边标示的为一组一起特征,表明美式 BBQ 空间;另一组在上图右边未标示的为日式食物 空间。

图画紧缩

例如:32*32=1024 => 32*2+2*1+32*2=130(2*1表明去掉了除对角线的0), 简直获得了10倍的紧缩比。

SVD 原理

SVD 作业原理

矩阵分化

  • 矩阵分化是将数据矩阵分化为多个独立部分的进程。
  • 矩阵分化能够将原始矩阵表明成新的易于处理的方法,这种新方法是两个或多个矩阵的乘积。(类似代数中的因数分化)
  • 举例:如何将12分化成两个数的乘积?(1,12)、(2,6)、(3,4)都是合理的答案。

SVD 是矩阵分化的一种类型,也是矩阵分化最常见的技能

  • SVD 将原始的数据集矩阵 Data 分化成三个矩阵 U、∑、V
  • 举例:假设原始矩阵 Data
  • m∗n
  • Datam∗n 是m行n列,
  • U
  • m∗n
  • Um∗n 表明m行n列
  • m∗k
  • ∑m∗k 表明m行k列
  • V
  • k∗n
  • Vk∗n 表明k行n列。

Data

m∗n

=U

m∗k

∗∑

k∗k

∗V

k∗n

Datam∗n=Um∗k∗∑k∗k∗Vk∗n

详细的事例:(咱们能够试着推导一下:https://wenku.baidu.com/view/b7641217866fb84ae45c8d17.html )

  • 上微信签名述分化中会构建出一个矩阵∑,该矩阵只要对角元素,其他银行利息元素均为0(近似于0)。另一个常规便是,∑的对角元素是从大到小摆放的。这些对角元素称为奇特值。
  • 奇特值与特征值(PCA 数据中重要特征)换算是有联系的。这儿的奇特值便是矩阵 Data∗Data
  • T
  • Data∗DataT 特征值的平方根。
  • 遍及的现实:在某个奇特值的数目(r 个=>奇特值的平方和累加到总值的90%以上)之后,其他的奇特值都置为0(近似于0)。这意味着数据会集仅有 r 个重要特征,而其他特征则都是噪声或冗余特征。

SVD 算法特色

长处:简化数据,去除噪声,优化算法的成果
缺陷打底裤裙,机器学习实战项目——用奇特值分化简化数据,五花肉的做法大全:数据的转化或许难以了解
运用的数据类型:数值型数据

引荐体系

引荐体系 概述

引荐体系是运用电子商务网站向客户供给商品信息和主张,协助用户决议应该购买什么产品,模仿出售人员协助洛鸿影客户完结购买进程。

引荐体系 场景

  1. Amazon 会依据顾客的购买前史向他们引荐物品
  2. Netflix 会向其用户引荐电影
  3. 新闻网站会对用户引荐新闻频道

引荐体系 关键

依据协同过滤(collaborative filtering) 的引荐引擎

  • 运用Python 完成 SVD(Numpy 有一个称为 linalg 的线性代裸播数东西箱)
  • 协同过滤:是经过将用户和其他用户的数据进行比照来完成引荐的。
  • 当知道了两个用户或两个物品之间的类似度,咱们就能够运用已有的数据来猜测不知道用户的喜爱。

依据物品的类似度和依据用户的类似度:物品比较少则挑选物品类似度,用户比较少则挑选用户类似度。【矩阵仍是爱的故事上集小一点好核算】

  • 依据物品的类似度:核算物品之间的间隔。【耗时会随物品数量的添加而添加】
  • 因为物品A和物品C 类似度(相关度)很高,所以给买A的人引荐C。

  • 依据用户的类似度:核算用户之间的间隔。【耗时会随用户数量的添加而添加】
  • 因为用户A和用户C 类似度(相关度)很高,所以A和C是爱好相投的人,关于C买的物品就会引荐给A。

类似度核算

  • inA, inB 对应的是 列向量
  1. 欧氏间隔:指在m维空间中两个点之间的实在间隔,或许向量的天然长度(即该点到原点的间隔)。二维或三维中的欧氏间隔便是两点之间的实践间隔。
  • 类似度= 1/(1+欧式间隔)
  • 类似度= 1.0/(1.0 + la.norm(inA - inB))
  • 物品对越类似,它们的类似度值就越大。
  1. 皮尔逊相联系数:衡量的是两个向量之间的类似度。
  • 类似度= 0.5 + 0.5*corrcoef() 【皮尔逊相联系数的取值规划从 -1 到 +1,经过函数0.5 景甜男朋友+ 0.5*corrcoef()这个函数核算,把值归一化到0到1之间】
  • 类似度= 0.5 + 0.5 * corrcoef(inA, inB, rowvar = 0)[0][1]
  • 相对欧氏间隔的优势:它对用户评级的量级并不灵敏。
  1. 余弦类似度:核算的是两个向量夹角的余弦值。
  • 余弦值 = (AB)/(||A||||B||) 【余弦值的取值规划也在-1到+1之间】
  • 类似度= 0.5 + 0.5*余弦值
  • 类似度= 0.5 + 0.5*( float(inA.T*inB) / la.norm(inA)*la.norm(inB))
  • 假设夹角为90度,则类似度为0;假设两个向量的方向相同,则类似度为1.0。

引荐体系的点评

  • 选用穿插测验的办法。【拆分数据为练习集和测验集】
  • 引荐引擎点评的目标: 最小均方根差错(Root mean squared error, RMSE),也称标准差错(Standard error),便是核算均方差错的平均值然后取其平方根。
  • 假设RMSE=1, 表明相差1个星级;假设RMSE=2.5, 表明相差2.5个星级。

引荐体系 原理

  • 引荐体系的作业进程:给定一个用户,体系会为此用户回来N个最好的引荐菜。
  • 完成流程大致如下:
  1. 寻觅用户没有评级的菜肴,即在用户-物品矩阵中的0值。
  2. 在用户没有评级的一切物品中,对每个物品估量一个或许的评级分数。这便是说:咱们以为用户或许会对物品的打分(这便是类似度核算的初衷)。
  3. 对这些物品的评分从高到低进行排序,回来前N个物品。

项目事例: 饭馆菜肴引荐体系

项目概述

假设一个人在家决议外出吃饭,可是他并不知道该到哪儿去吃饭,该点什么菜。引荐体系能够帮他做到这两点。

开发流程

搜集 并 预备数据

def loadExData3():
# 运用SVD进步引荐作用,菜肴矩阵
"""
行:代表人
列:代表菜肴名词
值:代表人对菜肴的评分,0表明未评分
"""
return[[2, 0, 0, 4, 4, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5],
[0, 0, 0, 0, 0, 0, 0, 1, 0, 4, 0],
[3, 3, 4, 0, 3, 0, 0, 2,打底裤裙,机器学习实战项目——用奇特值分化简化数据,五花肉的做法大全 2, 0, 0],
[5, 5, 5, 0, 0, 0, 0, 0, 0, 0, 0],
convenient[0, 0, 0, 0, 0, 0, 5, 0, 0, 5, 0],
[4, 0, 4, 0, 0, 0, 0, 0, 0, 0, 5],
[0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 4],
[0, 0, 0, 0, 0, 0, 5, 0, 0, 5, 0],
[0, 0, 0, 3, 0, 0, 0, 0, 4, 5, 0],
[1, 1, 2, 1, 1, 2, 1, 0, 4, 5, 0]]

剖析数据: 这儿不做过多的评论(当然此处能够比照不同间隔之间的不同)

练习算法: 经过调用 recommend() 函数进行引荐

recommend() 会调用 依据物品类似度 或许是 依据SVD,得到引荐的物品评分。

  • 1.依据物品类似度

# 依据物品类似度的引荐引擎
def standEst(dataMat, user, simMeas, item):
"""standEst(核算某用户未评分物品中,以对该物品和其他物品评分的用户的物品类似度,然后进行归纳评分)
Args:
da梦见他人成婚taMat 练习数据集
user 用户编号
simMeas 类似度核算办法
item 未评分的物品编号
Returns:
ratSimTotal/simTotal 评分(0~5之间的值)
"""
# 得到数据会集的物品数目
n = shape(dataMat)[1]
# 初始化两个评分值
simTotal = 0.0
ratSimTotal = 0.0
# 遍历行中的每个物品(对用户评过火的物品进行遍历,并将它与其他物品进行比较)
for j in range(n):
userRating = dataMat[user, j]
# 假设某个物品的评分值为0,则越过这个物品
if userRating == 0:
c打底裤裙,机器学习实战项目——用奇特值分化简化数据,五花肉的做法大全ontinue
# 寻觅两个用户都评级的物品撸撸资源站
# 变量 overLap 给出的是两个物品傍边现已被评分的那个元素的索引ID
# logical_and 核算x1和x2元素的真值。
overLap = nonzero(logical_and(dataMat[:, item].A > 0, dataMat[:, j].A > 0))[0]
# 假设类似度为0,则两着没有任何重合元素,停止本次循环
if len(overLap) == 0:
similarity = 0
# 假设存在重合的物品,则依据这些重合物从头核算类似度。
else:
similarity = simMeas(dataMat[overLap, item], dataMat[overLap, j])
# print 'the %d and %d similarity is : %f'(iten,j,similarity)
# 类似度会不断累加,每次核算时还考虑类似度和当时用户评分的乘积
# similarity 用户类似度, userRating 用户评分
simTotal +打底裤裙,机器学习实战项目——用奇特值分化简化数据,五花肉的做法大全= similarity
ratSimTotal += simila快喵rity * userRating
if simTotal == 0:
return 0
# 经过除以一切的评分总和,对上述类似度评分的乘积进行归一化,使得最终评分在0~5之间,这些评分用来对猜测值进行排序
else:
return ratSimTotal/simTotal
  • 2.依据SVD(参阅地址:http://www.codeweblog.com/svd-%E7%AC%94%E8%AE%B0/)

# 依据SVD的评分估量
# 在recommend() 中,这个函数用于替换对standE隆鼻st()的调用,该函数对给定用户给定物品构建了一个评分估量值
def svdEst(dataMat, user, simMeas, item):
"""svdEst(核算某用户未评分物品中,以对该物品和其他物品评分的用户的物品类似度,然后进行归纳评分)
Args:
dataMat 练习数据集
user 用户编号
simMeas 类似度核算办法
item 未评分的物品编号
Returns:
ratSimTotal惠夕蕊/simTotal 评分(0~5之间的值)
"""
# 物品数目
n = shape(dataMat)[1]
# 对数据集进行SVD分化
simTotal = 0.0
ratSimTotal = 0.0
# 奇特值分化
# 在SVD分化之后,咱们只运用包含了90%能量值的奇特值,这些奇特值会以NumPy数组的方法得以保存
U, Sigma, VT = la.svd(dataMat)
# # 剖析 Sigma 的长度取值
# analyse_data(麻风病Sigma, 20)
# 假设要进行矩阵运算,就必须要用这些奇特值构建出一个对角矩阵
Sig4 = mat(eye(4) * Sigma[: 4])
# 运用U矩阵将物品转化到低维空间中,构建转化后的物品(物品+4个首要的特征)
xformedItems = dataMat.T * U[:, :4] * Sig4.I
# 关于给定的用户,for循环在用户对应行的元素上进行遍历,
# 这和standEst()函数中的for循环的意图相同,只不过这儿的类似度核算时在低维空间下进行的。
for j in range(n):
userRating = dataMat[user, j]
if userRating == 0 or j == item:
continue
# 类似度的核算办法也会作为一个参数传递给该函数
similarity = simMeas(xformedItems[item, :].T, xformedItems[j, :].T)
# for 循环中加入了一条print句子,以便了解类似度核算的发展状况。假设觉得负担,能够去掉
print 'the %d and %d similarity is: %f' % (item, j, similarity)
# 对类似度不断累加求和
simTotal += similarity
# 对类似度及对应评分值的乘积求和
ratSimTotal += similarity * userRating
if simTotal == 0:
return 0
else:
# 核算估量评分
return ratSimTotal/simTotal

排序获取最终的引荐成果

# recommend()函数,便是引荐引擎,它默许调用standEst()函数,发生了最高的N个引荐成果。
# 假设不指定N的巨细,则默许值为3。该函数别的的参数还包含类似度核算办法和估量办法
def recommend(dataMat, user, N=3, simMeas=cosSim, estMethod=standEst):
# 寻觅未评级的物品
# 对给定的用户树立一个未评分的物品列表
unratedItems = nonzero(dataMat[user, :].A == 0)[1]
# 假设不存在未评分物品,那么就退出函数
if len(unratedItems) == 0:
return 'you rated everything'
# 物品的编号和评分值
itemScores = []
# 在未评分物品上进行循环
for item i啪啪动态n unratedItems:
estimatedScore = estMethod(dat打底裤裙,机器学习实战项目——用奇特值分化简化数据,五花肉的做法大全aMat, user,董路微博 simMeas, item)
# 寻觅前N个未评级物品,调用standEst()来发生该物品的猜测得分,该物品的编号和估量值会放在一个元素列表itemScores中
itemScores.append((item, estimacosertedScore))
# 依照估量得分,对该列表进行排序并回来。列表逆排序,第一个值便是最大值
return sorted(itemScor打底裤裙,机器学习实战项目——用奇特值分化简化数据,五花肉的做法大全es, key=lambda jj: jj[1], reverse=True)[: N]

测验 和 项目调用,可直接参阅咱们的代码

完好代码地址: https://github.com/apachecn/MachineLearning/blob/master/src/python/14.SVD/svdRecommend.py

关键弥补

依据内容(content-based)的引荐

  1. 经过各种标签来符号菜肴
  2. 将这些特点作为类似度核算所需求的数据
  3. 这便是:依据内容的引荐。

构建引荐引擎面对的应战

问题

  • 1)在大规划的数据集上,SVD分化会下降程序的速度
  • 2)存在其他许多规划扩展性的应战性问题,比方矩阵的表明办法和核算类似度得分耗费资源。
  • 3)如安在缺少数据时给出好的引荐-称为冷启动【简单说:用户不会喜爱一个无效的物品,而用户不喜爱的物品又无效】

主张

  • 1)在大型体系中,SVD分化(能够在程序调入时运转一次)每天运转一次或许其频率更低,而且还要离线运转。
  • 2)在实践中,另一个遍及的做法便是离线核算并保存类似度得分。(物品类似度或许被用户重复的调用)
  • 3)冷启动问题,解决方案便是将引荐看成是查找问题,经过各种标签/特点特征进行依据内容的引荐。

项目事例: 依据 SVD 的图画紧缩

搜集 并 预备数据

将文本数据转化为矩阵

# 加载并转化数据
def imgLoadData(filename):
myl = []
# 翻开文本文件,并从文件以数组方法读入字符
for line in open(filename).readlines():
newRow = []
for i in range(32):
newRow.append(int(line[i]))
myl.append(newRow)
# 矩阵调入后,就能够在屏幕上输出该矩阵
myMat = mat(myl)
return myMat

剖析数据: 剖析 Sigma 的长度个数

一般保存矩阵 80% ~ 90% 的能量,就能够得到重要的特征并去除噪声。

def analyse_data(Sigma, loopNum=20):
"""analyse_data(剖析 Sigma 的长度取值)
Args:
Sigma Sigma的值
loopNum 循环次数
"""
# 总方差的调集(总能量值)
Sig2 = Sigma**2
SigmaSum = sum(Sig2)
for i in range(loopNum):
SigmaI = sum(Sig2[:i+1])
'''
依据自己的事务状况,就行处理,设置对应的 Singma 次数
一般保存矩阵 80% ~ 90% 的能量,就能够得到重要的特征并取出噪声。
'''
print '主成分:%s, 方差占比:%s%%' % (format(i+1, '2.0f'), format(SigmaI/SigmaSum*100, '4.2f'))

运用算法: 比照运用 SVD 前后的数据差异比照,关于存储咱们能够试着写写

例如:32*32=1024 => 32*2+2*1+32*2=130(2*1表明去掉了除对角线的0), 简直获得了10倍的紧缩比。

# 打印矩阵
def printMat(inMat, thresh=0.8):
# 因为矩阵维护了浮点数,因而界说淡色和深色,遍历一切矩阵元素,当元素大于阀值时打印1,不然打印0
for i in range(32):
for k in range(32):
if float(inMat[i, k]) > thresh:
print 1,
else:
print 0,
print ''
# 完成图画紧缩,答应依据恣意给定的奇特值数目来重构图画
def imgCompress(numSV=3, thresh=0.8):
"""imgCompress( )
Args:
numSV Sigma长度
thresh 判别的阈值
"""
# 构建一个列表
myMat = imgLoadData('input/14.SVD/0_5.txt')
print "****original matrix****"
# 对原始图画进行SVD分化偏重构图画e
printMat(myMat, thresh)
# 经过Sigma 从头构成SigRecom来完成
# Sigma是一个对角矩阵,因而需求树立一个全0矩阵,然后将前面的那些奇特值填充到对角线上。
U, Sigma, VT = la.svd(myMat)
# SigRecon = mat(zeros((numSV, numSV)))
# for k in range(numSV):
# SigRecon[k, k] = Sigma[k]
# 剖析刺进的 Sigma 长度
analyse_data(Sigma, 20)
SigRecon = mat(eye(numSV) * Sigma[: numSV])
reconMat = U[:, :numSV] * SigRecon * VT[:numSV, :]
print "****reconstructed matrix using %d singular values *****" % numSV
printMat(reconMat, thresh)

完好代码地址: https://github.com/apachecn/MachineLearning/blob/master/src/python/14.SVD/svdRecommend.py

来历:顷刻 1988 / ApacheCN ,只作共享,不作任何商业用途,版权归原作者一切

相关推荐

  • 暂无相关文章