ITPub博客

首页 > Linux操作系统 > Linux操作系统 > Map-reduce的思想计算pagerank的过程

Map-reduce的思想计算pagerank的过程

原创 Linux操作系统 作者:FishExpert 时间:2012-10-02 15:35:56 0 删除 编辑
      map-reduce的思想计算pagerank的过程
题目:按照map-reduce的思想,现在假设有物理节点A,B参与计算,其中网页1、2保存于A,网页3、4保存于B,试述完整的pagerank计算过程
   
1、物理节点A分别统计分析网页1、2有哪些外链指出来,物理节点B分别统计分析网页3、4有哪些外链指出来,然后,构建矩阵G;

     2、对于矩阵G,4 X 4,按照map的思想,第1,2列分配到A节点参与计算,第3,4列分配到B节点参与计算;

     3、现在设特征向量初始值为q=[q1  q2   q3  q4]

  按照map的思想:

第一次:A节点计算: G11*q1, G21*q1 , G31*q1, G41*q1 和G12*q2, G22*q2, G32*q2, G42*q2 ;

B节点计算: G13*q3, G23*q3 , G33*q3, G43*q3 和G14*q4, G24*q4, G34*q4, G44*q4 ;

  按照reduce思想:

     A,B计算的每个结果发送到目标节点,然后计算结果

G11*q1+ G12*q2+ G13*q3+ G14*q4àq1(第2次参与运算的q1)

G21*q1+ G22*q2+ G23*q3+ G24*q4àq2(第2次参与运算的q2)

G31*q1+ G32*q2+ G33*q3+ G34*q4àq3(第2次参与运算的q3)

G41*q1+ G42*q2+ G43*q3+ G44*q4àq4(第2次参与运算的q4)

    同理:按照map-reduce思想,进行第二次,第三次…….

继续运算,最后向量q(next)和q(current)距离小于1e-6时,输出当前的q就是PageRank值。

Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/26857237/viewspace-745535/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: Oracle内存结构图
请登录后发表评论 登录
全部评论

注册时间:2012-07-17

最新文章