ITPub博客
首页 博客 专栏 学院 社区 IT新媒体评选
发博

首页 > 自动化运维 > > PF_RING实现分析（2）

PF_RING实现分析（2）

作者：飘絮絮絮丶 时间：2020-05-22 16:39:22 0 删除 编辑

4、mmap操作
用户态的接下来调用：

  1.                         ring->buffer = (char *)mmap(NULL, PAGE_SIZE, PROT_READ|PROT_WRITE,
  2.                                 MAP_SHARED, ring->fd, 0);
复制代码


进行内存映射。
同样地，内核调用相应的ring_mmap进行处理。
Ring选项结构通过ring_sk宏与sk 建立关联

  1. struct ring_opt *pfr = ring_sk(sk);
复制代码


pfr->ring_memory 即为分配的环形队列空间。所以，要mmap操作，实际上就是调用remap_pfn_range函数把pfr->ring_memory 映射到用户空间即可。这个函数的原型为：

  1. /**
  2. * remap_pfn_range - remap kernel memory to userspace
  3. * @vma: user vma to map to
  4. * @addr: target user address to start at
  5. * @pfn: physical address of kernel memory
  6. * @size: size of map area
  7. * @prot: page protection flags for this mapping
  8. *
  9. *  Note: this is only safe if the mm semaphore is held when called.
  10. */
  11. int remap_pfn_range(struct vm_area_struct *vma, unsigned long addr,
  12.                     unsigned long pfn, unsigned long size, pgprot_t prot)
  13. {
复制代码


关于remap_pfn_range函数的进一步说明，可以参考LDD3，上面有详细说明和现成的例子。

  1. static int ring_mmap(struct file *file,
  2.                      struct socket *sock, struct vm_area_struct *vma)
  3. {
  4.   struct sock *sk = sock->sk;
  5.   struct ring_opt *pfr = ring_sk(sk);                //取得pfr指针，也就是相应取得环形队列的内存空间地址指针
  6.   int rc;
  7.   unsigned long size = (unsigned long)(vma->vm_end - vma->vm_start);

  9.   if(size % PAGE_SIZE) {
  10. #if defined(RING_DEBUG)
  11.     printk("[PF_RING] ring_mmap() failed: "
  12.            "len is not multiple of PAGE_SIZE\n");
  13. #endif
  14.     return(-EINVAL);
  15.   }
  16. #if defined(RING_DEBUG)
  17.   printk("[PF_RING] ring_mmap() called, size: %ld bytes\n", size);
  18. #endif

  20.   if((pfr->dna_device == NULL) && (pfr->ring_memory == NULL)) {
  21. #if defined(RING_DEBUG)
  22.     printk("[PF_RING] ring_mmap() failed: "
  23.            "mapping area to an unbound socket\n");
  24. #endif
  25.     return -EINVAL;
  26.   }

  28.   //dns设备为空，即没有使用dns技术
  29.   if(pfr->dna_device == NULL) {
  30.     /* if userspace tries to mmap beyond end of our buffer, fail */
  31.     //映射空间超限
  32.     if(size > pfr->slots_info->tot_mem) {
  33. #if defined(RING_DEBUG)
  34.       printk("[PF_RING] ring_mmap() failed: "
  35.              "area too large [%ld > %d]\n",
  36.              size, pfr->slots_info->tot_mem);
  37. #endif
  38.       return(-EINVAL);
  39.     }
  40. #if defined(RING_DEBUG)
  41.     printk("[PF_RING] mmap [slot_len=%d]"
  42.            "[tot_slots=%d] for ring on device %s\n",
  43.            pfr->slots_info->slot_len, pfr->slots_info->tot_slots,
  44.            pfr->ring_netdev->name);
  45. #endif
  46.         //进行内存映射
  47.     if((rc =
  48.          do_memory_mmap(vma, size, pfr->ring_memory, VM_LOCKED,
  49.                         0)) < 0)
  50.       return(rc);
  51.   } else {
  52.     /* DNA Device */
  53.     if(pfr->dna_device == NULL)
  54.       return(-EAGAIN);

  56.     switch (pfr->mmap_count) {
  57.     case 0:
  58.       if((rc = do_memory_mmap(vma, size,
  59.                                (void *)pfr->dna_device->
  60.                                packet_memory, VM_LOCKED,
  61.                                1)) < 0)
  62.         return(rc);
  63.       break;

  65.     case 1:
  66.       if((rc = do_memory_mmap(vma, size,
  67.                                (void *)pfr->dna_device->
  68.                                descr_packet_memory, VM_LOCKED,
  69.                                1)) < 0)
  70.         return(rc);
  71.       break;

  73.     case 2:
  74.       if((rc = do_memory_mmap(vma, size,
  75.                                (void *)pfr->dna_device->
  76.                                phys_card_memory,
  77.                                (VM_RESERVED | VM_IO), 2)) < 0)
  78.         return(rc);
  79.       break;

  81.     default:
  82.       return(-EAGAIN);
  83.     }

  85.     pfr->mmap_count++;
  86.   }

  88. #if defined(RING_DEBUG)
  89.   printk("[PF_RING] ring_mmap succeeded\n");
  90. #endif

  92.   return 0;
  93. }
复制代码



实际上的内存映射工作，是由do_memory_mmap来完成的，这个函数实际上基本就是remap_pfn_range的包裹函数。
不过因为系统支持dna等技术，相应的mode参数有些变化，这里只分析了最基本的方法：mode == 0

  1. static int do_memory_mmap(struct vm_area_struct *vma,
  2.                           unsigned long size, char *ptr, u_int flags, int mode)
  3. {
  4.   unsigned long start;
  5.   unsigned long page;

  7.   /* we do not want to have this area swapped out, lock it */
  8.   vma->vm_flags |= flags;
  9.   start = vma->vm_start;

  11.   while (size > 0) {
  12.     int rc;

  14.     if(mode == 0) {
  15. #if(LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,11))
  16.           //根据地址，计算要映射的页帧
  17.       page = vmalloc_to_pfn(ptr);
  18.       //进行内存映射
  19.       rc = remap_pfn_range(vma, start, page, PAGE_SIZE,
  20.                            PAGE_SHARED);
  21. #else
  22.       page = vmalloc_to_page(ptr);
  23.       page = kvirt_to_pa(ptr);
  24.       rc = remap_page_range(vma, start, page, PAGE_SIZE,
  25.                             PAGE_SHARED);
  26. #endif
  27.     } else if(mode == 1) {
  28.       rc = remap_pfn_range(vma, start,
  29.                            __pa(ptr) >> PAGE_SHIFT,
  30.                            PAGE_SIZE, PAGE_SHARED);
  31.     } else {
  32.       rc = remap_pfn_range(vma, start,
  33.                            ((unsigned long)ptr) >> PAGE_SHIFT,
  34.                            PAGE_SIZE, PAGE_SHARED);
  35.     }

  37.     if(rc) {
  38. #if defined(RING_DEBUG)
  39.       printk("[PF_RING] remap_pfn_range() failed\n");
  40. #endif
  41.       return(-EAGAIN);
  42.     }

  44.     start += PAGE_SIZE;
  45.     ptr += PAGE_SIZE;
  46.     if(size > PAGE_SIZE) {
  47.       size -= PAGE_SIZE;
  48.     } else {
  49.       size = 0;
  50.     }
  51.   }

  53.   return(0);
  54. }
复制代码



嗯，跳过了太多的细节，不过其mmap最核心的东东已经呈现出来。
如果要共享内核与用户空间内存，这倒是个现成的可借鉴的例子。

5、数据包的入队操作

做到这一步，准备工作基本上就完成了。因为PF_RING在初始化中，注册了prot_hook。其func指针指向packet_rcv函数：
当数据报文进入Linux网络协议栈队列时，netif_receive_skb会遍历这些注册的Hook：

  1. int netif_receive_skb(struct sk_buff *skb)
  2. {
  3.         list_for_each_entry_rcu(ptype, &ptype_all, list) {
  4.                 if (ptype->dev == null_or_orig || ptype->dev == skb->dev ||
  5.                     ptype->dev == orig_dev) {
  6.                         if (pt_prev)
  7.                                 ret = deliver_skb(skb, pt_prev, orig_dev);
  8.                         pt_prev = ptype;
  9.                 }
  10.         }
  11. }
复制代码



相应的Hook函数得到调用：

  1. static inline int deliver_skb(struct sk_buff *skb,
  2.                               struct packet_type *pt_prev,
  3.                               struct net_device *orig_dev)
  4. {
  5.         atomic_inc(&skb->users);        //注意，这里引用计数器被增加了
  6.         return pt_prev->func(skb, skb->dev, pt_prev, orig_dev);
  7. }
复制代码



packet_rcv随之执行环形队列的入队操作：

  1. static int packet_rcv(struct sk_buff *skb, struct net_device *dev,
  2.                       struct packet_type *pt, struct net_device *orig_dev)
  3. {
  4.   int rc;

  6.   //忽略本地环回报文
  7.   if(skb->pkt_type != PACKET_LOOPBACK) {
  8.           //进一步转向，最后一个参数直接使用-1，从上下文来看，写为RING_ANY_CHANNEL(其实也是-1)似乎可读性更强，
  9.           //这里表示，如果从packet_rcv进入队列，由通道ID是“未指定的”，由skb_ring_handler来处理
  10.     rc = skb_ring_handler(skb,
  11.                           (skb->pkt_type == PACKET_OUTGOING) ? 0 : 1,
  12.                           1, -1 /* unknown channel */);

  14.   } else
  15.     rc = 0;

  17.   kfree_skb(skb);                                //所以，这里要做相应的减少
  18.   return(rc);
  19. }
复制代码




static int skb_ring_handler(struct sk_buff *skb,                                //要捕获的数据包
                            u_char recv_packet,                                                                //数据流方向，>0表示是进入(接收)方向
                            u_char real_skb /* 1=real skb, 0=faked skb */ ,
                            short channel_id)                                                                //通道ID
{
  struct sock *skElement;
  int rc = 0, is_ip_pkt;
  struct list_head *ptr;
  struct pfring_pkthdr hdr;
  int displ;
  struct sk_buff *skk = NULL;
  struct sk_buff *orig_skb = skb;

#ifdef PROFILING
  uint64_t rdt = _rdtsc(), rdt1, rdt2;
#endif

  //skb合法检查，包括数据流的方向
  if((!skb)                /* Invalid skb */
      ||((!enable_tx_capture) && (!recv_packet))) {
    /*
      An outgoing packet is about to be sent out
      but we decided not to handle transmitted
      packets.
    */
    return(0);
  }
#if defined(RING_DEBUG)
  if(1) {
    struct timeval tv;

    skb_get_timestamp(skb, &tv);
    printk
      ("[PF_RING] skb_ring_handler() [skb=%p][%u.%u][len=%d][dev=%s][csum=%u]\n",
       skb, (unsigned int)tv.tv_sec, (unsigned int)tv.tv_usec,
       skb->len,
       skb->dev->name == NULL ? "<NULL>" : skb->dev->name,
       skb->csum);
  }
#endif

        //如果通道ID未指定，根据进入的报文设备索引，设定之
#if(LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,21))
  if(channel_id == RING_ANY_CHANNEL /* Unknown channel */ )
    channel_id = skb->iif;        /* Might have been set by the driver */
#endif

#if defined (RING_DEBUG)
  /* printk("[PF_RING] channel_id=%d\n", channel_id); */
#endif

#ifdef PROFILING
  rdt1 = _rdtsc();
#endif

  if(recv_packet) {
    /* Hack for identifying a packet received by the e1000 */
    if(real_skb)
      displ = SKB_DISPLACEMENT;
    else
      displ = 0;        /* Received by the e1000 wrapper */
  } else
    displ = 0;
        
  //解析数据报文，并判断是否为IP报文
  is_ip_pkt = parse_pkt(skb, displ, &hdr);

  //分片处理,是一个可选的功能项，事实上，对大多数包捕获工具而言，它们好像都不使用底层库来完成这一功能
  /* (de)Fragmentation <fusco@ntop.org> */
  if(enable_ip_defrag
      && real_skb && is_ip_pkt && recv_packet && (ring_table_size > 0)) {
    } else {
#if defined (RING_DEBUG)
        printk("[PF_RING] Do not seems to be a fragmented ip_pkt[iphdr=%p]\n",
               iphdr);
#endif
      }
    }
  }

  //按惯例，在报文的捕获首部信息中记录捕获的时间戳
  /* BD - API changed for time keeping */
#if(LINUX_VERSION_CODE < KERNEL_VERSION(2,6,14))
  if(skb->stamp.tv_sec == 0)
    do_gettimeofday(&skb->stamp);
  hdr.ts.tv_sec = skb->stamp.tv_sec, hdr.ts.tv_usec = skb->stamp.tv_usec;
#elif(LINUX_VERSION_CODE < KERNEL_VERSION(2,6,22))
  if(skb->tstamp.off_sec == 0)
    __net_timestamp(skb);
  hdr.ts.tv_sec = skb->tstamp.off_sec, hdr.ts.tv_usec =
    skb->tstamp.off_usec;
#else /* 2.6.22 and above */
  if(skb->tstamp.tv64 == 0)
    __net_timestamp(skb);
  hdr.ts = ktime_to_timeval(skb->tstamp);
#endif

  //除了时间，还有长度，熟悉libpcap的话，这些操作应该很眼熟
  hdr.len = hdr.caplen = skb->len + displ;

  /* Avoid the ring to be manipulated while playing with it */
  read_lock_bh(&ring_mgmt_lock);

  /* 前面在创建sk时，已经看过ring_insert的入队操作了，现在要检查它的成员
  * 它们的关系是，通过ring_table的成员，获取到element，它里面封装了sk，
  *通过ring_sk宏，就可以得到ring_opt指针
   */
  list_for_each(ptr, &ring_table) {
    struct ring_opt *pfr;
    struct ring_element *entry;

    entry = list_entry(ptr, struct ring_element, list);

    skElement = entry->sk;
    pfr = ring_sk(skElement);
        
        //看来要加入社团，条件还是满多的,pfr不能为空，未指定集群cluster_id，槽位不能为空，方向要正确，绑定的网络设备
        //得对上号
        //另一种可能就是对bonding的支持，如果设备是从属设备，则应校验其主设备
    if((pfr != NULL)
        && (pfr->cluster_id == 0 /* No cluster */ )
        && (pfr->ring_slots != NULL)
        && is_valid_skb_direction(pfr->direction, recv_packet)
        && ((pfr->ring_netdev == skb->dev)
            || ((skb->dev->flags & IFF_SLAVE)
                && (pfr->ring_netdev == skb->dev->master)))) {
      /* We've found the ring where the packet can be stored */
      /* 从新计算捕获帧长度，是因为可能因为巨型帧的出现——超过了桶能容纳的长度 */
      int old_caplen = hdr.caplen;        /* Keep old lenght */
      hdr.caplen = min(hdr.caplen, pfr->bucket_len);
      /* 入队操作 */
      add_skb_to_ring(skb, pfr, &hdr, is_ip_pkt, displ, channel_id);
      hdr.caplen = old_caplen;
      rc = 1;        /* Ring found: we've done our job */
    }
  }

  /* [2] Check socket clusters */
  list_for_each(ptr, &ring_cluster_list) {
    ring_cluster_element *cluster_ptr;
    struct ring_opt *pfr;

    cluster_ptr = list_entry(ptr, ring_cluster_element, list);

    if(cluster_ptr->cluster.num_cluster_elements > 0) {
      u_int skb_hash = hash_pkt_cluster(cluster_ptr, &hdr);

      skElement = cluster_ptr->cluster.sk[skb_hash];

      if(skElement != NULL) {
        pfr = ring_sk(skElement);

        if((pfr != NULL)
            && (pfr->ring_slots != NULL)
            && ((pfr->ring_netdev == skb->dev)
                || ((skb->dev->flags & IFF_SLAVE)
                    && (pfr->ring_netdev ==
                        skb->dev->master)))
            && is_valid_skb_direction(pfr->direction, recv_packet)
            ) {
          /* We've found the ring where the packet can be stored */
          add_skb_to_ring(skb, pfr, &hdr,
                          is_ip_pkt, displ,
                          channel_id);
          rc = 1;        /* Ring found: we've done our job */
        }
      }
    }
  }

  read_unlock_bh(&ring_mgmt_lock);

#ifdef PROFILING
  rdt1 = _rdtsc() - rdt1;
#endif

#ifdef PROFILING
  rdt2 = _rdtsc();
#endif

  /* Fragment handling */
  if(skk != NULL)
    kfree_skb(skk);

  if(rc == 1) {
    if(transparent_mode != driver2pf_ring_non_transparent) {
      rc = 0;
    } else {
      if(recv_packet && real_skb) {
#if defined(RING_DEBUG)
        printk("[PF_RING] kfree_skb()\n");
#endif

        kfree_skb(orig_skb);
      }
    }
  }
#ifdef PROFILING
  rdt2 = _rdtsc() - rdt2;
  rdt = _rdtsc() - rdt;

#if defined(RING_DEBUG)
  printk
    ("[PF_RING] # cycles: %d [lock costed %d %d%%][free costed %d %d%%]\n",
     (int)rdt, rdt - rdt1,
     (int)((float)((rdt - rdt1) * 100) / (float)rdt), rdt2,
     (int)((float)(rdt2 * 100) / (float)rdt));
#endif
#endif

  //printk("[PF_RING] Returned %d\n", rc);
  return(rc);                /*  0 = packet not handled */
}

上面跳过了对cluster(集群)的分析，PF_RING允许同时对多个接口捕获报文，而并不是一个。这就是集群。看一下它用户态的注释就一目了然了：

  1.                         /* Syntax
  2.                         ethX@1,5       channel 1 and 5
  3.                         ethX@1-5       channel 1,2...5
  4.                         ethX@1-3,5-7   channel 1,2,3,5,6,7
  5.                         */
复制代码


进一步的入队操作，是通过add_skb_to_ring来完成的：

  1. static int add_skb_to_ring(struct sk_buff *skb,
  2.                            struct ring_opt *pfr,
  3.                            struct pfring_pkthdr *hdr,
  4.                            int is_ip_pkt, int displ, short channel_id)
  5. {
  6.       //add_skb_to_ring函数比较复杂，因为它要处理过滤器方面的问题。
  7.       //关于PF_RING的过滤器，可以参考[url]http://luca.ntop.org/Blooms.pdf[/url]
  8.       //获取更多内容。这里不做详细讨论了。或者留到下回分解吧。
  9.       
  10.       //最终入队操作，是通过调用dd_pkt_to_ring来实现的。
  11.       add_pkt_to_ring(skb, pfr, hdr, displ, channel_id,
  12.                       offset, mem);        
  13. }
复制代码



  2. static void add_pkt_to_ring(struct sk_buff *skb,
  3.                             struct ring_opt *pfr,
  4.                             struct pfring_pkthdr *hdr,
  5.                             int displ, short channel_id,
  6.                             int offset, void *plugin_mem)
  7. {
  8.   char *ring_bucket;
  9.   int idx;
  10.   FlowSlot *theSlot;
  11.   int32_t the_bit = 1 << channel_id;

  13. #if defined(RING_DEBUG)
  14.   printk("[PF_RING] --> add_pkt_to_ring(len=%d) [pfr->channel_id=%d][channel_id=%d]\n",
  15.          hdr->len, pfr->channel_id, channel_id);
  16. #endif

  18.   //检查激活标志
  19.   if(!pfr->ring_active)
  20.     return;

  22.   if((pfr->channel_id != RING_ANY_CHANNEL)
  23.       && (channel_id != RING_ANY_CHANNEL)
  24.       && ((pfr->channel_id & the_bit) != the_bit))
  25.     return; /* Wrong channel */

  27.   //写锁
  28.   write_lock_bh(&pfr->ring_index_lock);
  29.   //获取前一次插入的位置索引
  30.   idx = pfr->slots_info->insert_idx;
  31.   //调用get_insert_slot获取当前要捕获数据报文的合适的槽位
  32.   //这里idx++后，指向了下一次插入的位置索引
  33.   idx++, theSlot = get_insert_slot(pfr);
  34.   //累计计数器
  35.   pfr->slots_info->tot_pkts++;

  37.   //没位子了，累计丢包计数器，返回之
  38.   if((theSlot == NULL) || (theSlot->slot_state != 0)) {
  39.     /* No room left */
  40.     pfr->slots_info->tot_lost++;
  41.     write_unlock_bh(&pfr->ring_index_lock);
  42.     return;
  43.   }

  45.   //获取当前槽位的桶
  46.   ring_bucket = &theSlot->bucket;

  48.   //支持插件？？在最开始处记录插件信息？？
  49.   if((plugin_mem != NULL) && (offset > 0))
  50.     memcpy(&ring_bucket[sizeof(struct pfring_pkthdr)], plugin_mem, offset);  

  52.   if(skb != NULL) {
  53.           //重新计算捕获帧长度
  54.     hdr->caplen = min(pfr->bucket_len - offset, hdr->caplen);

  56.     if(hdr->caplen > 0) {
  57. #if defined(RING_DEBUG)
  58.       printk("[PF_RING] --> [caplen=%d][len=%d][displ=%d][parsed_header_len=%d][bucket_len=%d][sizeof=%d]\n",
  59.          hdr->caplen, hdr->len, displ,
  60.              hdr->parsed_header_len, pfr->bucket_len,
  61.              sizeof(struct pfring_pkthdr));
  62. #endif
  63.       //拷贝捕获的数据报文，前面空了两个栏位：一个是pkthdr首部，一个是插件offset长度
  64.       //这里经过了一次数据拷贝，对于完美主义者，这并不是一个好的方法。但是PF_RING定位于一个
  65.       //通用的接口库，似乎只有这么做了。否则，追求“零拷贝”，为了避免这一次拷贝，只有逐个修改网卡驱动了。
  66.       skb_copy_bits(skb, -displ,
  67.                     &ring_bucket[sizeof(struct pfring_pkthdr) + offset], hdr->caplen);
  68.     } else {
  69.       if(hdr->parsed_header_len >= pfr->bucket_len) {
  70.         static u_char print_once = 0;

  72.         if(!print_once) {
  73.           printk("[PF_RING] WARNING: the bucket len is [%d] shorter than the plugin parsed header [%d]\n",
  74.              pfr->bucket_len, hdr->parsed_header_len);
  75.           print_once = 1;
  76.         }
  77.       }
  78.     }
  79.   }

  81.   //记录首部
  82.   memcpy(ring_bucket, hdr, sizeof(struct pfring_pkthdr)); /* Copy extended packet header */

  84.   //前面idx已经自加过了，判断是否队列已满，若满，归零，否则更新插入索引
  85.   if(idx == pfr->slots_info->tot_slots)
  86.     pfr->slots_info->insert_idx = 0;
  87.   else
  88.     pfr->slots_info->insert_idx = idx;

  90. #if defined(RING_DEBUG)
  91.   printk("[PF_RING] ==> insert_idx=%d\n", pfr->slots_info->insert_idx);
  92. #endif

  94.   //累计插入计数器
  95.   pfr->slots_info->tot_insert++;
  96.   //槽位就绪标记，用户空间可以来取了
  97.   theSlot->slot_state = 1;
  98.   write_unlock_bh(&pfr->ring_index_lock);

  100.   //有的时候会出现，用户空间取不到的情况，如队列为空。这样，用户空间调用poll等待数据。这里做相应的唤醒处理
  101.   /* wakeup in case of poll() */
  102.   if(waitqueue_active(&pfr->ring_slots_waitqueue))
  103.     wake_up_interruptible(&pfr->ring_slots_waitqueue);
  104. }
复制代码



槽位的计算:

  1. 在ring_bind函数中，分配空间后，使用ring_slots做为槽位指针。事实上，这里要计算槽位，就是通过索引号 * 槽位长度来得到：
  2. static inline FlowSlot *get_insert_slot(struct ring_opt *pfr)
  3. {
  4.   if(pfr->ring_slots != NULL) {
  5.     FlowSlot *slot =
  6.       (FlowSlot *) & (pfr->
  7.                       ring_slots[pfr->slots_info->insert_idx *
  8.                                  pfr->slots_info->slot_len]);
  9. #if defined(RING_DEBUG)
  10.     printk
  11.       ("[PF_RING] get_insert_slot(%d): returned slot [slot_state=%d]\n",
  12.        pfr->slots_info->insert_idx, slot->slot_state);
  13. #endif
  14.     return(slot);
  15.   } else {
  16. #if defined(RING_DEBUG)
  17.     printk("[PF_RING] get_insert_slot(%d): NULL slot\n",
  18.            pfr->slots_info->insert_idx);
  19. #endif
  20.     return(NULL);
  21.   }
  1. }

来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69946831/viewspace-3136325/ ，如需转载，请注明出处，否则将追究法律责任。

0
0
上一篇： PostgresChina2018_王昊_Greenplum5_智能运维管理实例及展望【PPT】
下一篇： 连接数据库-----Access,SQL Server,Oracle,MySQL,IBM DB2,S
请登录后发表评论 登录
全部评论
飘絮絮絮丶

注册时间：2019-09-09

  • 博文量
    2646
  • 访问量
    42242

最新文章

支持我们 作者招募 用户协议 FAQ Contact Us

北京盛拓优讯信息技术有限公司. 版权所有  京ICP备16024965号-8 北京市公安局海淀分局网监中心备案编号：11010802021510 niuxiaotong@pcpop.com 17352615567 未成年人举报专区

广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

违法和不良信息举报电话:18101376593