ITPub博客

运维开发里的数据动态获取和自动补录

原创 数据库开发技术 作者:jeanron100 时间:2018-05-16 09:32:46 1 删除 编辑

在运维平台的设计中,目前有两套系统是并存,并行发展的,其中一部分原因是涉及的业务不同,关注点不同。所以在设计CMDB的部分时,最开始我是整合了已有的实现,把系统层的指标和数据都录进去了,即录入元信息需要录入数据库层面,系统层面,应用层面等等。

显然这不是一个好方法。如果内存是8G我录入错误,写成了80G有没有问题,在数据库运维平台这边是完全感知不到的,如果后续做了变更,我们也是无法感知的,与其这样,还不如不维护,系统层面的信息可以交由系统运维平台的CMDB即可,而数据库运维平台只需要关注数据库和业务信息即可,如果更进一步,数据库信息其实很多都可以自动发现或者探测得到,唯一需要我们确认的是数据库实例的应用信息。而反过来系统层面对于数据库的元信息有什么需求吗,其实也是有的,比如数据库MySQL的主从不应该部署在一个宿主机上,那么对于系统层面如何去鉴别这个信息呢,显然没有头绪,这就需要数据库层面接口信息来提供数据库的角色,如果数据库角色和服务器层面的信息绑定起来,其实这些信息就可以确认了。

所以在数据库运维平台中,我不刻意去维护系统的信息,而是主要通过API来来访问获取,当然为了提高性能,我会做一层过滤,我会把系统信息都收集一遍,放入本地的数据库表中,如果下一次访问的时候首先在数据库表中查找,如果找到,就直接返回,否则就重新申请获得。

然而看似优化的代码在运维平台中还是抛出了错误。

我看了下代码,大体如下:

vm_info_dict = virtual_machine_info.objects.get(ip=vm_ip_addr) print(vm_info_dict) if vm_info_dict != None:
physical_server_ip = vm_info_dict.hostip device_info_dict = physical_server_info.objects.get(ip=physical_server_ip)
phy_contain_vms = virtual_machine_info.objects.filter(hostip=physical_server_ip) else:
token = gettoken('xxxxx', 'xxxxx')
vm_info_dict=getresponse('https://xxxxx/API/v1/GetServerInfo/'+vm_ip_addr, token)
physical_server_ip = vm_info_dict.get("hostip") print(physical_server_ip) device_info_dict=getresponse('https://xxxxxx/API/v1/GetDeviceInfo/'+physical_server_ip, token)

整体的思路就是通过Django API获取虚拟机信息,如果不存在就通过API去访问获取。

这个问题看起来比较奇怪,按照错误的思路,应该是在exception的异常捕获部门来处理,这么做确实是可以的,但是如果要扩展逻辑,异常处理的逻辑就会越来越重,感觉怪怪的。

所以反复测试,也算是明白了,使用get的方式去获取数据,如果获取不到就会抛错,个人感觉这个接口还是不太友好,可以换一种方式,比如filter来实现,因为从表结构能够定位到这是一个主键或者唯一性索引。

所以代码的部分根据count的方式来做了调整,然后在这个基础上又做了改进,即如果在本地的数据库中不存在,则访问接口得到数据库,把数据库下沉到本地,整个过程对于我们使用是透明的,也算是一种比较友好的交互方式。

vm_info_dict_exists = virtual_machine_info.objects.filter(ip=vm_ip_addr).count() if vm_info_dict_exists >= 1:
vm_info_dict = virtual_machine_info.objects.get(ip=vm_ip_addr) print(vm_info_dict) physical_server_ip = vm_info_dict.hostip device_info_dict = physical_server_info.objects.get(ip=physical_server_ip)
phy_contain_vms = virtual_machine_info.objects.filter(hostip=physical_server_ip)
return_dict["device_info_dict"] = device_info_dict
return_dict["vm_info_dict"] = vm_info_dict
return_dict["phy_contain_vms"] = phy_contain_vms else:
token = gettoken('xxxx', 'xxxxxx')
vm_info_dict = getresponse('https://xxxxxx/API/v1/GetServerInfo/' + vm_ip_addr, token)
physical_server_ip = vm_info_dict.get("hostip") print(physical_server_ip) device_info_dict = getresponse('https://xxxxxxxAPI/v1/GetDeviceInfo/' + physical_server_ip, token)
return_dict["device_info_dict"] = device_info_dict
return_dict["vm_info_dict"] = vm_info_dict
vm_info = virtual_machine_info()
......
vm_info.memo = vm_info_dict.get("memo")
vm_info.save()
phy_exists = physical_server_info.objects.filter(ip=vm_info.hostip).count() if phy_exists == 0:
phy_info = physical_server_info()
phy_exists = physical_server_info.objects.filter(ip=vm_info.hostip).count() if phy_exists == 0:
phy_info = physical_server_info()
phy_info.update_date = device_info_dict.get("update_date")
......
phy_info.memo = device_info_dict.get("memo")
phy_info.save()
phy_contain_vms = virtual_machine_info.objects.filter(hostip=vm_info.hostip)
return_dict["phy_contain_vms"] = phy_contain_vms

后续准备对这些信息做更进一步的改进,能够实现元数据的增量刷新,即数据发生变化的时候我会调用接口刷新数据到本地,否则还是保持不变。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/23718752/viewspace-2154541/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 知识付费的时代
请登录后发表评论 登录
全部评论

注册时间:2012-05-14

  • 博文量
    1667
  • 访问量
    14198279