ITPub博客

随着互联网数据规模越来越大，并发请求越来越高，传统的关系数据库系统在性能、价格、可扩展性方面已经不能很好地满足需求。谷歌、亚马逊等互联公司率先在后台基础设施中引入超大规模分布式存储系统，用来解决海量数据的存储问题。与传统的集中式存储技术不同，分布式存储没有将数据存储在某个特定节点上，而是通过网络将各个节点分散的存储资源汇聚成一个虚拟的存储备，将数据分散在各处。相较于集中存储，分布式存储成本低，扩展

1. TCP连接当网络通信时采用TCP协议时，在真正的读写操作之前，server与client之间必须建立一个连接，当读写操作完成后，双方不再需要这个连接 时它们可以释放这个连接，连接的建立是需要三次握手的，而释放则需要4次挥手，所以说每个连接的建立都是需要资源消耗和时间消耗的经典的三次握手示意图：经典的四次挥手图：tcp的十种状态图：注意:当一端收到一个FIN，内核让read返回0来通知应用层另

了解接口常见漏洞，将帮助你在测试接口获取更多的思路。信息披露信息可能会在 API 响应或公共来源（如代码存储库、搜索结果、新闻、社交媒体、目标网站和公共 API 目录）中披露。敏感数据可以包含攻击者可以利用的任何信息。例如，使用WordPress API的网站可能会在不知不觉中与导航到API路径的任何人共享用户信息。/wp-json/wp/v2/usersGET https://www.

一、概述ELK 已经成为目前流行的集中式日志解决方案，它主要是由 Beats、Logstash、Elasticsearch、Kibana 等组件组成，来共同完成实时日志的收集，存储，展示等一站式的解决方案。本文将会介绍ELK常见的架构以及相关问题解决。Filebeat：Filebeat是一款轻量级，占用服务资源非常少的数据收集引擎，它是ELK家族的新成员，可以代替 Logstash 作为在应用服务

一、Redis rehash问题回顾简单回顾下超出key阈值后，需要额外的hash表内存大小：键值个数需要额外的hash表内存大小134,217,7282GB67,108,8641GB33,554,432512.0MB16,777,216256.0MB8,388,608128.0MB4,194,30464.0MB2,097,15232.0MB1,048,57616.0MB524,2888.0MB随

HostPath 是一种持久化存储，但 HostPath 内容是存储在节点上，导致只适合读取。如果要求 Pod 重新调度后仍然能使用之前读写过的数据，就只能使用网络存储了，网络存储种类非常多，且有不同的使用方法，常见公有云提供商有块存储、文件存储、对象存储三种。K8s 解决这个问题的方式是抽象了PV 和 PVC 来解耦这个问题，从而让使用者不用关心具体的基础设施，当需要存储资源的时候，只要像 CP

集群以及环境信息的信息：k8s v1.18.43 节点 Master 均为 8核 16G，50Gi-SSD差异化配置的 19 节点 Minioncontrol-plane 组件 (kube-apiserver，etcd，kube-controller-manager，kube-scheduler) 以 static-pod 的模式进行部署3 个 kube-apiserver 前端有一个 VIP 进

从出现伊始就让人眼花缭乱的AI 新闻：这是人类曙光，是定义未来 10 年的机会，是新的移动互联网，新的工业革命，新的普罗米修斯之火......讲真，这些你也听腻了吧？2023世界人工智能大会闭幕，我们就从技术、应用、社会角度，以图文共赏的形式去观察人工智能的发展趋势吧。大模型的风潮卷了半年，2023年的世界人工智能大会（WAIC）成了不可缺席的盛典。——AI应用展示！AI绘画、写文、作诗早已不是新

当pod处于crash状态的时候，容器不断重启，此时用 kubelet logs 可能出现一直捕捉不到日志。解决方法：kubectl previous 参数作用：If true, print the logs for the previous instance of the container in a pod if it exists.单容器pod：kubectl&

我们来看一段对话：下面来解析：一、存在哪？1. 哈希表(hashtable)要知道能存多少，首先要知道Redis的键值对存在哪？你可能已经猜到了哈希表，它是天然的键值对数据结构，各种语言都支持该数据结构，基本上是使用数组链表的形式实现的（JDK 8用的红黑树），下面是一个整体结构。dictEntry存储的是实际键值对，它的的结构定义如下所示:typedefstruct dictEntry

1. 概述在使用Python 命令或者 Python的命令行工具的时候，一个痛点是没有补全。比如python -m后面输入包名字，就没有提示，每次想运行一个http server的时候，都需要搜索一下http服务的包名。另外，像pip，pipx等命令也没有提示，使用不太方便。偶然看到argcomplete[1]这个库，按tab键就可以给Python的命令行添加自动补全，简直是使用Python的一个

nsenter 命令是一个可以在指定进程的命令空间下运行指定程序的命令。它位于 util-linux 包中。用途一个最典型的用途就是进入容器的网络命令空间。相当多的容器为了轻量级，是不包含较为基础的命令的，比如说ip address，ping，telnet，ss，tcpdump等等命令，这就给调试容器网络带来相当大的困扰：只能通过 docker inspect ContainerID&n

什么是约定式提交约定式提交（Conventional Commits）是一种用于代码版本控制的规范，旨在通过明确和标准化提交信息来提高代码协作质量和效率。其基本原则是通过规定提交信息的结构和语义来提高代码版本控制的可读性、可维护性和自动化程度。约定式提交规范通常要求提交信息包括一个描述性的"类型"、一个可选的"作用域"、一个用于简洁说明的"主题&q

企业数字化转型，应用软件不断升级，对运行环境的要求也越来越高，CPU、内存等硬件也同步进入升级。当业务运行或备份时，将产生大量历史文件和临时文件，这就是在运维检测中，我们常看到文件每天几个G，甚至几十G增加的原因。迅猛增长的文件占用大量内存空间，要求足够的硬盘容量支撑系统的正常运行。受限于硬盘容量，经验型的现场工程师会采用各种技术，自动清除临时数据和历史文件。避免硬盘剩余空间不足，影响系统正常运行

在这篇文章中我们介绍了如何利用 Prometheus 监控应用。在后续的工作中随着监控的深入，我们结合自己的经验和官方文档总结了一些 Metrics 的实践。希望这些实践能给大家提供参考。确定监控对象在具体设计 Metrics 之前，首先需要明确需要测量的对象。需要测量的对象应该依据具体的问题背景、需求和需监控的系统本身来确定。从需求出发Google 针对大量分布式监控的经验总结出四个监控的黄金指

随着金融科技领域的不断发展，金融机构改变了传统方式，将更多服务从线下转移到线上，为了提升客户体验和效率，金融机构不断探索自然语言处理、机器学习等技术手段来优化客服服务，其中大模型技术被广泛应用，成为当前最热门的研究方向之一，是目前通往AGI的实现方式。大模型最早的关注度源于NLP领域，随着多模态能力的演进，CV领域及多模态通用大模型也逐渐成为市场发展主流。本报告主要针对当前最为热门的大模型进行研究

出于对Linux操作系统的兴趣，以及对底层知识的强烈欲望，因此整理了这篇文章。本文也可以作为检验基础知识的指标，另外文章涵盖了一个系统的方方面面。如果没有完善的计算机系统知识，网络知识和操作系统知识，文档中的工具，是不可能完全掌握的，另外对系统性能分析和优化是一个长期的系列。本文档主要是结合Linux 大牛，Netflix 性能架构师 Brendan Gregg 更新 Linux 性能调优工具的博

想象一下，你盯着 Linux 中一大堆晦涩难懂的目录名。你想知道应该把特定类型的文件放在哪里。于是把文件随意放进了 /usr/share，希望这样做是正确的。几天后，你发现应该把它放在 /var/local。我们都有过类似的经历。Linux 的目录结构可能非常令人困惑，甚至有时毫无道理可言。这些名称究竟代表什么？哪里才是放置文件的“正确”位置？准备好解密 Linux 目录，因为我们将踏上一段穿越时

NMap，也就是Network Mapper，是Linux下的网络扫描和嗅探工具包。其基本功能有三个：（1）是扫描主机端口，嗅探所提供的网络服务（2）是探测一组主机是否在线（3）还可以推断主机所用的操作系统，到达主机经过的路由，系统已开放端口的软件版本nmap端口状态解析open ：应用程序在该端口接收 TCP 连接或者 UDP 报文。closed ：关闭的端口对于nmap也是可访问的， 它接收n

6月底，和Q3的KPI一起赶来的是南方的梅雨季。持续不断的降雨，使空气湿度一度高达75%-80%，南方人正式开启高温酷暑下的桑拿模式。高温高湿除了带来体感不适，还会导致心情抑郁、烦燥、易疲倦......毕竟，与此强相关的，还要“照顾”好机房的湿度。机房湿度小常识机房湿度维持在40% ~ 60%是比较健康的状态。湿度过高容易导致设备内部腐蚀、绝缘失效、电路短路等问题，还会滋生霉菌、蚊虫等。湿度过低容