动态线程池思想学习及实践
相关文档美团线程池实践:https://tech.meituan.com/2020/04/02/java-pooling-pratice-in-meituan.html线程池思想解析:https://www.javadoop.com/post/java-thread-pool引言在后台项目开发过程中,我们常常借助线程池来实现多线程任务,以此提升系统的吞吐率和响应性;而线程池的参数配置却是一个难以
如何画一个系统的设计图
为什么写本文评审中发现很多研发都不会画设计图,有的画的非常复杂但没有要点,听的人不知道要表达的是什么;有的图画的非常简单,也没有要点。如果设计图只有在讲解的时候通过别人长时间的询问才能明白,那么设计图还有什么价值?大部分研发内心想提升设计能力,但有一些错误的观念可能会阻碍设计的成长。比如“参考一个好的设计模版,我就能做出好设计了这种想法”,我个人认为是非常错误的观点。本文不会谈及具体的图形画法比如
为什么我的项目Debug运行没问题,编译成Release包就报错?
引言在Android开发中,debug包和release包的行为差异可能导致release包在运行时出现问题,而这些问题在debug包中不会出现。本文主要介绍debug包和release包的差异,导致此问题出现的可能原因及解决办法。一、Debug与Release编译的基本差异1. 编译配置· 优化级别:Release模式通常启用更别的编译优化,包括代码内联、循环展开、死代码移除等,以提高应用性能和
HBase集群数据在线迁移方案探索
一、背景订单本地化系统目前一个月的订单的读写已经切至jimkv存储,对应的HBase集群已下线。但存储全量数据的HBase集群仍在使用,计划将这个HBase集群中的数据全部迁到jimkv,彻底下线这个HBase集群。由于这个集群目前仍在线上读写,本文从原理和实践的角度探索对HBase集群数据的在线迁移的方案,欢迎大家补充。二、基础理论梳理HBase整体架构重温一下各个模块的职责HBase客户
AIGC系统中聊天小助手卡片小组件嵌套设计实践
1.项目描述领航者卡片样式较多,有些卡片比较近似;可以用嵌套方案,实现一个卡片,多个子单元 可拔插组件式卡片。2.逻辑设计2.1卡片示例-聊天框提示3 通用提示卡片 设计通用卡片中加载// 卡片组件unit加载...if(!options?.dataType){ if(options?.contentTop){
ClickHouse内幕(3)基于索引的查询优化
ClickHouse索引采用唯一聚簇索引的方式,即Part内数据按照order by keys有序,在整个查询计划中,如果算子能够有效利用输入数据的有序性,对算子的执行性能将有巨大的提升。本文讨论ClickHouse基于索引的查询算子优化方式。在整个查询计划中Sort、Distinct、聚合这3个算子相比其他算子比如:过滤、projection等有如下几个特点:1.算子需要再内存中保存状态,内存代
没时间了解技术热点?让大模型帮你整理重点吧!
1. 前言提问:技术人的精神食粮是什么❓AI给出的第一条是“知识与学习”。学习的方式有很多种,对笔者而言了解新技术和新热点是保持职业热爱很重要的方式。完成日常工作是保证物质基础,人终究还是想追求一些精神价值😂。但日常工作已经占用了大量的时间,此外还有生活琐事需要对线,根本就没有时间搜集并学习新知识。这时如果有一个工具能自动抓取技术热点并将长篇大论的文字浓缩为100~200字左右的摘要,这样每
奇怪!应用的日志呢??
1. 问题回顾 问题背景是在进行中台应用中间件迁移过程中,发现存在项目启动失败或者项目正常启动(jsf正常挂载并正常运行,mq正常发送和消费)但是无任何日志打印现象。更奇怪的是不打印日志竟然是偶发的,在测试环境中多次部署都未出现项目启动但无日志打印情况,而且玄学的是生产环境两台机器,其中一台正常日志打印,另一台无任何日志打印(应用运行正常)。通过多次重启无日志打印机器仍未恢复日志打印,最终通
从缺陷到创新:质量保障的新视角
1.背景:最近一段时间研发大佬们在积极的治理告警,经过一段时间的治理,现在告警情况已经有了很大的改观,但难免还有漏网之鱼;具体我们可以以下边一个例子来看:这是一个生产的UMP告警,通过这个告警我们发现XXX这个应用的堆内存使用率为90.18%,超过了设置的告警阈值85%,所以产生了这样的一个告警;那什么是堆内存呢?1.1.Java堆内存Java堆内存的定义Java堆内存是JVM内存的一部分,专门用
ClickHouse内幕(1)数据存储与过滤机制
本文主要讲述ClickHouse中的数据存储结构,包括文件组织结构和索引结构,以及建立在其基础上的数据过滤机制,从Part裁剪到Mark裁剪,最后到基于SIMD的行过滤机制。数据过滤机制实质上是构建在数据存储格式之上的算法,所以在介绍过滤机制前先介绍下ClickHouse中数据存储格式。PS:本文基于ClickHouse v24.1一、数据存储的目录结构ClickHouse数据存储在目录结构上采用
ClickHouse内幕(2)基础数据结构
ClickHouse以性能好被大家所熟知,而一个数据库的性能优化是一个庞大的系统性工程。本文着眼于ClickHouse内部的基础数据结构,以揭露ClickHouse性能优化的冰山一角。在软件工程中并不是所有的执行路径都需要优化,只有关键执行路径才需要花费大力气进行优化。对于数据库领域来说关键执行路径,一句话就可以概括,一个查询中对每行数据都需要执行的函数或者代码。而基础数据类型是关键执行路径上的算
大模型应用之基于Langchain的测试用例生成
一 用例生成实践效果在组内的日常工作安排中,持续优化测试技术、提高测试效率始终是重点任务。近期,我们在探索实践使用大模型生成测试用例,期望能够借助其强大的自然语言处理能力,自动化地生成更全面和高质量的测试用例。当前,公司已经普及使用JoyCoder,我们可以拷贝相关需求及设计文档的信息给到JoyCoder,让其生成测试用例,但在使用过程中有以下痛点:1)仍需要多步人工操作:如复制粘贴文档,编写提示
大模型在推荐系统中的精准推荐策略与实践
引言推荐系统在现代互联网应用中占据了极其重要的位置。无论是电商平台、社交媒体、音乐和视频流媒体服务,还是新闻和内容推荐系统,推荐系统都在提高用户体验和平台收益方面发挥着关键作用。近年来,随着人工智能和机器学习技术的迅猛发展,大模型(如GPT-4、BERT等)因其强大的特征表示和推理能力,逐渐在推荐系统中崭露头角。本文将探讨大模型在推荐系统中的精准推荐策略与实际应用,并通过具体案例深入分析其在电商平
Junit4遇上chatGPT
这是一篇适合Java工程师体质的AI开发教程。本教程会教你写一个简单的junit4的Rule,该Rule在基于junit4的测试方法失败后,自动向GPT发送错误信息并通过GPT分析得出代码修改建议。首先向AI问好简单的通过AI,让它基于json格式生成相应的类文件,这样方便我们在代码中使用,而不用显示写json字符串。package com.jd.jr.parrot.llm;import
暗水印——变换域DCT水印算法(一种通用性强,能有抵御攻击的手段)
随着计算机和网络技术的飞速发展,信息的安全保护问题日益突出。数字图像、音频和视频等多媒体数字产品愈来愈需要一种有效的版权保护方法——水印技术,通常用于保护知识产权、防止未经授权的访问、作弊等。 广义上可以把水印技术划分为四大类:图像水印、视频水印、音频水印和文本水印。这些水印技术都有其独特的特点和应用场景,需要根据具体的数字媒体保护需求进行选择
记一次疑似JVM内存泄漏的排查过程
一、背景在日常部门OpsReview过程中,部门内多次遇到应用容器所在的宿主机磁盘繁忙导致的接口响应缓慢,TP99增高等影响服务性能的问题,其中比较有效的解决方案是开启日志的异步打印,可以有效避免同步日志打印在磁盘IO高起的情况下拖慢业务线程的执行效率。部门内的jimkv应用为了配合仓做切量,在最近将日志打印功能降到了INFO级别,打开日志打印以便问题排查,期间遇到过一次因宿主机磁盘繁忙引起TP9
pfinder实现原理揭秘
1.引言在现代软件开发过程中,性能优化和故障排查是保证应用稳定运行的关键任务之一。Java作为一种广泛使用的编程语言,其生态中涌现出了许多优秀的监控和诊断工具,诸如:SkyWalking、Zipkin等,它们帮助开发者和运维人员深入了解应用的运行状态,快速定位和解决问题。在京东内部,则使用的是自研的pfinder。本文旨在深入探讨pfinder的核心原理和架构设计,揭示它是如何实现应用全链路监控的
深入跨域 - 解决方案
1 前言前文 《深入跨域 - 从初识到入门》 中,大家已经对同源与跨域的产生历史与重要性等有了一个初步的了解了,那么我们应该如何解决在日常开发中遇到的跨域引起的问题呢?2 一览图我们将日常开发中的跨域解决方案大体分为两类:iframe跨域 与 API跨域:3 iframe跨域3.1 otherWindow.postMessageotherWindow.postMessage(m
ComfyUI 完全入门:ControlNet 使用教程
大家好,我是每天分享AI应用的萤火君!今天继续给大家分享ComfyUI的入门必备技能:ControlNet。ControlNet 提供了十几种生成图片的控制方式,有的可以控制画面的结构,有的可以控制人物的姿势,还有的可以控制图片的画风,这对于提高AI绘画的质量特别有用;基于 ControlNet 的能力,炼丹师们可以将AI绘画拓展到很多的应用场景,比如艺术二维码、光影文字、线稿上色、老照片修复、图
走进京东“卓越研效架构师”首期研习营圆满收官
五月的北京,春深半夏,花开满城。由全国云计算技术行业产教融合共同体牵头,携手工业和信息化部电子第五研究所、E³CI软件研发效能度量工作委员会以及京东云共同主办的“走进京东——卓越研效架构师”研习营,于5月17-18日和24-26日在北京京东总部成功举行。此次活动,汇聚了业界多家知名金融、制造等企业研发精英,共同探讨和学习研效的发展与未来,为行业产教融合注入新动力。本次研习营为期五天,由六位研发效能