Flink 与Flink可视化平台StreamPark教程(DataStreamApi基本使用)
本文分享自天翼云开发者社区《Flink 与Flink可视化平台StreamPark教程(DataStreamApi基本使用)》,作者:l****nDataStreamApi dataStreamApi是一切的基础,处于调度flink程序处理任务的起点。Flink 有非常灵活的分层 API 设计,其中的核心层就是 DataStream/DataSet API。由于新版本已经实现了流批一体,
“翼”展锋芒,天翼云高性能计算领域论文被IEEE HPCC 2025收录!
近日,由天翼云科技有限公司基础架构事业部(操作系统技术部)高性能网络研发团队撰写的论文《APSCC: Adaptive Congestion Control for Packet-Sprayed RDMA Networks in AI Clusters》被2025年第27届IEEE国际高性能计算与通信会议(HPCC)高分录用。这标志着天翼云在高性能网络与人工智能集群通信领域的核心技术已达到国际领先
云行 | 国云聚智 AI甬动,天翼云中国行·宁波站成功举办!
近日,以“国云聚智 AI甬动”为主题的天翼云中国行·宁波站暨2025浙江电信AI+产业融合创新主题活动在宁波成功举办。作为第十五届智慧城市与智能经济博览会的重要组成部分,本次活动邀请到宁波市人民政府副市长金珊,宁波市人民政府副秘书长虞礼勇,宁波市通信管理局局长杨碧慧,宁波市经济和信息化局副局长汪辉,宁波市发展和改革委员会创新与高技术发展处处长杜旭东,中国电信浙江公司总经理李云庄,中国电信集团工业行
Flink 与Flink可视化平台StreamPark教程(开篇)
本文分享自天翼云开发者社区《Flink 与Flink可视化平台StreamPark教程(开篇)》,作者:l****n介绍Flink是一个大数据流处理引擎,可以为不同行业提供实时大数据处理解决方案。随着Flink的快速发展和改进,世界各地的许多公司现在都能看到它的存在。目前,北美、欧洲和金砖国家都是全球Flink应用的热门地区。当然,Flink在中国的知名度特别高,部分原因是一些互联网大厂的贡献和引
Flink和StreamPark自定义UDF函数的使用
本文分享自天翼云开发者社区《Flink和StreamPark自定义UDF函数的使用》,作者:王****帅1、什么是函数 在 SQL 中,我们可以把一些数据的转换操作包装起来,嵌入到 SQL 查询中统一调用,这就是“函数”(functions)。Flink 的 Table API 和 SQL 同样提供了函数的功能。两者在调用时略有不同:Table API 中的函数是通过数据
Flink Parallelism、Flink Slot的关系
本文分享自天翼云开发者社区《Flink Parallelism、Flink Slot的关系》,作者:王****帅1、Parallelism(并行度)的概念parallelism 在 Flink 中表示每个算子的并行度。举两个例子(1)比如 kafka 某个 topic 数据量太大,设置了10个分区,但 source 端的算子并行度却为1,只有一个 subTask 去同时消费10个分区,明显很慢。此
Kafka配置SASL_SSL认证传输加密
本文分享自天翼云开发者社区《Kafka配置SASL_SSL认证传输加密》,作者:王****帅一、SSL证书配置1、生成证书 如我输入命令如下:依次是 密码—重输密码—名与姓—组织单位—组织名—城市—省份—国家两位代码—密码—重输密码,后面告警不用管,此步骤要注意的是,名与姓这一项必须输入域名,如 “localhost”,切记不可以随意写,我曾尝试使用其他字符串,在后面客户
攻克大模型训练网络瓶颈,天翼云论文获ACM ICS顶会收录!
近日,由天翼云公有云事业部联合基础架构事业部所撰写的论文《CTCCL: Cost-Efficient Joint Device-Network Load Balancing for LLM Training in RoCE-based Intelligent Computing Network》被第39届ACM International Conference on Supercomputing
分布式系统-秒杀
本文分享自天翼云开发者社区《分布式系统-秒杀》,作者:胡****冲链接暴露打开谷歌的开发者模式,查看网页代码,请求时就会有接口地址按钮置灰在开放前按钮一直置灰,URL 不会暴露,定期更换地址URL 动态化@RequestMapping(value = "/{goodsId}/getUrl")//获取动态 md5 @RequestMapp
分布式架构基础
本文分享自天翼云开发者社区《分布式架构基础》,作者:胡****冲基础事务事务指的就是一个操作单元,在这个操作单元中的所有操作最终要保持一致的行为,要么所有操作都成功,要么所有的操作都被撤销本地事务本地事物其实可以认为是数据库提供的事务机制(ACID 原则)分布式事务分布式事务指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上,分布式事务就是为了保证不同
kafka数据同步到mysql
本文分享自天翼云开发者社区《kafka数据同步到mysql》,作者:刘****猛kafka安装使用docker-compose进行安装,docker-compose文件如下:version: '2'services: zookeeper: image: wurstmeister/zook
flink-cdc之mysql到es
本文分享自天翼云开发者社区《flink-cdc之mysql到es》,作者:刘****猛环境搭建version: '2'services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.6.1
大数据产品线生产操作安全规约
本文分享自天翼云开发者社区《大数据产品线生产操作安全规约》,作者:朱****静 第一章 总 则第一条 为健全安全生产制度,落实安全生产责任,增强安全风险/隐患排查治理能力,促进安全生产长效机制建设,防止和减少生产安全事故,结合大数据产品线实际情况,特制定本生产操作安全管理办法。第二条 本管理办法适
云上托举智造梦,天翼云为机械工业注入澎湃数字活力!
近日,工业和信息化部等八部门印发《机械工业数字化转型实施方案(2025—2030)》,提出两步走发展目标:到2027年,数智技术在装备研发设计、生产制造、经营管理、运维服务等环节广泛应用,带动机械工业企业数字化研发设计、智能化生产、供应链管理水平稳步提升;到2030年,行业数字化智能化水平大幅提升。设备“会说话”,系统“能思考”,生产“自适应”。在数字科技的赋能下,机械工业正摆脱传统模式的束缚,迈
数字先锋 | 数字之光,在“水”一方,天翼云加速攀枝花水务集团国产化发展!
水务行业是城市经济发展的命脉,更是保障人民生活幸福的基本要素。近年来,得益于新兴数字技术的赋能,我国水务系统已进入从粗放式发展到高质量发展、从传统模式驱动到创新模式驱动的变革期。攀枝花市位于四川省南部,地处三江汇流地带,水资源丰富。攀枝花市水务(集团)有限公司(以下简称“攀枝花水务集团”)抢抓数字化转型新机遇,携手天翼云完成了智慧水务系统的国产化改造,助力当地治水用水提质增效。 攀枝花水务集团探索
“1-5-10”确定性运维工作思路
本文分享自天翼云开发者社区《“1-5-10”确定性运维工作思路》,作者:朱****静监控与预警体系:1. 构建了强大的分布式监控系统,能够实时监控云计算平台和各类业务系统的运行状态,包括服务器性能、网络流量、应用程序响应时间等众多指标。通过在不同层次和维度设置监控点,确保无死角地监测系统运行状况。2. 利用机器学习和人工智能算法对
浅谈故障复盘
本文分享自天翼云开发者社区《浅谈故障复盘》,作者:朱****静一、完善项目排障机制,做好预防性措施1、完善项目内评审机制,关键操作执行前反复验证,如:是否抛出异常、返回值是否正确、确认操作结果是否符合预期等;2、制定排障预案,严格按照排障流程执行操作;3、研发人员需要输出详细的操作手册,手册详细记录操作内容、操作步骤、测试信息、回退方案等,确保现场人员根据操作手册可无误准确的执行操作;4、增加hd
搭建MySQL主从
本文分享自天翼云开发者社区《搭建MySQL主从》,作者:2****m—— 本文基于MySQL 5.7.36进行演示1、下载MySQL安装包官网网址:https://downloads.mysql.com/archives/community2、解压MySQL安装包将以下包上传至服务器:mysql-community-common-5.7.43-1.el7.x86_64.rpmmysql-commu
安装minio集群
本文分享自天翼云开发者社区《安装minio集群》,作者:2****m1. 创建minio用户# 创建用户 useradd minio # 赋予密码(生产环境需强密码) passwd minio # 设置密码有效期为99999天 chage -M 99999 minio2. 创建挂载磁盘路径mkdir 
NFS使用
本文分享自天翼云开发者社区《NFS使用》,作者:2****m安装nfs# nfs依赖于rpc,故需安装nfs-utils rpcbind yum install -y nfs-utils rpcbind # 指定nfs监听端口 vim /etc/sysconfig/nfs RQUOTAD_PORT=3000