ITPub博客

大快搜索黑科技亮相2019（第四届）大数据产业生态大会，斩获多项大奖。

大快搜索自荣获“2018中国大数据企业50强”殊荣，12月20日在由工信部指导，中国电子信息产业化发展研究院主办的2018中国软件大会上，大快搜索获评“2018中国大数据基础软件领域领军企业”称号，入选中国数字化转型TOP100服务商，《城市数据运河》获评优秀政务大数据解决方案。

大快搜索自荣获“2018中国大数据企业50强”殊荣，12月20日在由工信部指导，中国电子信息产业化发展研究院主办的2018中国软件大会上，大快搜索获评“2018中国大数据基础软件领域领军企业”称号，入选中国数字化转型TOP100服务商，《城市数据运河》获评优秀政务大数据解决方案。

12月20日，在工信部指导，中国电子信息产业发展研究院主办的2018中国软件大会上，宣布并成立了数字化转型促进会，大快搜索不仅成为数字转型促进会首批会员企业，来自大快搜索的李海鹏同志成功入选成为数字化转型促进会专家委员。

12月6日-7日，“2018问道崂山·中国（青岛）大数据应用与解决方案高峰论坛-暨首届大快搜索合作伙伴生态系统大会&开发者技术沙龙”在青岛海天大剧院酒店成功举办。

信息质量模型在互联网行业和互联网数据化运营中也是有着广泛基础性应用的。具体来说，电商行业和电商平台连接买卖双方最直接、最关键的纽带就是海量的商品目录、商品Offer、商品展示等，无论是B2C（如当当网、凡客网），还是C2C（如淘宝网），或者是B2B（如阿里巴巴），只要是以商业为目的，以交易为目的的，都需要采用有效手段去提升海量商业信息（商品目录、商品Offer、商品展示等）的质量和结构，从而促进交易。

图像的膨胀（Dilation）和腐蚀（Erosion）是两种基本的形态学运算，主要用来寻找图像中的极大区域和极小区域。其中膨胀类似于“领域扩张”，将图像中的高亮区域或白色部分进行扩张，其运行结果图比原图的高亮区域更大；腐蚀类似于“领域被蚕食”，将图像中的高亮区域或白色部分进行缩减细化，其运行结果图比原图的高亮区域更小。

智慧一概念已经提出很多年，这是一种全新的能源形式，包括符合生态文明和可持续发展要求的相关能源技术和能源制度体能源这系。智慧能源是以互联网技术为基础，以电力系统为中心，将电力系统与天然气网络、供热网络以及工业、交通、建筑系统等紧密耦合，横向实现电、气、热、可再生能源等“多源互补”，纵向实现“源、网、荷、储”各环节高度协调，生产和消费双向互动，集中与分布相结合的能源服务网络。

一般大公司的机器学习团队，才会尝试构建大规模机器学习模型，如果去看百度、头条、阿里等分享，都有提到过这类模型。当然，大家现在都在说深度学习，但在推荐、搜索的场景，据我所知，ROI并没有很高，大家还是参考wide&deep的套路做，其中的deep并不是很deep。

网上有非常多介绍大规模机器学习的资料，大部分的内容都集中在为何要做大规模机器学习模型以及Parameter Server相关的资料，但我们在实际实践中，发现大规模的特征预处理也有很多问题需要解决。有一次和明风（以前在阿里，后来去了腾讯做了开源的PS：angel）交流过这部分的工作为何没有人开源，结论大致是这部分的工作和业务相关性大，且讲明白了技术亮点不多，属于苦力活，所以没有开源的动力。

“互联网+”智慧能源的重点任务概括为：打造能源生产新手段，建设分布式能源新网络，探索能源消费新模式，统筹部署电网和通信网深度融合的新基础设施。智慧能源发展方向已经明确，能源行业怎样将互联网的优势更好地运用到能源产业中，赋予能源新的数字化属性和互联网思维，实现提高效率、节能减排、能源生产和消费革命化、智能化转型升级目标，成为能源行业目前必须认真研究解决的问题。

将非局部计算作为获取长时记忆的通用模块，提高神经网络性能在深度神经网络中，获取长时记忆（long-range dependency）至关重要。对于序列数据（例如语音、语言），递归运算（recurrent operation）是长时记忆建模的主要解决方案。对于图像数据，长时记忆建模则依靠大型感受野，后者是多层卷积运算堆叠的结果。

2018年11月6日，由大快搜索、南京大数据产业协会、南京东大智能化系统有限公司共同组织筹备的“大数据与智慧城市”南京技术交流会圆满结束。大快搜索常务副总李海鹏、大快搜索CTO王鑫义、大快搜索应用研究院院长高林、东大智能智慧城市事业部总经理凌霄汉、东大智能技术总监李玉峰等行业专家出席了会议。

当今技术的发展日新月异，系统架构也跟随技术的发展不断升级和改进，从传统的单一架构演变为如今的微服务分布式架构，我们来看看技术架构的演变过程。

伴随着社交媒体、电商、健康医疗、智能交通、电信运营、金融和智慧城市等各行业各领域的大数据的产生，大数据分析技术和应用研究使大数据呈现出不可限量的经济社会价值和科学研究意义，引起了国内外学术界和产业界的研究热潮，对此各国政府也高度重视并不断上升为国家战略高度。

所谓服务器大流量高并发指的是：在同时或极短时间内，有大量的请求到达服务端，每个请求都需要服务端耗费资源进行处理，并做出相应的反馈。

与云相比，移动系统受计算资源限制。然而众所周知，深度学习模型需要大量资源 。为使设备端深度学习成为可能，应用程序开发者常用的技术之一是压缩深度学习模型以降低其资源需求，但准确率会有所损失。尽管该技术非常受欢迎，而且已被用于开发最先进的移动深度学习系统，但它有一个重大缺陷：由于应用程序开发者独立开发自己的应用，压缩模型的资源-准确率权衡在应用开发阶段的静态资源预算的基础上就被预先确定了，在应用部署后

在分布式Web程序设计中，解决高并发以及内部解耦的关键技术离不开缓存和队列，而缓存角色类似计算机硬件中CPU的各级缓存。如今的业务规模稍大的互联网项目，即使在最初beta版的开发上，都会进行预留设计。但是在诸多应用场景里，也带来了某些高成本的技术问题，需要细致权衡。

数据缺失是数据科学家在处理数据时经常遇到的问题，本文作者基于不同的情境提供了相应的数据插补解决办法。没有完美的数据插补法，但总有一款更适合当下情况。

机器学习的模型训练越来越自动化，但特征工程还是一个漫长的手动过程，依赖于专业的领域知识，直觉和数据处理。而特征选取恰恰是机器学习重要的先期步骤，虽然不如模型训练那样能产生直接可用的结果。本文作者将使用Python的featuretools库进行自动化特征工程的示例。