【机器学习】特征工程与模型调优
1、特征工程与意义特征就是从数据中抽取出来的对结果预测有用的信息。特征工程是使用专业知识背景知识和技巧处理数据,是得特征能在机器学习算法上发挥更好的作用的过程。2、基本数据处理数据采集需要思考那些数据有用数据是否容易采集到线上实时计算的时候获取是否快捷数据清洗数据清洗做的事情:洗掉脏数据思考角度:1
为什么要分库分表?
随着近些年信息化大跃进,各行各业无纸化办公产生了大量的数据,而越来越多的数据存入了数据库中。当使用MySQL数据库的时候,单表超出了2000万数据量就会出现性能上的分水岭。并且物理服务器的CPU、内存、存储、连接数等资源有限,某个时段大量连接同时执行操作,会导致数据库在处理上遇到性能瓶颈。为了解决这
一夜搞懂 | JVM GC&内存分配
学习导图一.为什么要学习GC&内存分配?时代发展到现在,如今的内存动态分配与内存回收技术已经相当成熟,一切看似进入了“自动化”时代,不免发出疑问:"为啥我们还要了解垃圾收集和内存分配?"答案很简单,当需要排查各种内存溢出/泄漏问题的时候,当垃圾收集成为系统达到更高并发量的瓶颈的时候,我们必须
今天又懒得加班了,能写出这两个算法吗?带你去电商公司写商品中心
前言不知道大家有没有一个同感?天下产品一大抄,简直比程序员的CV法则还厉害!产品一张图,交互全凭自己意会,比如产品经理常说的一句话:"你参考一下某夕夕,某猫,某东",实际上我们没有它们的后台账号,他就点了两下给我们看。效果言归正传,想必每一家电商公司,都有自己的商品中心,今天又懒得加班了,我带你实现
机器学习:决策树入门之泰坦尼克号案例
本文用于记录机器学习中的一次入门练习,即:利用决策树进行简单的二分类。同时,结合Kaggle上的经典案例Titanic,来测试实际效果。一、数据集采用Kaggle中的Titanic的数据集。数据包含分为:训练集:trainingset(train.csv)测试集:testset(test.csv)提