最近在参加神策杯的一个比赛，名为“神策杯”2018高校算法大师赛，主要任务是从文本中提取关键词。尽管开头跑通了程序，但是提分的过程异常困难。既然如此，就把它完全转化为一个学习项目，而不是为了排名，所以在比赛进行中在这里进行交流。
首先讲自己的思路，也就是提取关键词的一般思路：
1.分词。这个过程极其重要，需要根据文本的内容进行较为合理的分词，才能够提取正确的关键词。有大佬说书名号之间的内容成为关键词的概率极高，但是如果都不能够正确提取出来就白搭了。
2.筛选。停用词需要去掉，一些词性显然无法成为关键词的也可以去掉。
3.打分。这个过程极其微妙，根据关键词的特性打分，最后筛选最能够代表文本内容的关键词。jiebaR里面有现成的关键词提取的函数，但是现成的东西肯定无法达到最优的效果，不得不在此基础上继续做一些工作。jiebaR里面的关键词提取是基于TF-IDF的，倒是省去了我们自己写代码来做的时间。最后提取关键词最优的前几位就是需要的正确答案了。
后面我将会从这三方面逐一做自己的探索，也希望看到的各位进行讨论交流，不断完善各自的工作。当然我已经有了baseline的方法，不然无法迭代出更好的方法。后面一篇文章先从分词开始，请各位大佬多多指教。
原文作者：；如有侵权，请联系管理员删除。
上一篇：
一次HBase读超时的调优
请登录后发表评论
登录
全部评论
