9001金沙澳门用机器学习怎样鉴别不可描述的网站

日期:2019-10-11编辑作者:互联网

全文大约3500字。读完可能需要下面这首歌的时间

可以预见,最终形成的是一个稀疏矩阵。Sklearn 也提供了一些方法,来进行文本到数值的转换,例如 CountVectorizer,TfidfVectorizer,HashingVectorizer。由前面的分析可知,title,deion,keywords 是较为特殊的文本,会出现很多关键词的堆积,尤其对于不可描述网站,同时相应的预料数据有限,因此本文使用的是 CountVectorizer 来进行简单的词频统计即可,代码如下:

当然在分析最终识别结果的过程中,还发现起始很多的色情语料被标记成了正常语料。原因在于,正常语料的来源是 alex 排名靠前的网站。在这其中是有部分的不可描述网站的。

一,哪些信息是网站关键的语料信息

表示的是 A 在 B 条件下的概率等于 B 在 A 条件下的概率乘以A出现概率除以 B 出现概率。对应到我们这个场景就是 B 是每一个 title 的特征,设 B=F1F2...Fn,即上述形成的稀疏矩阵的每一行,表示的是在该 title 中,词库中所有词在对应位置上出现的频率。

对于 P(Fn|C) 表示的某个类别下某个单词的概率(P(sex|0),表示不可描述网站集合中所有词中,sex 单词出现的概率),P(C) 表示某个类别的文本占比(p(0)表示不可描述网站数量占比),这些都是可以对文本进行统计得到的。而 P(F1F2...Fn) 是一个与类别无关的量,可以不与计算。因此可以看出最终是计算具有 F1F2...Fn 特征的文本属于不可描述网站(P(0|F1F2...Fn))和普通网站(P(1|F1F2...Fn))的概率,哪个概率大就归为那一类。当然关于朴素贝叶斯模型的原理,由于篇幅有限,就不过的阐述了。

使用 python 的 jieba 模块结合上述所述的 5 个步骤,得到若干单词,相应代码为:

分析原因发现,经过切词后,有不少的 title 为空,或者 title 只有很少单词的情况。形成的特征较弱,这种单词较少的情况是导致识别率不高的重要原因。例如 title 只有一个单词 video,由于该词在色情语料中属于高频词汇,在正常词汇中出现的频率也不低,因此只根据 title 就使得识别结果会随着语料的不同而不同。虽然对于搜索引擎来说,title 的权重大于 deion,deion 的权重大于 keywords。

P(A|B) = P(B|A) P(A) / P(B)

有了第三个步骤的词向量的数值特征,接下来就是训练模型的选择了。对于文本分类问题来说,较为经典的就是朴素贝叶斯模型了。贝叶斯定理如下:

既然不可描述网站能够通过该方法被识别出来,那么推测其他类型的网站应该也可以被识别。

因为排名靠前的正常网站有很多的中文以及其他国家的网站,而对于不可描述网站来说,英文占多数。

9001金沙澳门 1

9001金沙澳门 2

原标题:用机器学习怎样鉴别不可描述的网站

前两天教师节,人工智能头条的某个精神股东粉群里,大家纷纷向当年为我们启蒙、给我们带来快乐的老师们表达感激之情。

由前面分析发现 title,deion 以及 keywords 对于搜索引擎都是较为重要的信息,因此分别提取了网页的 title,deion 以及 keywords,并单独测试每一份的语料数据。

在面对加密通信报文情况下的数据时候,如何来识别不可描述网站呢?当然关于这方面,我有幸做过一些研究和实践。如果对这种场景下面识别感兴趣的同学,可以在我的的读者圈留言。我会再写一篇跟大家一同探讨。

当然还可以使用决策树以及 SVM 等模型来做分类预测,但是实际的测试效果并没有朴素贝叶斯好,以 deion 作为输入为例,决策树的识别率为 85% 左右。

矩阵每一行的值,就是经过上述方法切词之后,词库中每一个词在该 title 上出现的频率,当然对于没有在该 title 出现的词(存在于其他 title 中)计为 0 即可。

keywords(0.8912319644839067,0.8890122086570478,0.8901220865704772,0.8912319644839067,0.8856825749167592)

红色部分便是匹配上搜索关键词的部分,一个页面能够展示 10 个条目,每个条目的标题就是相应网站网站的的 title,对应网页的 <title></title> 中间的内容,每个条目所对应的剩下文字部分便是网站的 deion,是网页中诸如 <meta name="deion" content= 的部分。

本文由9001金沙澳门官网-金沙澳门登录网站发布于互联网,转载请注明出处:9001金沙澳门用机器学习怎样鉴别不可描述的网站

关键词:

9001金沙澳门今日起北京500条公交线可刷微信小程

9001金沙澳门,原标题:前天起新加坡500条公共交通线可刷微信小程序 PingWest品玩2月十三日讯,据新加坡市商报网音讯...

详细>>

小米8青春版VS魅族16X:7天后小米、魅族隔空交火

原标题:小米8青春版VS魅族16X:7天后小米、魅族隔空交火 作者:龚进辉 不是冤家不聚头,小米、魅族这对老冤家即...

详细>>

9001金沙澳门London法官第贰回判决U.S.A.股票法可适

今日块讯(ChinaZ.com) 9 月 12 日消息 据路透社 9 月 11日报道,一名纽约联邦法官裁定,美国证券法适用于起诉加密货币欺...

详细>>

9001金沙澳门助力数万家零售门店渠道管理升级,

原标题:助力数万家零售门店渠道管理升级,ImageDT做到了什么? “我们有一家全球知名的快消品客户,他们对零售门...

详细>>