前言:
如今姐妹们对“平分算法java”可能比较关心,咱们都想要剖析一些“平分算法java”的相关内容。那么小编同时在网络上网罗了一些有关“平分算法java””的相关知识,希望朋友们能喜欢,我们一起来学习一下吧!01 TF&IDF概念
TF
Term frequency:搜索文本中的各个词条在field文本中出现了多少次,出现次数越多,就越相关
term在一个doc中出现的次数,出现的次数越多,分数越高
IDF
Inverse document frequencry:搜索文本中的各个词条出现了多少次,出现的次数越多,越不相关
term在所有的doc中出现的次数,出现的次数越多,分数越低
length Norm
term搜索的那个Field的长度,长度越长,相关度越低,分数越低;长度越短,分数越高
最后结合TF,IDF,length Norm综合评分,得到该term对doc的最终分数
如何计算score
GET /website/article/1/_explain{ "query": { "match": { "title": "title" } }}
{ "_index" : "website", "_type" : "article", "_id" : "1", "matched" : true, "explanation" : { "value" : 0.2876821, "description" : "weight(title:title in 0) [PerFieldSimilarity], result of:", "details" : [ { "value" : 0.2876821, "description" : "score(doc=0,freq=1.0 = termFreq=1.0\n), product of:", "details" : [ { "value" : 0.2876821, "description" : "idf, computed as log(1 + (docCount - docFreq + 0.5) / (docFreq + 0.5)) from:", "details" : [ { "value" : 1.0, "description" : "docFreq", "details" : [ ] }, { "value" : 1.0, "description" : "docCount", "details" : [ ] } ] }, { "value" : 1.0, "description" : "tfNorm, computed as (freq * (k1 + 1)) / (freq + k1 * (1 - b + b * fieldLength / avgFieldLength)) from:", "details" : [ { "value" : 1.0, "description" : "termFreq=1.0", "details" : [ ] }, { "value" : 1.2, "description" : "parameter k1", "details" : [ ] }, { "value" : 0.75, "description" : "parameter b", "details" : [ ] }, { "value" : 2.0, "description" : "avgFieldLength", "details" : [ ] }, { "value" : 2.0, "description" : "fieldLength", "details" : [ ] } ] } ] } ] }}02 boolean model (过滤模型)
即先过滤包含单个term进行分词后的doc,该步骤是不进行计算分数的,得到true/false
其目的是为了减少计算的数据量,提升性能
03 向量空间模型
TF/IDF是对单个term在doc中的分数计算
但当进行多个关键词匹配的时候,其实doc最终只有一个分数,那么这个分数的计算是通过向量空间模型得出的
向量空间模型:多个term对一个doc的分数
es会根据多个关键词对应的所有doc评分情况,计算出一个query vector(向量)
举例来讲,比如要搜索“hello world”这个term,那么es会给每个doc,拿每个term计算出一个分数,比如说hello 有一个分数为2,world有一个分数为5,然后再拿所有term的分数组成一个doc vector,然后取每个doc vector对query vector的弧度,给出每个doc对多个term的总分数
04 lucene的相关度分数算法
1.lucence practical scoring function
practical scoring function:计算一个query对一个doc的分数公式
score(q,d) = queryNorm(q) .coord(q,d) .Σ(
tf(t in d)
.idf(t)2
.t.getBoot()
. norm(t,d)
) ( t in q)
score(q,d)
这个公式的最终结果:一个query(q),对一个doc(d)的最终总评分
queryNorm(q)
用来让一个doc的分数处于一个合理的区间
queryNorm=1/sumOfSquaredWeights的平方根:即对所有term的IDF求和,然后平方根,最后再被除1,得到的分数会很小
sumOfSquaredWeights:所有term的IDF分数之和
coord(q,d)
对更加匹配的doc,进行一些分数上的成倍奖励
例如
Document 1 with hello -> score:1.5
Document 2 with hello world -> score:3.0
Document 3 with hello world java -> score:4.5
Document 1 with hello -> score:1.5*1/3 = 0.5
Document 2 with hello world-> score:3.0*2/3 = 2.0
Document 3 with hello world java-> score:4.5*3/3 = 4.5
把计算出来的总分数*匹配到的query数量/总query数量
Σ( t in q)
query中每个term对doc的分数,进行求和;多个term对一个doc的分数,组成一个空间向量,然后进行计算
比如query=hello world,那么就是对hello相对应的doc分数,world相对应的doc分数求和
tf( t in d)
计算每一个term对doc的分数,其实就是TF/IDF算法
idf(t)2
计算term对所有doc的分数,IDF算法
t.getBoost()
自定义控制查询的权重
norm(t,d)
就是term匹配到的field的长度,长度越长,分数越低
05 四种相关度评分优化方法
1.query time boost
query的时候指定boost
GET /forum/article/_search{ "query": { "bool": { "should": [ {"match": { "sub_title": { "query": "learn", "boost": 10 } }}, { "match": { "content": "java spark" } } ] } }}
2.重构查询结果
GET /forum/article/_search{ "query": { "bool": { "should": [ {"term": { "content": { "value": "java" } }}, { "term": { "content": { "value": "spark" } } }, { "term": { "content": { "value": "hadoop" } } }, { "term": { "content": { "value": "elasticsearch" } } } ] } }}
3.negative boost
negative的doc,会乘以negative_boost,这样分数会降低
GET /forum/article/_search{ "query": { "boosting": { "positive": { "match": { "content": "java" } }, "negative": { "match": { "content": "spark" --不会排除spark内容,但是会将spark的分数降低 } }, "negative_boost": 0.2 } }}
4.constant_score
不需要相关度分数,直接使用constant_score,所有的doc score都是1
GET /forum/article/_search{ "query": { "constant_score": { "filter": { "term": { "content": "java" } } } }}06 自定义function_score函数
自己将某个field的值,跟es内置算出来的分数进行运算,然后由自己指定的field来进行分数的增强
1.新增字段
POST /forum/article/_bulk{"update":{"_id":1}}{"doc":{"follower_num":50}}{"update":{"_id":2}}{"doc":{"follower":"30"}}{"update":{"_id":3}}{"doc":{"follower":40}}{"update":{"_id":4}}{"doc":{"follower":100}}{"update":{"_id":5}}{"doc":{"follower":60}}
2.自定义分数查询
GET /forum/article/_search{ "query": { "function_score": { "query": { "multi_match": { "query": "java spark elasticsearch hadoop", "fields": ["content","tag"] } }, "field_value_factor": { "field": "follower_num", "modifier": "log1p", "factor": 3 }, "boost_mode": "sum", "max_boost": 10 } }}
field
默认情况下每个doc的分数会和field的值进行相乘
modifier:
当doc分数与field相乘后,得到的分数分布可能不均衡,此时使用modifier,指定函数
log1p:公式 newscore = oldscore * log(1+numberofvotes)
将field的值+1取log后,然后与doc的分数进行相乘得到新的分数
factor:
进一步影响分数,计算公式为: newscore = oldscore * log(1+ factor * numberofvotes)
控制与field的值,可以影响权重
boost_mode:
可以决定分数与指定字段的值如何进行计算,默认是相乘(multiply)
sum,min,max,replace,multiply
max_boost:
限制计算出来的分数不要超过max_boost指定的值,这个参数影响作用不大
标签: #平分算法java