ItemStudy:新增了利用大语言模型判断

[CF1E9C4E73CE6187D071753377915C83.jpg]https://photo1303301880.cos.apguangzhou.myqcloud.com/2024/05/23/664e40bbd5dd2.jpg 由于之前判断语义存在问题,且无法简单用ReverseItem作判断,现通过调用大语言模型判断item对语义是否相反,并将语义相反的item对的similarity取负。在特定模型下(这次是deepse

CF1E9C4E73CE6187D071753377915C83.jpg

由于之前判断语义存在问题,且无法简单用ReverseItem作判断,现通过调用大语言模型判断item对语义是否相反,并将语义相反的item对的similarity取负。在特定模型下(这次是deepseek-chat)选取两端(similarity >0.5>0.5)进行测试(N=204N=204),发现正correlation区在现有样例中全部维持原判(N=161N=161),而负correlation区有2929个判负,1414个判正(即约0.3250.325的误判率)。

所以这种方法并不能很好地解决负correlation的问题,需要进一步研究。

评论

0

还没有评论。