对于把题目级别上限扩至9D的一点想法

2019年1月17日 11:06来自:lurkarot

站长和高手们在《新的难度调整》一贴里提到了扩展级别上限到9D。原因主要是让题目分布更加均匀,期待题目的等级能更准确。这个想法的初衷很合理,但也会带来一些问题。最明显的就是新旧难度脱节,棋友级别需要重新定义,可能会造成一系列的波动和困惑。

作为一个比较成熟的围棋题目网站,我觉得101应当让自己的题目定级保持稳定,权威,一致。一下子加上三个级别,尤其是高手们在意的级别,可能有点突然。我觉得应当采取一个能最大限度保持一致性的方案。

一个可行的方案就是把经X+正式作为一个等级。这样一来,就段级题目而言,一下子就增加了五六个级别,而不是三个。这足以让题目更加细分。

有棋友可能会说,XD和XD+的分值区别太小,很难细分。我认为加大分值间距不是关键。最关键的是加大评分算法的精确性。评分算法不精确,把上限提高更多也不行(除非主要靠人工评分)。目前的问题,我看是题目级别的误差方差相对于级别间距来说太大了。线性地提高题目级别上限,不能解决题目分值不精确的根本问题。把级别增加一倍,题目级别的误差随之也增加一倍,结果是题目级别还是不准确。

增加X+级别最直接的目的也是为了减少每一组的题目数量,不能保证级别的准确性。当然由于级别增加,人工分级可能会多一些,可以一定程度上纠正算法误差。

但是题目上限保持在6D有几个好处。一是保持了一致性,避免混乱。二是6D以上的级别应当预留给对弈活动,以吸引更多的高手来101。101的级别当然只是个符号,但这个符号越合理越好。做题是为下棋做准备,不能完全代表下棋水平。通过做题最多只能达到6D,我看就是很好地体现了这个理念。等有更多的高手来101通过下棋来拿7D,8D,9D这些非常特殊的级别,那101就能汇集更多专业高手,把网站办得更好。要不然101难以摆脱“只办高考培训班,不办研究院”的形象。

-------------
说点题外话。为什么101的做题量这么大,题目级别却收敛得比较慢呢?我认为有可能是由于两个原因。我没看见过算法,因此我的想法纯属臆测。

一是算法是不是过多地考虑了与题目级别相差大的棋友对题目级别影响。比方说一个6D的棋友一不小心把一个15k的题做错了,这15k的题会不会马上升到2k?我认为与题目级别相近的棋友对题目级别影响的权重应当大一些才对,要不然似乎容易出现级别不收敛不稳定的情形。

二是根据做题者的101级别来给题目评级本身也有问题。棋友的101级别有时候波动大,不能反映棋友当前的棋力。我觉得至少k级棋友的级别可以很轻松地上下波动两三级。Garbage in, garbage out。信噪比太大,到最后可能会算成一笔糊涂帐。

那么更可靠的算法是什么呢?我不知道。但我觉得有个假设可以作为可靠算法的基础。这个假设就是:棋友的棋力在做两200道题(可以设为更合理的数值)的时间内不会发生显著变化(如果时间间隔小于阀值)。基于这个假设,在200题的区间里,棋友做错的的题应当比他做对的题目的难度更高。然后把101所有的做题数据分成很多个200题区间的样本,弄出一个所有题目的排序,然后生成题目等级。为了算法的效率,也许还是要使用赋分加权的办法。这些赋分加权的具体办法当然是准确性的关键。


一点拙见。只为抛砖引玉。

删除话题

[[::s.username]] 写于 [[::s.updatestr]][[::s.douname]]赢取[[s.dou]]围豆 [[::s.dou]]围豆 [[::s.dou]]围豆[[$index + 1]]楼 删除
已经删除,撤销 | 关闭