老话题，关于短篇评委的讨论

越前リョーマ

有的游戏评测了4、5次，有的一次都没有，这也是问题所在。已经评测了那么多次还都是通过的作品，还继续去评测它，本身就是重复工作了。

飞3a

这个呢。感觉是规则没定好。
一方面说海选的标准是4票否决则淘汰，一方面又说是5票以上通过则晋级。
这样就导致了那些作品没有到5票通过的还是需要测评的情况，也就是加大了工作量。

然后是评测的奖励问题。目前为止至少我个人是完全不知道评测有什么奖励的。如果一开始就讲明白有什么好处，说不定效率会提高。水区的举报广告姬活动效果还不错么。
不管奖励神马的。是我的工作我会完成。

靠回复数量和质量来判断一个游戏是否过海选。难。
在排除掉“顶楼主”等无意义回帖和马甲大军后。如果我完全复制前一楼的已经超过200字的内容，我这个评价该不该算数呢？如果我的意见和前一楼意思差不多，这个评价该不该算数呢？
如果全是bug截图却长达3页的游戏，这个游戏该不该给过呢？
评委和大家投票一起进行倒是不错的选择。（建议截稿后和去年一样进行投票）
直接给评委分配/定额数量是一个好办法。

看看现在的情况，淘汰数量少的可怜，好作品也没有晋级，实在是太奇怪了。不知道今年谁要挂吊瓶。
如果只是查发帖格式和链接什么。我的建议是，一开始先进入初审（专门查这些），然后再海选、复审什么。这样可以先排除掉一些不合规则的帖子。
海选是一个筛选的过程。如果海选的通过的量很多，那么复审的工作量也会巨大。比赛节点也就一个接着一个往后拖了。
我的建议是：每个环节都给出明确的通过率。评委不给出通过不通过这种粗略的回复，直接通过打分和排名来决定。有了竞争，相信各位制作人也会认真起来，减少质量不怎么滴的作品。（听起来似乎评委工作量更大了otz）
（不过现在海选规则都实行很久了。我说这么多也是白说。）
以上内容仅代表个人看法。（上班时间无法测评otz，只能写写这个了。）

junsjuns

对啊，增加民意选择也是好办法！
把民意投票做第一层，把活动结束时间提前10天左右，然后前5天是群众投票，只能投一次，但无限制，当然马甲不能参与，得5票过海选，这个条件可以浮动性修改
然后剩下5天才是评审的二评，这样至少能刷掉很大部分无趣的东西了
当然pass的可以败者再战，这个时间限定群众投票后3天左右，如果这个时间段本来pass的作品得到良好评测，就算复活
多次评论游戏并不是重复劳动，反而越多越好，我们都不是专业，所以我们能得到多方面的反馈比得到单一的评价有意义得多，而且能吸引越多人评证明你的游戏能吸引到人
这帖子就是栗子，我提出的只是我个人想法，结果大家都认为不好，大家给意见来改善。作者们最需要的不就是这样的状态吗？真需要参考一个，那就参考——综合评测

神秘影子

无法继续评的评委提出来换人会不会改善现在的坑爹情况= =

gaofei677

感觉应该分时间段重新选评委，比如两周或者一周选一次，上一周的评委愿意并且有时间的可以继续留任，没时间可卸任。然后继续添加新评委，有多少评委卸任和新加多少评委无直接关系，卸任的评委有时间了可以继续上任。并且评委测评的作品是随机指派的

junsjuns

gaofei677 发表于 2013-8-29 14:17
感觉应该分时间段重新选评委，比如两周或者一周选一次，上一周的评委愿意并且有时间的可以继续留任，没时间 ...

不不不，你误会我了，你的意思我明白的，你是认为有有责任心的人会主动站出来干活，也许现在没时间，但好意去拜托一下，还是会好好干。责任心不足的人也能被带动成长成成优秀的老鸟。是这意思吧？
我说了我尊重你的观点，但我真不想打击你，你的想法太好了，很难得，和还没工作时的我一样，很美，但太单纯，完全站不住……
我绝对承认有充满责任感的人愿意出来干活，但……假如，只是假如，真的没有呢？一个也不愿意站出来的时候，怎么办？可以拜托你吗？把现在短八所有未评测的游戏全评了，也不计较你是参赛者，行不行？奖励就越前说的那样，1v1篇，惩罚的话……9月5日前未完成，取消掉你的参赛作品，当然你本体账号可保留，但禁言3天，等比赛结束才能再发游戏帖……算不算过分？
老实说，你的世界还是太好了，好到让我想马上加入，但就如大老师说过想建立宅的国家一样美好，美好到大概3天就会灭亡的程度……
我是比较神经质的，通常都会把事情往最坏方向去想，现在最可怕的想法就是……如果评审们都不愿意评，也没人收拾烂摊子，那会变成什么样子……

幻想中的鸡蛋

我先说一下情况：
这次活动搞的真心悲剧，正好赶上了橙光大火，公司内部根本无暇顾及短篇八的情况（我已经实习结束了，所以不知道接下来他们准备怎么做……）。
其实我本来是想全程评审短篇八的，结果被拽过去审核橙光未审核游戏了……
这届短篇八一个较大的问题是：没有限制参赛作品的时长上限，很多看上去不错的作品一看游戏时长，评委就不愿意去评了……
其实如果都是渣作的话，审核速度是很快的，现在很多评委太过认真才导致了评审速度慢的情况，实际上，只要遇到BUG、无法玩过去的地方、特别不爽的地方，直接不通过，作者要是不满意再上诉就可以了，毕竟这次有上诉机制。（与其麻烦评委不如麻烦作者，我觉得就算开了这个先河，也不会有太多人上诉。）
然后这次短篇八时间太长、奖品太丰厚，吸引了大量参赛者，使这次参赛人员比往届还要多很多，这个数量放在那里就没有人想去评测了。

如果说这次评测建议的话，RM组我没什么好建议，但是橙光组应该可以：通过审核的橙光游戏一律过海选……没通过审核的橙光游戏由作者上诉。（然后就发现橙光参赛作品几乎都过海选了……）

gaofei677

junsjuns 发表于 2013-8-29 14:54
不不不，你误会我了，你的意思我明白的，你是认为有有责任心的人会主动站出来干活，也许现在没时间，但好 ...

再一次，也是最后一次解释给你听
在此之前我想说，我是一名教师
然后解释我的观点
有人报名当测评评委，然后按一定的标准选出评委，这个标准当中，就有责任与担当这一项，然后评委由于各种原因，没有完成测评，拖延了工期，所以他"责任与担当"这一项就没有履行好，当然为什么没有履行好，这和选评委的规则制定不完善也是密切相关的，OK了吗？至于自愿不自愿，无关系，在其位谋其职
最后，至于你个人是什么职业，什么状况，什么年龄段的思想，我并不在意，而且用伪接受的方式来固持个人观点，也没有意思

junsjuns

gaofei677 发表于 2013-8-29 15:32
再一次，也是最后一次解释给你听
在此之前我想说，我是一名教师
然后解释我的观点

...你误会了一点...
我尊重你的观点，是尊重，只是单纯的尊重
但并不代表我接受你的观点，我由此至终都没接受过，因为你的想法太单纯，所以我才不想打击...{:2_264:}

自不自愿其实远比你想得要重要，自愿，是没有报酬，当然有责任心的人能做得很好，但你能测量出自愿加入进来的人的责任心程度吗？谁来测？怎么测？
而且评审其实没你想象那么多人积极报名，真的很大一部分和游戏作者一样，头脑一热才会报名的，你能测出他们能做得多好？至少你就没报名，当然我也没报名，这是完全没有吸引人，而且负担非常重的苦职，自愿进来的人还必须有责任心，必须能完成指定分配的任务...
好了，任务不完成，你能拿他们怎么办？扣经验？降级？还是禁言三天？要是惩罚是永久封号你压根就不要想有半个人会愿意参与...
踢掉？那你会主动背上那人被分配的任务吗？
我的理念是加大评审的自由性，谁都能评，谁的意见都能参考，愿意就玩，不愿意就烂，最后综合得出能不能通过，这样既不会强制占用别人的时间，又能过滤掉坑爹的东西
注意，是理念，理想的概念，也是很天真的想法，所以才必须讨论怎么做到可行，实现

你给的建议，可行，但必须建立在有强大责任心的人站出来，工作能力必须非常高，最重点是几乎不要就有任何报酬
你觉得...可能吗？
所以我才说，尊重你的想法，但我根本不可能接受有这样的事情，太...可笑了...

嚴子

junsjuns 发表于 2013-8-29 11:14
对啊，增加民意选择也是好办法！
把民意投票做第一层，把活动结束时间提前10天左右，然后前5天是群众投票， ...

我想民意选择应该是目前最好的方法了。
但是还是有好多问题要考虑
比如可能会有一些人干这种事“我们互相给好评吧，利人利己”
或者用马甲、创小号给自己好评
还有出于私心，可能有些人故意给别人差评
总的来说还是要想办法防水兵作祟

至于评委
我想最好能让所有作品的评审量基本保持一致
给评委这么一条原则：哪个游戏被评次数少优先评审
这样也不会造成现在，有的游戏5、6次评审，而有的游戏至今待评的尴尬情况了。

以上仅做个人观点
短片大赛评审方法真的应该好好改革一下，
最好大家都来讨论一下吧