Project1

标题: 老话题，关于短篇评委的讨论 [打印本页]

作者: junsjuns 时间: 2013-8-29 00:40
标题: 老话题，关于短篇评委的讨论
本帖最后由 junsjuns 于 2013-8-29 00:40 编辑

好吧，今天脑抽了一下，在短篇评委的帖子里废了半天的话，结果被请到这里了，也不知道会不会有人来水...但还是觉得应该讨论一下

短篇评委制度的改进，是改进哦！看清楚哦！{:2_270:}
主要议题是，大家觉得现在的评委怎么改才能做得更好，比较严肃的话题，很无聊的，但还是想YY一下{:2_281:}

有鉴于现在短八评审几乎全面瘫痪，好吧，我这么一催，不知道评委们明天会不会马上小宇宙爆发，全游戏更新评测，呃，算了，反正我什么都没有参加
我个人认为的是...转弯抹角很麻烦，我直接说了，垃圾很多，多得让人不想去清理的地步，而且每天都在增加，当然，在垃圾山也会有一大堆宝物，我会试着挖，柴刀女（？）也是在垃圾山安家的说~
然后呢，分拣的工作在9月5日必须全面完成，大概就剩下一个星期，目前状况...请各位移步http://rpg.blue/thread-324008-1-1.html，不用多，看前两页就足够
大家认为1星期不能完成的请举起你的女朋友，认为1星期无法完成的请举起你的好基友
很好很好...玩笑该到此为止了，必须严肃点了{:2_281:}

以前我是不清楚，但我经历过的近三届短篇都是这样的评审制度
自愿参与
分配游戏
全面评测
以上，就是这样，简单明了
任务式的分配，责任式的落实，制度式的公示，透明性极高，好不好呢？
不好
不是说什么不公平，虽然几乎每届都有骂战...

为游戏杂志工作的人，是工作，有钱
为短篇游戏做评测的人呢？
自愿
为游戏工作的人没把玩游戏的任务完成，OK，工钱别想拿了
而为短篇评测的人评到不想评，任务不完成，OK，能对他怎么样
不怎么样，无法怎么样
而因为这样也就造成现在一大堆的未评测
我想说这制度是必须是建立在拥有高度责任心和使命感的人身上，而且几乎没任何回报（论坛勋章？好的给你，请先干活）
那样的人哪里找呢
自愿
能自愿到一大堆这样的英雄吗？
“来和我契约，成为短篇游戏评测吧”“啥~~”

人的精力是相当有限的，而自愿式征集来的却要任务式全面完成评测，也非常不人性化
我开头也说过，可能过分一点，但还我觉得是必须说第二次
垃圾很多，多得让人不想去清理的地步，而且每天都在增加
按目前的形式，我担心又会出现上届一样的神评论——“我还有3个游戏没评呢！”（这个并不是6R的人说的）
大量良莠不齐的作品分配给既定的几人志愿者，然后每天又加入新的作品，要求它们完成任务
这是不可能的任务！ ←好吧我太自负了，不过我没担当，想看就看，落得轻松
这就是现在的评审制度
清理

我主张的观点是，垃圾，是可以不清理，让它们在角落腐化就好
也就是我在那帖提出的观点
简单来说直接把评委削掉，200字评测2页回复为基准，马甲要区别对待，达标就过海选，不达标直接过滤掉
注意！
那帖第三页有更详细的分辨方式，我不想再贴来延长这帖长度了，请移步细看
不要简单认为是在欺负新人
而是在欺负所有人！！！！

所以，请各位有时间来讨论一下，能不能改进一下目前的评审机制

作者: acn00269 时间: 2013-8-29 01:13
的确, 评委是很累, 制度也不完善
但既然评委是自愿加入的, 那么说干机械化的工作也不为过, 这都是加入评委后的责任与保证

大大小小的游戏等着评测, 评委又少, 那么评测的工作量也会加大
要么每届办活动就限制参赛作品数量, 要么就再延长点评测的时间
这个论坛多数都是学生, 他们能挤出时间来评测已经很不错了
所以嘛, 作品数量太多太杂, 各种各样的都有, 游戏时间长度不定, 精力又有限, 无疑是给评测任务加大了难度
以目前来看, 估计下届还会是这种样子
如果能尽快改则更好

作者: gaofei677 时间: 2013-8-29 01:17
还是重申一下我的观点：责任与担当
希望下一届能够建立起来有效奖惩制度

作者: 恶魔般的天使 时间: 2013-8-29 03:09
因为参赛作品很多，评委每个人要玩那么多游戏。。。哪有心思评论了。。。
早吓瘫掉了。。哪个评委站出来响应我这句话的。

作者: 紫英晓狼1130 时间: 2013-8-29 06:26
直接增加海选
先民意投票，把为了得橙娘的作品全部PASS掉
然后在评审，这样评审也能付点责任…

作者: 玛丽猫 时间: 2013-8-29 07:13
就算这么多作品一个一个海选也没办法啊。。。不如只由四个人评测一个游戏，这样至少比较快。
另外所有人都能评论的话...会不会太乱？

作者: 嚴子 时间: 2013-8-29 08:11
表示不同意
按LZ所言，我们可以看一下，
目前已被淘汰的两部作品中≪黑暗弥漫≫的回复高达3页
≪爱情公寓4≫的回复为2页，按LZ的方法，反而这两部淘汰的作品，顺利过了海选。
以上两部都是4评0过
然而！
目前4评4过的≪美工奋斗≫仅有1页回复！！！
这么好的作品居然直接被淘汰了，这合理吗？

回复量能说明的了什么呢？
一部好游戏顺利过关后，好多人都“懒得回复”导致游戏下沉
一部满是BUG的游戏，下面提交了2、3页的错误和谩骂，这样的作品居然顺利过了海选？

以上仅做个人观点
当然我也觉得目前评审效果不佳，
但是！鄙人认为
LZ的方法更加不可取！

作者: 6rp 时间: 2013-8-29 08:18
随机点将，将评委和游戏配对，强制分配任务。

作者: ·雾逝者· 时间: 2013-8-29 08:47

的确最近都没太有时间了
下载的游戏无一通关，orz

作者: Sunny.J 时间: 2013-8-29 09:04
评委都是自愿参加的，参加的评委如果每个游戏都评测会非常累的，所以是要改进当前的评审方法，我觉得应该先在游戏页面添加群众投票，然后再将通过的交与评委评审。LZ说的方法也不一定有效，6R有很多伸手党，玩完游戏不回复不测评，这我们也无可奈何啊。。

作者: 越前リョーマ 时间: 2013-8-29 09:57
有的游戏评测了4、5次，有的一次都没有，这也是问题所在。已经评测了那么多次还都是通过的作品，还继续去评测它，本身就是重复工作了。

作者: 飞3a 时间: 2013-8-29 11:09
这个呢。感觉是规则没定好。
一方面说海选的标准是4票否决则淘汰，一方面又说是5票以上通过则晋级。
这样就导致了那些作品没有到5票通过的还是需要测评的情况，也就是加大了工作量。

然后是评测的奖励问题。目前为止至少我个人是完全不知道评测有什么奖励的。如果一开始就讲明白有什么好处，说不定效率会提高。水区的举报广告姬活动效果还不错么。
不管奖励神马的。是我的工作我会完成。

靠回复数量和质量来判断一个游戏是否过海选。难。
在排除掉“顶楼主”等无意义回帖和马甲大军后。如果我完全复制前一楼的已经超过200字的内容，我这个评价该不该算数呢？如果我的意见和前一楼意思差不多，这个评价该不该算数呢？
如果全是bug截图却长达3页的游戏，这个游戏该不该给过呢？
评委和大家投票一起进行倒是不错的选择。（建议截稿后和去年一样进行投票）
直接给评委分配/定额数量是一个好办法。

看看现在的情况，淘汰数量少的可怜，好作品也没有晋级，实在是太奇怪了。不知道今年谁要挂吊瓶。
如果只是查发帖格式和链接什么。我的建议是，一开始先进入初审（专门查这些），然后再海选、复审什么。这样可以先排除掉一些不合规则的帖子。
海选是一个筛选的过程。如果海选的通过的量很多，那么复审的工作量也会巨大。比赛节点也就一个接着一个往后拖了。
我的建议是：每个环节都给出明确的通过率。评委不给出通过不通过这种粗略的回复，直接通过打分和排名来决定。有了竞争，相信各位制作人也会认真起来，减少质量不怎么滴的作品。（听起来似乎评委工作量更大了otz）
（不过现在海选规则都实行很久了。我说这么多也是白说。）
以上内容仅代表个人看法。（上班时间无法测评otz，只能写写这个了。）

作者: junsjuns 时间: 2013-8-29 11:14
对啊，增加民意选择也是好办法！
把民意投票做第一层，把活动结束时间提前10天左右，然后前5天是群众投票，只能投一次，但无限制，当然马甲不能参与，得5票过海选，这个条件可以浮动性修改
然后剩下5天才是评审的二评，这样至少能刷掉很大部分无趣的东西了
当然pass的可以败者再战，这个时间限定群众投票后3天左右，如果这个时间段本来pass的作品得到良好评测，就算复活
多次评论游戏并不是重复劳动，反而越多越好，我们都不是专业，所以我们能得到多方面的反馈比得到单一的评价有意义得多，而且能吸引越多人评证明你的游戏能吸引到人
这帖子就是栗子，我提出的只是我个人想法，结果大家都认为不好，大家给意见来改善。作者们最需要的不就是这样的状态吗？真需要参考一个，那就参考——综合评测

作者: 神秘影子 时间: 2013-8-29 12:58
无法继续评的评委提出来换人会不会改善现在的坑爹情况= =

作者: gaofei677 时间: 2013-8-29 14:17
感觉应该分时间段重新选评委，比如两周或者一周选一次，上一周的评委愿意并且有时间的可以继续留任，没时间可卸任。然后继续添加新评委，有多少评委卸任和新加多少评委无直接关系，卸任的评委有时间了可以继续上任。并且评委测评的作品是随机指派的

作者: junsjuns 时间: 2013-8-29 14:54

gaofei677 发表于 2013-8-29 14:17
感觉应该分时间段重新选评委，比如两周或者一周选一次，上一周的评委愿意并且有时间的可以继续留任，没时间 ...

不不不，你误会我了，你的意思我明白的，你是认为有有责任心的人会主动站出来干活，也许现在没时间，但好意去拜托一下，还是会好好干。责任心不足的人也能被带动成长成成优秀的老鸟。是这意思吧？
我说了我尊重你的观点，但我真不想打击你，你的想法太好了，很难得，和还没工作时的我一样，很美，但太单纯，完全站不住……
我绝对承认有充满责任感的人愿意出来干活，但……假如，只是假如，真的没有呢？一个也不愿意站出来的时候，怎么办？可以拜托你吗？把现在短八所有未评测的游戏全评了，也不计较你是参赛者，行不行？奖励就越前说的那样，1v1篇，惩罚的话……9月5日前未完成，取消掉你的参赛作品，当然你本体账号可保留，但禁言3天，等比赛结束才能再发游戏帖……算不算过分？
老实说，你的世界还是太好了，好到让我想马上加入，但就如大老师说过想建立宅的国家一样美好，美好到大概3天就会灭亡的程度……
我是比较神经质的，通常都会把事情往最坏方向去想，现在最可怕的想法就是……如果评审们都不愿意评，也没人收拾烂摊子，那会变成什么样子……

作者: 幻想中的鸡蛋 时间: 2013-8-29 15:28
我先说一下情况：
这次活动搞的真心悲剧，正好赶上了橙光大火，公司内部根本无暇顾及短篇八的情况（我已经实习结束了，所以不知道接下来他们准备怎么做……）。
其实我本来是想全程评审短篇八的，结果被拽过去审核橙光未审核游戏了……
这届短篇八一个较大的问题是：没有限制参赛作品的时长上限，很多看上去不错的作品一看游戏时长，评委就不愿意去评了……
其实如果都是渣作的话，审核速度是很快的，现在很多评委太过认真才导致了评审速度慢的情况，实际上，只要遇到BUG、无法玩过去的地方、特别不爽的地方，直接不通过，作者要是不满意再上诉就可以了，毕竟这次有上诉机制。（与其麻烦评委不如麻烦作者，我觉得就算开了这个先河，也不会有太多人上诉。）
然后这次短篇八时间太长、奖品太丰厚，吸引了大量参赛者，使这次参赛人员比往届还要多很多，这个数量放在那里就没有人想去评测了。

如果说这次评测建议的话，RM组我没什么好建议，但是橙光组应该可以：通过审核的橙光游戏一律过海选……没通过审核的橙光游戏由作者上诉。（然后就发现橙光参赛作品几乎都过海选了……）

作者: gaofei677 时间: 2013-8-29 15:32

junsjuns 发表于 2013-8-29 14:54
不不不，你误会我了，你的意思我明白的，你是认为有有责任心的人会主动站出来干活，也许现在没时间，但好 ...

再一次，也是最后一次解释给你听
在此之前我想说，我是一名教师
然后解释我的观点
有人报名当测评评委，然后按一定的标准选出评委，这个标准当中，就有责任与担当这一项，然后评委由于各种原因，没有完成测评，拖延了工期，所以他"责任与担当"这一项就没有履行好，当然为什么没有履行好，这和选评委的规则制定不完善也是密切相关的，OK了吗？至于自愿不自愿，无关系，在其位谋其职
最后，至于你个人是什么职业，什么状况，什么年龄段的思想，我并不在意，而且用伪接受的方式来固持个人观点，也没有意思

作者: junsjuns 时间: 2013-8-29 16:46

gaofei677 发表于 2013-8-29 15:32
再一次，也是最后一次解释给你听
在此之前我想说，我是一名教师
然后解释我的观点

...你误会了一点...
我尊重你的观点，是尊重，只是单纯的尊重
但并不代表我接受你的观点，我由此至终都没接受过，因为你的想法太单纯，所以我才不想打击...{:2_264:}

自不自愿其实远比你想得要重要，自愿，是没有报酬，当然有责任心的人能做得很好，但你能测量出自愿加入进来的人的责任心程度吗？谁来测？怎么测？
而且评审其实没你想象那么多人积极报名，真的很大一部分和游戏作者一样，头脑一热才会报名的，你能测出他们能做得多好？至少你就没报名，当然我也没报名，这是完全没有吸引人，而且负担非常重的苦职，自愿进来的人还必须有责任心，必须能完成指定分配的任务...
好了，任务不完成，你能拿他们怎么办？扣经验？降级？还是禁言三天？要是惩罚是永久封号你压根就不要想有半个人会愿意参与...
踢掉？那你会主动背上那人被分配的任务吗？
我的理念是加大评审的自由性，谁都能评，谁的意见都能参考，愿意就玩，不愿意就烂，最后综合得出能不能通过，这样既不会强制占用别人的时间，又能过滤掉坑爹的东西
注意，是理念，理想的概念，也是很天真的想法，所以才必须讨论怎么做到可行，实现

你给的建议，可行，但必须建立在有强大责任心的人站出来，工作能力必须非常高，最重点是几乎不要就有任何报酬
你觉得...可能吗？
所以我才说，尊重你的想法，但我根本不可能接受有这样的事情，太...可笑了...

作者: 嚴子 时间: 2013-8-29 17:11

junsjuns 发表于 2013-8-29 11:14
对啊，增加民意选择也是好办法！
把民意投票做第一层，把活动结束时间提前10天左右，然后前5天是群众投票， ...

我想民意选择应该是目前最好的方法了。
但是还是有好多问题要考虑
比如可能会有一些人干这种事“我们互相给好评吧，利人利己”
或者用马甲、创小号给自己好评
还有出于私心，可能有些人故意给别人差评
总的来说还是要想办法防水兵作祟

至于评委
我想最好能让所有作品的评审量基本保持一致
给评委这么一条原则：哪个游戏被评次数少优先评审
这样也不会造成现在，有的游戏5、6次评审，而有的游戏至今待评的尴尬情况了。

以上仅做个人观点
短片大赛评审方法真的应该好好改革一下，
最好大家都来讨论一下吧

作者: 一瞬间的幻觉 时间: 2013-8-30 21:09
各种客观原因都不算问题，主要只有一点：管理层没有把心思放在短篇

作者: junsjuns 时间: 2013-8-30 21:16

一瞬间的幻觉发表于 2013-8-30 21:09
各种客观原因都不算问题，主要只有一点：管理层没有把心思放在短篇

我只是觉得，能把评审自由化，不但管理能省心一点，也可以促进效率的提升

我只是提出模式，讨论这么久我当然知道是不行的，现在想法是先群众投票，然后由选出的评委二审，这样会不会好一点

马甲之类可以设定权限来降低刷票，而且管理员也可以查看ip地址看是不是套低级马甲刷票，刷票惩罚一般是直接取消资格

作者: 火烧兔子 时间: 2013-9-12 11:21
本帖最后由火烧兔子于 2013-9-12 11:26 编辑

用投票的方式怎么样？
那样也不用评委去评测了，看了一下觉得他们好辛苦。

喜欢哪个游戏就投一票，每个ID只能一票，我觉得这样挺好的。

关于马甲去刷票，由于6R注册要验证邮箱，十分麻烦，所以应该不会有。

喜欢就顶一下，轻轻一按就可以，也不用特地去说喜欢的理由，让每个玩过的人都有投票的权利。

还有一个方案，评委尽量多一点，每个人分配3个任务，即完成3个游戏的评测，这样也可以提高效率。

作者: 熊的选民 时间: 2013-9-12 12:11
去年怎么没这么多事。去年的前几名也是众望所归。

作者: wanztjmsn 时间: 2013-9-12 12:13
本帖最后由 wanztjmsn 于 2013-9-12 12:24 编辑

全民投票絕不可取。
人氣不代表水準，一時火熱不利於長遠進步。
人氣高的類別，凴標題就火了。其結果也可想而知，橙光全勝，宮鬥必贏。但贏的真比別的都好嗎？通過結果，得到的是掌聲鼓勵，還是真實的指點呢？
人無相同，作品無一樣，本就無絕對公平可言。可比性應放在專業水準上，還是大衆人氣上呢？
若比賽是追求進步，並非爲名成利就。就不應求人氣而捨水準。
惟有要求評判者有比普遍玩家高的鑒賞力，纔有利於提高作者與玩家的水準。有公認的最高評判者最好，通過討論還可提高全體評判者的水準。
最後，評判者必須具有作爲評判者的能力與覺悟。陳力就列，切莫尸位素餐。無廉恥則人不立，無賞罰則令不行。

作者: junsjuns 时间: 2013-9-13 02:35

这位童鞋，你是不是搞错什么了？
人气高系列凭标题就火？这不就和很久以前那句“有沟必火”一样吗？我倒是没看到真正火起来的有几个……
宫斗必赢？这说法跟国产抗日战士手撕鬼子有得一拼哦，你觉得大天朝刀法真能屠一队全副武装的萝卜头吗？
这里发游戏都不是为了利益，正确，因为没利益成分，那能用什么判别游戏质量？说具体点的栗子吧
现在有两道菜，要评他们优劣，可选择的方式有两种
1.100个普通人试食，然后投票，当然人气高通过
2.给一个所谓砖家的家伙试，然后直接选
你觉得哪个比较有说服力？哪样更公平？
还有你咬文嚼字得很不是滋味，就说不出白话吗？

欢迎光临 Project1 (https://rpg.blue/)