Project1

标题: 【有感而发】关于活动测评的一点个人想法 [打印本页]

作者: zaiy2863 时间: 2016-3-8 12:36
标题: 【有感而发】关于活动测评的一点个人想法
对于极短甚至一分钟游戏来说，评委的测评工作量并不是很大。然而，在短10这样的大型活动，测评的工作量非常之大，而且其中相当一部分作品，测评约等于踩雷，即出现明知作品是雷还不得不踩的情况。
这对于测评者来说一定非常痛苦。那么，如何改进测评方案以减轻测评者的工作量呢？

叶子思考了几种方案，但都不太满意的说。

一种方案是模仿橙光的审核制，即将游戏的部分指标进行量化，不满足条件不能过审;或者有偿聘请测评员进行人工审核。这种方式也可以套用在游戏区平时发布游戏的审核。
但是考虑到现在rm6r缺乏经费，这种方式不容易实行，也很难像橙光那样根据字数等硬性指标去统计审核标准。

另一种方案则是模仿知乎的投票制，说到底就是像知乎那样所有人投票，但是投票的总量不限，所有人可以选择赞或者踩。(当然，投票者需要有一定资格，例如注册时间，最后活跃时间等硬性指标考量)。评判权一部分交给玩家，赞多的作品可以提升位置，而踩多的作品被折叠，到投票结束时评测者就可以无视被折叠的部分作品来进行评测。

这种方法同样有种种弊端，例如新人的黑马性质作品不容易出头，亲友抱团现象影响结果，以及容易打击新人积极性。人们很容易接受"有别人比我优秀，"但是却往往很难接受"大多数人都比我优秀"，可能新人做了一个作品也费了不少心思，兴致勃勃地来投稿，结果却被踩，一怒之下"这是什么渣论坛！"走了。

虽然弊端如此之多，但是叶子认为这已经算是一个比较好的替代方案了。

当然，我们还应该做到的就是从源头上消灭渣作问题，比如像剧情大作战活动中主办方统一发放一个整合范例工程(当然不一定要包含素材)，对提升投稿作品的整体水平也会有一定的帮助的说。

不知道叶子的想法是怎么样呢。。。毕竟叶子还很缺乏这方面经验呢。但身为吐槽测评区的一位斑竹，想就这方面听听大家的意见的说。

作者: yang1zhi 时间: 2016-3-8 12:41
设置阶级评审
给所有人都有投票的机会，但是这个投票不影响排名。
只是用来判断这是不是个正常的作品，有多正常，有多不正常。
然后再根据这个度，去分配给评审员

作者: ·雾逝者· 时间: 2016-3-8 12:45
{:2_270:}我担任过短⑨的测评工人来着（虽然不是很尽责
那时是招募复数测评者，每个人只需测评一部分游戏
没记错的话，测评也存在奖励机制
存在的问题一是不同测评者标准不一，二是负责人员数量庞大导致难以监督
第二点直接导致测评速度缓慢（不过还是比短十快x

作者: asperta 时间: 2016-3-8 14:40
这就说明了，6r的制作者普遍做不出好游戏
根本上的解决方法是，倡导每一个人认真做游戏，把游戏都做好了、做精了
游戏都好玩了，评测的人自然也更愿意去做

作者: Vortur 时间: 2016-3-8 14:56
本帖最后由 Vortur 于 2016-3-8 15:12 编辑

说点废话：

游戏测评可能可以分为这么两种
1.能否不实际测玩游戏就能辨别渣作；也可以理解为“是否存在初玩就能掌握的最少时间通关方法”，意在花费比平时通关更少的时间来体验游戏=>得出评论。不过这看起来十分的痴人说梦，首先它与“穷举法测bug”相悖，然后，即使作者给出最快攻略，效率的提升也不能达到需要的标准。当然，在一定程度上是存在这种方法的，比如一些极渣的作品，往往透露着“应付”两个字；就好比一个法官说过的：“我不知道怎么定义色情，但是当它出现在我的眼前，我会知道这是不是”。当一些明显应付的游戏出现在眼前，当然不必玩也能看出。
2.能否纠结一堆测评团人员。钱。

  综上，要么设法支付报酬吸引足够人力；要么靠压缩测评工程（或寻找一个极其高效的测评方式）缩减人力需求。

或者可以尝试转嫁支付负担，如借鉴一下超市的盈利模式，使用类似“柜台收费”的机制；让游戏作者自己代言，包揽广告、测评费用。一旦作者花了钱，他们就必定认真对待RM制作——当然，前提是足够多的钱。不过这需要“6r需要掌握足够多的顾客”，个人感觉6r还缺少足够多的人头资源，所以应该把6r建立为一个巨大的RM发布平台。
  再比如，寻找赞助；听说现在gj很支持大学生自主创业，一些学校也在建设“科技园”来招募在校生成立公司团体什么的，一旦入园，就有巨大的赞助（反正听说很大），而且只要是“本校生参与”就可以是科技园的一份子。6r这么多大触，写个十个八个的企划书应该不在话下吧！？个人感觉这样来钱特快。
  再比如，现在很注重素质教育，学生们的课外活动（春游、参观博物馆、实践活动等）特多；不知6r有无能人，能将6r的触手深入到课堂中去？想必大家都知道，最成功的广告要搭载最合适的平台。由此还可以联想到公开课、视频、动漫展xxoo...

作者: 迷糊的安安 时间: 2016-3-8 15:56
剧情活动的饭粒工程只是实力阻止提前开工和实力阻止强行扣题而已_(:_」∠)_

然而好几天没见稿子了还有十天就截止我开始方了

作者: 鸟猫 时间: 2016-3-8 16:16
测评难免被喂屎，这个没办法

作者: 暗夜荆棘—佩恩 时间: 2016-3-8 16:31
个人觉得不如加入作品提名项目，先进行全作品投票，试玩的人当然就是论坛用户们，一段时间后根据投票比较高的一定数量的作品再交给评审们试玩，然后再进一步评分。
当然，目前论坛活跃度还是可以的，在一定程度上还是可以保证第一步进行。（个人的一点想法，还值得改正。）

作者: lianran123456 时间: 2016-3-8 17:45
首先我认为应该匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛匿名参赛
投票与人工相结合的方式选出少量作品入围，入围作品最终完全人工评测

作者: 谢拉卡姗娜 时间: 2016-3-8 18:11
{:2_282:} 参与的人多是好事

作者: shencao 时间: 2016-3-8 18:38
本帖最后由 shencao 于 2016-3-8 18:51 编辑

其实我并不太清楚现在（以前）实行的机制是怎样？
只是想的话，我想到的方案是成立一个扫雷小组首先进行海选，不需要玩完整篇，只需要把明显坑爹的扫出去，不坑的至少作者是认真作了的作品入围后再由评委一一评分。海选只给出通过或者不通过，不影响最后排名。海选部分可以一人负责扫2～5个，多人分担一下可以有效控制每个人受到的精神污染度。也不需要一人一篇，评委太多标准很难统一。海选评委不需要触手大大，普通玩家即可，唯独态度得端正不能看到自己不喜欢的类型就说别人坑。然后为了杜绝贿赂事件，最好能用随机抽选的方式决定谁负责哪个（些）游戏，直到海选出结果了再一并公开。（感觉还是需要公开，因为也许有冤假错案？也许可以在海选公开后设一个作者申诉的缓冲期什么的。）
不过如果有人说我的游戏必须通了全篇才有大反转，主题升华，开头只是骗你的——这还挺难办的，如果是商业游戏你开头这么坑我肯定就点叉了根本不会理你，但是独立游戏、又是比赛⋯⋯又是公益性质的比赛！嗯⋯⋯
那其实最好操作的还是定一个标准，比如xx这个游戏就是入围的最低标准，低于这个完成度的统统不合格（这个xx必须得公示）。但是这又带来了一个问题，自认做的不太好低于标准的人就不会参加了，于是会导致参加的人数激减，可能官方（或者群众）又觉得这届只有这么点作品参加好萧条啊面子上真不好看。
到底是要大家都来参加吧没有门槛哦热热闹闹的好呢，还是设立门槛只带部分作品玩更好呢，这真是个深刻的问题啊⋯⋯

把海选的权利交给群众投票是比较没有负作用的做法。不是我不让你进是大家都不让你进。
不过这样也是同样可能并没什么卵用，比如某几个触手大大集中了大部分围观群众的票，然后剩下的名额某个作者人缘挺好只需要亲友票也可以入围了，跟作品质量完全无关。评委把自己的部分责任放给群众，也就理所当然的失去了部分权利。大家投票的标准跟评委是不同的，大义灭亲的情况是不会有的⋯⋯

啊想想也是很麻烦啊。我也只是一个底层平民，主办看到的东西我看不到也体会不了。
不过我是支持主办法负责得多一些、权利大一些的，只要事前公开了流程，那么参加的人就是同意这个流程的，大家就要按流程走不要变来变去。
除非有重大的bug出现，不要随便改规矩。想让所有人都满意这是不可能的，对某些人妥协改规矩反而是让一开始就遵守规矩的人吃了亏，那以后谁还想要遵守规矩呢。
换句话说，你对主办方都不信任，又何必来参赛呢。~~（也许"为了来打脸"也是一条不错的理由wwwwwww~~

－－－－－－－－－－－－－－－－－－－－－－－
回完帖后又爬了下楼，

“匿名参赛”我非常支持啊！！！！！！！！！！！
虽然跟减轻测评压力没什么关系但是
想一想就好有趣啊！！！！！！！！！！
强烈要求下次就这样来一次啊啊啊啊啊～～～～～～～～～～～～

~~（比赛过程中还可以举行大家来猜马甲～猜对有奖猜错要被作者嘿嘿嘿的游戏啊~~

作者: 美丽晨露 时间: 2016-3-8 21:17
作为短篇8的迷之测评员表示压力很大···
那时候花费了大概2个月的时间测评75个作品实在很头疼。
却每个游戏都要承诺必须进行游戏20分钟以上才能够写大致的评语。
虽说这样的测评方式有点不妥，不过从测评员的角度方面考虑。
测评员没有时间也没有精力将一款数小时通关的游戏通关一遍再评测。
这不科学也不符合实际考虑

作者: 幻耶 时间: 2016-3-8 21:35
就目前的状况来看，匿名投稿是对付小圈子效应、熟人效应、品牌效应等等主观向选玩和投票的最简便有效的方式

作者: 无忧谷主幻 时间: 2016-3-9 02:15
我发现，我想说的都被说光了
那么，我也来说几点意见吧：
1，考虑评委工作量的确很大，让每个评委分别负责部分作品也是种方法，不过因为评委的性格、喜好关系可能会有评分不同的差值
2，如果是已加密作品，建议同时把攻略发上来或私信给评委，可以减少评委试玩的时间
3，不赞成公开投票决定分数，否则很容易会把各种亲友团召唤上场
4，在作者同意的基础上，建议给评委修改的权利（高速跳过对话，高速移动，穿越迷宫，秒杀小怪的外挂）

作者: 怕鼠的猫 时间: 2016-3-9 06:04
本帖最后由怕鼠的猫于 2016-3-9 06:15 编辑

我觉得可以让作者给评委提供不同层次的作弊码，以便快速通关，总览全局。

至少我已经有两个作品是得到过路人表扬，却被评委批评。批评的理由是：太难了，我卡在第一关了！
唉，遇到路痴，你就要牵着他走才行，不然就是你的不对了。{:2_263:}
-----------------------
匿名投稿这种事情，别太迷信了。
很多作者已经在长期的游戏制作中形成固定的素材库和地图模板。画风一眼就能看出来。（说难听点，你让他换个风格，他都做不到）。

我想你能猜到这个游戏的作者是谁吧，这匿名不匿名有区别吗？

作者: 熊的选民 时间: 2016-3-9 12:03
本帖最后由熊的选民于 2016-3-9 12:14 编辑

小圈子里的评选本来就是靠更小圈子里的支持。

历届短篇大赛里我最喜欢的是这个游戏：https://rpg.blue/thread-147111-1-3.html
光看这截图恐怕没几个人会去下载，我都记不得当年我为啥会去下载它。
但如果这个作者再出新作，我肯定会去第一时间下载。
所以说只要投票就是靠亲友团。

作者: 冷峻逸 时间: 2016-3-9 18:49
提示: 作者被禁止或删除内容自动屏蔽

欢迎光临 Project1 (https://rpg.blue/)