Проспали
Хорошее пати не обходится без детектива. Не стало исключением и последнее CAFéParty.
Несколько дней назад introspec начал рассматривать результаты голосования в спектрумовском демокомпо и неприятно удивился разбросу сумм баллов по сравнению со средними. introspec просто задал вопрос; sq пошёл дальше – применил не совсем честные и легальные методы, врал, изворачивался, воровал, подставлял, клеветал (и чудо, что никто, в том числе и сам sq, не пострадал физически), но в итоге достал почти каждого вольного и невольного участника происшествий и вынудил организаторов заново проанализировать результаты голосования.
При ближайшем рассмотрении голосов выяснилось следующее:
1. Есть два голосования за работы из ZX Spectrum demo compo, зафиксированные на events.retroscene.org в 9:31 и в 9:34 (дедлайн голосования в 10:00).
2. Эти голосования в основном содержат оценки 1 и 10 за различные демо.
3. Оба голосования имеют ключи для голосования, которые шли подряд при выдаче воутлистов на входе в зал.
4. Оба голосования сделаны через мобильные устройства разных моделей телефонов одного производителя, через мобильный интернет (не через местный Wi-Fi).
5. Один из проголосовавших – довольно известный сценер (не LVD, и не участник ZX Spectrum Demo Compo), второй голос подписан дефолтным именем при голосовании на events – «Guest».
А теперь самый интересный факт, собственно, и послуживший причиной написания этой статьи.
Этот довольно известный сценер, на самом деле, проспал демокомпо и вообще не голосовал! Более того, он до сих пор даже не видел всех дем с CAFéParty! Это удалось выяснить через наводящие вопросы, просто пообщавшись с ним в личке.
Вот полные голоса этих форм:
И:
К сожалению, грандиозных разоблачений сегодня не будет. Мы не знаем, кто точно это сделал. Вероятно даже, что мы никогда этого не узнаем.
Уже не один и не два раза обсуждалось что на самых важных наших пати голосует недостаточно много людей, и что непонятно, можно ли доверять результатам компо на основании маленьких выборок голосов. Результаты спектрумовского демокомпо CAFéParty были получены на основании 25-29 голосов. Этот случай представляет нам возможность рассмотреть, насколько вообще невинны такие голосования, как это.
Официальные результаты пати выглядят следующим образом:
Если выкинуть из этих результатов голоса двух недобросовестных участников голосования, получатся другие, вот такие результаты:
Так вот. Нам очень хочется сказать, что всё это как бы немного жопа, и даже не только жопа, но и другие малообитаемые места. Нам легко представить, что кто-то хотел поддержать друга, брата, товарища по сцене. Но нам очень трудно себе представить, чтобы TmK и остальные ребята из DeMarche были на самом деле рады поддержке такого рода. Когда люди делают демо месяцами, больше всего им хочется внимания к их работе и справедливости. И хотя мы не официальная инстанция и не можем конфисковать статуэтки и выписывать новые дипломы, однако, из чувства сценерской солидарности и просто справедливости ради, хотелось бы заявить, что как минимум лично для нас главное компо главной пати года взяли SibCrew, взяли вполне себе убедительно и совершенно заслуженно. И по-хорошему, их нужно поздравить.
Мы просидели на этом тексте несколько дней. Была такая точка зрения, что публиковать его вообще не следует. Что нужно оставить всё при себе, в кулуарах, дескать, наша сцена и так слишком токсична, срачей и так слишком много; только что прошёл лучший за последние годы фестиваль, как по количеству участников, так и по количеству и качеству работ — и (что уж совсем невероятно) даже Хайп ожил! Зачем всё портить? Давайте не будем выносить сор из избы и набрасывать его на вентилятор. Надо оставить всё, как есть, замять, не провоцировать, не форсировать, не усугублять. Сделать выводы на будущее, и постараться, чтобы всё это не повторилось. Придумать, как быть в следующий раз. И вот ТОГДА…
Уже сейчас очень легко сказать, что было бы ТОГДА. Всё бы повторилось. За исключением, пожалуй, того, что участников было бы немного, а может быть и намного, меньше.
Думаю, мы вряд ли ошибёмся, предположив, что информация, приведённая здесь, мало кого по-настоящему удивила. Что все, кого это так или иначе когда-либо касалось — участники, организаторы, голосующие — знали, или по крайней мере подозревали, что такое случалось и раньше. И что это всего лишь ещё одно (далеко не первое) задокументированное и доказанное подтверждение.
Люди делают демы. Люди приезжают с ними на пати, из года в год. Выставляют их в конкурсах. И получают за них колы, просто по той причине, что кому-то не нравятся лично они. И всё, казалось бы, ничего. Можно оправдывать это тем, что “зрители так видят”, “зрители так решили”. Но, очевидно, что это неправда. Посмотрите ещё раз на цифры, приведённые в этой статье. Вы действительно в это верите?
Можно только позавидовать упорству тех участников, которых регулярно “топят” уже не первый год. Но любому терпению приходит конец.
Поэтому, как нам кажется, самое важное, что мы можем сделать в этой ситуации — придать её огласке и постараться максимально конструктивно — без срачей, без обвинений, без охоты на ведьм, без попыток кого-то в чём-то уличить — подумать, что нам теперь со всем этим делать. Подтасовка была. За руку нам никого уже не поймать. Но важно знать, что это произошло, что это сказалось на полученных местах, и нести на себе этот крест. И сделать всё, чтобы этого больше не повторилось.
Наше глубокое убеждение заключается в том, что правду — особенно неприятную — скрывать нельзя ни в коем случае. Мы стоим на этом, осознаём все последствия, и готовы отвечать за это как угодно и перед кем угодно.
Если не говорить о таких вещах сегодня — завтра может оказаться слишком поздно.
Даже вчера было уже слишком поздно.
sq
introspec
diver
UPD1, 13/11/19: Обезличенный файл с оценками за конкурсы CAFe'2019 (предоставлен и публикуется с разрешения организаторов)
Несколько дней назад introspec начал рассматривать результаты голосования в спектрумовском демокомпо и неприятно удивился разбросу сумм баллов по сравнению со средними. introspec просто задал вопрос; sq пошёл дальше – применил не совсем честные и легальные методы, врал, изворачивался, воровал, подставлял, клеветал (и чудо, что никто, в том числе и сам sq, не пострадал физически), но в итоге достал почти каждого вольного и невольного участника происшествий и вынудил организаторов заново проанализировать результаты голосования.
При ближайшем рассмотрении голосов выяснилось следующее:
1. Есть два голосования за работы из ZX Spectrum demo compo, зафиксированные на events.retroscene.org в 9:31 и в 9:34 (дедлайн голосования в 10:00).
2. Эти голосования в основном содержат оценки 1 и 10 за различные демо.
3. Оба голосования имеют ключи для голосования, которые шли подряд при выдаче воутлистов на входе в зал.
4. Оба голосования сделаны через мобильные устройства разных моделей телефонов одного производителя, через мобильный интернет (не через местный Wi-Fi).
5. Один из проголосовавших – довольно известный сценер (не LVD, и не участник ZX Spectrum Demo Compo), второй голос подписан дефолтным именем при голосовании на events – «Guest».
А теперь самый интересный факт, собственно, и послуживший причиной написания этой статьи.
Этот довольно известный сценер, на самом деле, проспал демокомпо и вообще не голосовал! Более того, он до сих пор даже не видел всех дем с CAFéParty! Это удалось выяснить через наводящие вопросы, просто пообщавшись с ним в личке.
Вот полные голоса этих форм:
И:
К сожалению, грандиозных разоблачений сегодня не будет. Мы не знаем, кто точно это сделал. Вероятно даже, что мы никогда этого не узнаем.
Уже не один и не два раза обсуждалось что на самых важных наших пати голосует недостаточно много людей, и что непонятно, можно ли доверять результатам компо на основании маленьких выборок голосов. Результаты спектрумовского демокомпо CAFéParty были получены на основании 25-29 голосов. Этот случай представляет нам возможность рассмотреть, насколько вообще невинны такие голосования, как это.
Официальные результаты пати выглядят следующим образом:
1 TIRATOK 8.79
2 GABBA 8.40
3 Hara Mamba, Scene! 8.23
4 SleepInvaders 7.77
5 Snipe 7.48
6 rewind 7.32
7 cadefemo 6.29
8 DiHalt Winter 2020 invitation 5.72
9 inercia 2019 invitro 4.69
Если выкинуть из этих результатов голоса двух недобросовестных участников голосования, получатся другие, вот такие результаты:
1 Hara Mamba, Scene! 8.72
2 GABBA 8.71
3 TIRATOK 8.70
4 SleepInvaders 7.71
5 Snipe 7.58
6 rewind 7.56
7 cadefemo 6.23
8 DiHalt Winter 2020 invitation 5.74
9 inercia 2019 invitro 4.30
Так вот. Нам очень хочется сказать, что всё это как бы немного жопа, и даже не только жопа, но и другие малообитаемые места. Нам легко представить, что кто-то хотел поддержать друга, брата, товарища по сцене. Но нам очень трудно себе представить, чтобы TmK и остальные ребята из DeMarche были на самом деле рады поддержке такого рода. Когда люди делают демо месяцами, больше всего им хочется внимания к их работе и справедливости. И хотя мы не официальная инстанция и не можем конфисковать статуэтки и выписывать новые дипломы, однако, из чувства сценерской солидарности и просто справедливости ради, хотелось бы заявить, что как минимум лично для нас главное компо главной пати года взяли SibCrew, взяли вполне себе убедительно и совершенно заслуженно. И по-хорошему, их нужно поздравить.
Мы просидели на этом тексте несколько дней. Была такая точка зрения, что публиковать его вообще не следует. Что нужно оставить всё при себе, в кулуарах, дескать, наша сцена и так слишком токсична, срачей и так слишком много; только что прошёл лучший за последние годы фестиваль, как по количеству участников, так и по количеству и качеству работ — и (что уж совсем невероятно) даже Хайп ожил! Зачем всё портить? Давайте не будем выносить сор из избы и набрасывать его на вентилятор. Надо оставить всё, как есть, замять, не провоцировать, не форсировать, не усугублять. Сделать выводы на будущее, и постараться, чтобы всё это не повторилось. Придумать, как быть в следующий раз. И вот ТОГДА…
Уже сейчас очень легко сказать, что было бы ТОГДА. Всё бы повторилось. За исключением, пожалуй, того, что участников было бы немного, а может быть и намного, меньше.
Думаю, мы вряд ли ошибёмся, предположив, что информация, приведённая здесь, мало кого по-настоящему удивила. Что все, кого это так или иначе когда-либо касалось — участники, организаторы, голосующие — знали, или по крайней мере подозревали, что такое случалось и раньше. И что это всего лишь ещё одно (далеко не первое) задокументированное и доказанное подтверждение.
Люди делают демы. Люди приезжают с ними на пати, из года в год. Выставляют их в конкурсах. И получают за них колы, просто по той причине, что кому-то не нравятся лично они. И всё, казалось бы, ничего. Можно оправдывать это тем, что “зрители так видят”, “зрители так решили”. Но, очевидно, что это неправда. Посмотрите ещё раз на цифры, приведённые в этой статье. Вы действительно в это верите?
Можно только позавидовать упорству тех участников, которых регулярно “топят” уже не первый год. Но любому терпению приходит конец.
Поэтому, как нам кажется, самое важное, что мы можем сделать в этой ситуации — придать её огласке и постараться максимально конструктивно — без срачей, без обвинений, без охоты на ведьм, без попыток кого-то в чём-то уличить — подумать, что нам теперь со всем этим делать. Подтасовка была. За руку нам никого уже не поймать. Но важно знать, что это произошло, что это сказалось на полученных местах, и нести на себе этот крест. И сделать всё, чтобы этого больше не повторилось.
Наше глубокое убеждение заключается в том, что правду — особенно неприятную — скрывать нельзя ни в коем случае. Мы стоим на этом, осознаём все последствия, и готовы отвечать за это как угодно и перед кем угодно.
Если не говорить о таких вещах сегодня — завтра может оказаться слишком поздно.
Даже вчера было уже слишком поздно.
sq
introspec
diver
UPD1, 13/11/19: Обезличенный файл с оценками за конкурсы CAFe'2019 (предоставлен и публикуется с разрешения организаторов)
84 комментария
Ну и тот же КВН вон меньше чем в 10 судей судят и норм.
Снижается количество голосов, но засчет низкокачественных. Остаются только голоса высокого качества и объективности, следовательно даже при более низком количестве, справедливость возрастёт.
Например, ничего не мешает мне аргументированно завуалировать свою гипотетическую единицу тысячей разных «причин»/мелочей. Например, в Hara Mambe'е можно списать плохую оценку, из-за использования матерного слова или за использования «запрещенного приёма» — кАвера на супер популярную песню. Кто ищет оправдания, тот всегда их найдёт.
В том же самом КВН судьи делятся на «своих людей» и «не своих», что естественно заметно когда явно идёт засуживание сильных команд, или явное вытягивание слабых.
Я вижу только одно решение — фильтрация оценок, причём никому в деталях не известной формулой, чтобы никто не мог дискредитировать(взломать) занижением оценки, или отказом от голосования.
Это момент, когда мы никогда не сможем набрать нужное количество для перехода в качество.
Поэтому надо нажимать на второе, а не на первое.
Примерно как мне казалось, что я объективно ставил оценку lvd, lvd казалось что не объективно.
Объективно знаем только, что интра лвд набрала 15 колов. Всё остальное — вкусовщина.
Скажу честно, за эти дни я совершенно пересмотрел свою точку зрения по той интре лвд. Я прекрасно понимаю свою логику в тот момент и мне трудно себе представить чтобы я как-то качественно иначе проголосовал в той ситуации. Но сейчас мне чётко кажется, что как минимум часть колов полученных lvd нужно было отменять как пристрастные.
Если уж отменять персоколы — то всем.
Но это другое.
Заслужить колы можно только очень плохим продом. Но не тем, какой ты человек и что ты сделал свою жизнь. Надо впитать это основательно, до мозга костей. Иначе мы так и будем топтаться на месте и топить друг друга, поливая колами.
Что еще мы должны основательно и до мозга костей впитать? По-моему, это не работает, иначе мы бы это сейчас не обсуждали.
И это не работает, да. Именно поэтому мы здесь это и обсуждаем)
А когда голосов мало, любое злоупотребление или даже просто ошибка — начинают влиять.
Если мы примем за аксиому, что демосцена — это не спорт, и адекватных оценок не существует по определению, так как это творчество, (не возможно на одной шкале оценить «Девятый вал» и «Мону Лизу»)
Тогда задача упростится, на много и будет гласить, что-то типа: Нам нужно мы избавимся от (не-)случайных накруток и статистических выбросов оценок, путём их фильтрации. Пусть при этом мы потеряем в точности оценок, что привидёт к той самой «слепке» первых мест — это вполне нормальное явление, когда невозможно выбрать кого ты больше любишь: маму или папу.
Я думаю, что можно проще и эффективнее; в своей статье я буду предлагать переходить на ранжирование медиан оценок. Это решит вопрос с отдельными резкими движениями, но создаст очень много разделённых мест. Я буду аргументировать, что хотя такое разделение мест на демосцене непривычно, оно будет по сути куда ближе отвечать положению вещей.
Но вообще, я принципиально не против разделенных мест, пусть бы выдавали три «призовых» места без дифференциации цвета штанов, то есть медалей, на золото, серебро и бронзу. Хотя я понимаю, что многие против этого: кому-то это снизит мотивацию — и голосовать и, может даже, участвовать.
Не знаю, кому как, а у меня осталось четкое ощущение, что места, дипломы, конкурсы — это чистейший фарс и игра в рулетку. Честно говоря, не понимаю, зачем надо было выставлять работы в конкурс, если конкурс как соревнование тупо не работает. Я для себя сделал определенные выводы, и в дальнейшем заливать все работы буду, наверное, просто в Wild.
выход из ситуации как обычно филосовский — забить и продолжать делать!
Я серьезно. Можно ведь и правда пативерсии дем выпускать неподписанные. В графике и музыке нам ведь это удается.
Да, мы достаточно давно знаем, что многие результаты неадекватны. Разобранный в статье выше случай в чём-то экстремальный, но в чём-то и совершенно обычный. Задумайтесь, после того как мы выкинули 2 голосования, три топ демы отличаются друг от друга даже не на десятые — на сотые! Неужели кто-то всерьёз думает, что наше голосование даёт реально такую точность?
Ближе к делу, я разумеется смотрю на несколько графических компо в своих подсчётах. Не потому что думаю, что там какие-то особенные махинации или накрутки; просто конкуренция в графических компо обыкновенно выше, плотность работ выше, поэтому они представляют из себя более сложные и интересные случаи для разбора.
1. На проверки и составления статистики нужно время.
2. Это не всем участникам понравится (даже без имен голосовавших).
3. Это не все считают целесообразным, чтобы не разжигать срач дальше.
4. Для это, возможно, понадобится кодить.
5. Просто тупо лень и есть чем заняться поинтереснее.
А конспирологии тут нет. Просто я достаточно вменяемый человек, чтобы отдавать себе отчет, что вряд ли кто подскочит и побежит копаться в голосах только потому, что лично мне это стало интересно. Даже если я несколько раз об этом напишу. А про «обиженных» и «узбагойтесь» будешь говорить своим ученикам, ты понял?
По остальным пати надо обращаться к другим организаторам. Если надо, могу поднять результаты по 3BM.
Вопрос закрыт.
Господа, возник такой вопрос: а кто-нибудь может привести пример хоть одного конкурса (вплоть до конкурса рисунков в детском саду), где голосование можно было бы назвать честным и беспристрастным?
Как же бороться? Никак. Да, можно отсеивать листы голосования с результатами содержащими только оценки 1 и 10.А 2 и 9? 3 и 8? Увеличить число голосующих до 200-300? А это точно остановит даунвотера? А если он окажется человеком упорным? если от него будет не 2 оценки а 40-50? Поверьте, такие есть. Сколько времени надо чтоб с нуля завести учетку на Events? С созданием разовой почты около 5-10 минут. Если усложнить процесс — то и новенькие голосовальщики могут плюнуть где-то посеред процесса. Единственный способ полностью избавиться от даунвотерства: запретить голосование в любой форме.
Так что, господа, остается только терпеть. Всем добра и терпения.