прикладная статистика снова -

[a_shen]

вынося из комментариев к http://kireev.livejournal.com/698414.html?thread=11988014#t11988014 (ответ mi_b)

-------

Прошу прощения - у меня было впечатление (возможно, ошибочное), что Вы профессионально связаны со статистикой и финансами, поэтому я написал недостаточно подробно и отчётливо. Попытаюсь исправиться, и заранее прошу прощения за занудство.

1. Статистические "доказательства" по своей природе не могут быть абсолютными - но, тем не менее, статистика предоставляет различные средства перекрёстной проверки гипотез, если их формулировать отчётливо и осознавать их природу.

2. Различия в результатах голосования на разных участках, вообще говоря, могут быть связаны с разными факторами:

а) случайные колебания в отсутствие каких-то систематических причин расхождений (которые были бы, даже если разбить людей на произвольные группы размера участков)

б) различия в составе жителей участков (их профессиональное, социальное положение, уровень доходов и пр.)

в) различия, связанные с локальными событиями (погода, наличие информации о месте голосования, его доступность и пр.)

г) различия, связанные с фальсификацией результатов того или иного вида (вбросы, неправильный подсчёт и пр.)

2. Гипотезы эти различны, и возможны перекрёстные проверки, позволяющие оценить их правдоподобие. Эти проверки разные для разных видов гипотез. Чтобы оценить а, можно посчитать типичные случайные отклонения для данных размеров участка (и они окажутся существенно меньшими наблюдаемых). Чтобы оценить б, есть разные методы. Можно ожидать, что состав жителей и их предпочтения во многом остаются постоянными от одних выборов к другим, и сравнить результаты выборов разных лет в одном и том же месте. Можно сравнить результаты участков, находящихся географически близко (в большинстве случаев состав населения там не сильно отличается). Последний способ годится также и для в; важная разница между б и в состоит в том, что в случае в нет априорных причин для связи между явкой и голосованием за т.н. "единую россию". Наконец, гипотезу г можно проверять, наблюдая корреляцию с факторами, имеющими отношение непосредственно к подсчёту, типа наличия наблюдателей или КОИБ (автоматических сканеров для бюллетеней).

3. "Оживляж" типа "весёлые и грустные" [см. обсуждение по указанной ссылке] хорош, если он позволяет наглядно изложить ситуацию, не искажая её по существу. Но Вы используете эту терминологию и в ситуации б, и в ситуации в, что затрудняет обсуждение. (Изменение названий партий в этом отношении безвредно.)

4. В статистических обсуждениях прошлых выборов (см. их резюме, опубликованное в ЖЖ, http://www.cmi.univ-mrs.fr/~ashen/elections.pdf) упоминались разнообразные статистические данные, с которыми, если я правильно помню, Вы тоже знакомились и высказывали свои соображения. Примитивизировать обсуждение доводами типа "2. Я видел в жизни много бимодальных распределений, так что что демонстрирутеся синенькой картинкой, мне неясно" [http://oude-rus.livejournal.com/540865.html] не стоит (хотя, возможно, оба Ваших замечания и справедливы). В частности, процедура предположительного выделения "нормальной компоненты" подробно обсуждалась в прошлых обсуждениях (Шпилькин, Пшеничников).

5. Сама постановка вопроса о "доказательствах фальсификаций" требует уточнения: нас интересует не вопрос о их существовании (вероятно, это так для любых выборов в любых странах), а оценка их размеров. Проблема с отчётами наблюдателей в том, что в силу небольшого количества отчётов и их произвольного распределения по участкам трудно оценить размер фальсификаций. В этих выборах по сравнению с предыдущими было преимущество в том отношении, что были предприняты некоторые шаги в сторону составления более представительной выборки по участкам (проект "Гражданин наблюдатель" - было выбрано 5% участков по Москве - первый в округе и иногда ещё один более или менее случайно взятый, как я понял). Соответственно, теперь возможна перекрёстная проверка: можно применить (без изменений) статистическую оценку реального голосования (обсуждавшимися на прошлых выборах методами) и данные по этим выборочным участкам (тем из них, где комиссия и наблюдатели согласны с результатами). Надеюсь, что эта работа будет доведена до конца, пока что можно только грубо сравнить "синенькую картинку" и данные по явке и голосованию с этих контрольных участков - они ближе друг к другу, чем к официальными результатам.

Comments

[imfromjasenevo.livejournal.com]

уже пытался высказаться 4 года назад, в вашем журнале, но не был понят, либо не понял сам.

Нет в нашем мире абсолютных доказательств с математической точки зрения, это касается любой физической-химической-биологической экспертизы.

Бороздки на пуле, следы ДНК и даже отпечатки пальцев могут совпасть, а в некоторых случаях можно посчитать точную вероятность такого случайного совпадения, однако суды широко используют такие экспертизы.

Некоторые особенности распределений могут возникнуть с очень маленькой вероятностью и любой вменяемый суд, такие данные должен объявить фальшивыми. (например четкие пики на плотности распределений в кратных десяти значениях, любой же критерий согласия выдаст что-то фантастическое малое)

[rezoner.livejournal.com]

Пики в значениях, кратных 10 - случай крайний.

А вот другой пример, который приводит oude_rus по данным podmoskovnik'а: бимодальное распределение процента голосующих за ЕР. Есть альтернативное объяснение (кроме жульничества): популяция расслоена на две большие группы. Ну, скажем, как это было на Украине. Вот и бимодальное распределение, и нет смысла высчитывать его вероятность, исходя из обычных предположений о независимом случайном распределении.

разумеется,

[a-shen.livejournal.com]

бимодальное распределение имеет много разных возможных объяснений. Но:

(1) оно является лишь одним из статистических наблюдений (эта итоговая картинка лишь иллюстрация к различным статистическим подсчётам, а не самодостаточный аргумент) и

(2) варианты объяснений допускают перекрёстные проверки (скажем, корреляцию с наличием КОИБ или наблюдателей, или географическими статистическими данными и пр.)

Re: разумеется,

[rezoner.livejournal.com]

Он сделал еще одну отличную картинку: этот второй пик коррелировал с повышенной явкой. Коэффициент корреляции Пирсона - + 0.63 :)))

Re: разумеется,

[rezoner.livejournal.com]

Вот что интересно. Все эти рассуждения имеют смысл только в байесовской модели, согласен? И меня немножко смущает это обстоятельство: не даем ли мы слишком большой априорный вес предположению о жульничестве? Конечно, достаточно посмотреть на рожу Путима, но все-таки :))

о моделях

[a-shen.livejournal.com]

статистикой вообще часто злоупотребляют и пишут всякую ерунду типа того, что "наличие (отсутствие) фальсификаций установлено с вероятностью 99,4762%" - когда такое пишут, это явная ерунда. Статистические заметки - это только аргументы для математически грамотных "присяжных", которые (в воображаемом суде) должны иметь возможность заслушать и сравнить аргументы "защиты" и "обвинения", прежде чем высказать своё мнение. При этом присяжный может ориентироваться на какие-то цифры, только если он точно понимает, что именно подразумевается.

В случае с прошлыми выборами я попытался представить себя в роли такого присяжного и изучил аргументы "стороны защиты" (статью Чурова, до того уважаемого В.Л.Арлазарова [Каисса] и ещё кого-то) - они только усугубили впечатление своей очевидной неграмотностью.

Re: разумеется,

[nikolenko.livejournal.com]

С посылом согласен полностью, но в данном случае, честное слово, априорное распределение должно быть в духе Beta(1000,1) в пользу честных выборов, чтобы апостериорное среднее больше 1/2 получилось. :)

Re: разумеется,

[nikolenko.livejournal.com]

http://smartnik.livejournal.com/226760.html
;)

[imfromjasenevo.livejournal.com]

да, конечно такое может быть, но опять же, можно провести небольшое исследование жителей эти участков для выявления таких групп.

[rezoner.livejournal.com]

Ага, вот видите.

вывод только один: требует дальнейшего исследования. А не мгновенных выводов.

И не потому, что выводы эти неверны - они с вероярностью 95% таки верны, А просто хотя бы для самоуважения: да. я проверил альтернативные гипотезы.

[imfromjasenevo.livejournal.com]

мы имеем этот крайний

[rezoner.livejournal.com]

Это ведь с прошлых выборов картинка?

[awson.livejournal.com]

Бггггг. А где это опубликовано?

[nikolenko.livejournal.com]

Интересно, что за пик возле 100%, но всё же левее. Вдруг все договорились и решили нарисовать ровно 98.5%? :)

"Пики в значениях, кратных 10 - случай крайний"

[oude-rus.livejournal.com]

Гы. А в пяти? и не по явке, а голосованию?
http://oude-rus.livejournal.com/541842.html

Re: "Пики в значениях, кратных 10 - случай крайний"

[rezoner.livejournal.com]

Слушай, а я как-то пропустил этот пост :)

Вообще, давай помиримся. Я с твоими выводами согласен. И просто хочу, чтобы выводы были максимально неуязвимы, поэтому и выдвигаю альтернативные гипотезы. Ты же ссылаешься в ответ на другие свои посты, где рассматривается, например, не бимодальность распределения, а пики на значениях, кратных 5.

Так вот, надо это все как-то аккуратно свести вместе, как мне кажется. Чтобы все альтернативные объяснения зачахли.

[arky-titan.livejournal.com]

Бимодальное распределение распадется на суперпозицию двух нормальных при такой огромной массе людей. Если его невозможно представить как суперпозицию двух функций Гаусса, если внутри них возникают аномалии - фальсификация. Т.к. предсказать заранее результаты выборов не представляется возможным, то и построить модель, по которой приписки будут следовать ЗБЧ крайней трудно, если вообще не нереально. Так что любые значительные аномалии с большой долей вероятности говорят об искусственном изменении в массиве экспериментальных данных.

[potan.livejournal.com]

- Есть ли у котенка хвостик?
- Я не знаю, я агностик.

есть

[a-shen.livejournal.com]

менее цензурный вариант поговорки - про "божью росу" :-)

[imfromjasenevo.livejournal.com]

просто, мне кажется, что статистическая оценка вполне может быть (и должна быть) рассмотрена судом в виде одного из доказательств масштаба фальсификации

безусловно

[a-shen.livejournal.com]

- я просто хотел сказать, что в этой области нет "математических доказательств" (Достоевский), а есть, так сказать, улики, которые можно рассматривать в совокупности и с разных сторон.

[rezoner.livejournal.com]

Ну слава Аллаху, один трезвый голос нашелся.

[oude-rus.livejournal.com]

//процедура предположительного выделения "нормальной компоненты" подробно обсуждалась в прошлых обсуждениях//

я как раз сильно оппонировал (и продолжаю) такой процедуре, поскольку в ее основе лежит неочевидное (для меня) сильное предположение.

безусловно,

[a-shen.livejournal.com]

процедура эта весьма спорная, и как раз возможность сравнения её результатов с данными, полученными независимыми методами (скажем, применение её к данным по Москве и контрольным участкам, или по районам Москвы), по-моему, представляет большой интерес (и никак не относится к числу экспериментов с заранее ясным исходом)

Re: безусловно,

[oude-rus.livejournal.com]

зачем себя обманывать -- это именно что эксперимент с заранее ясным исходом: весьма времязатратные игры с цифрами приведут к очевидному результату.