Про то, как нельзя проектировать информационные системы

[mazzy]

Цитата:

Сообщение от Bobkov

А если нужно чтобы совсем не ломалось (то есть гарантированное качество)? Тогда нужны предупреждающие действия. Это когда сейчас все вроде хорошо, но в системе идет деградация и чтобы не допустить ни одного сбоя, ставятся контроли, определяющие негативные тенденции. Если какой-то вход или элемент системы подошел к опасной границе, его заменяют (хотя сбоя еще нет).

собственно тут и подошли к самому интересному.
а какие предупреждающие действия будут достаточны?
как определить опасность границы?

[komar]

Цитата:

Сообщение от mazzy

собственно тут и подошли к самому интересному.
а какие предупреждающие действия будут достаточны?
как определить опасность границы?

Теоретически, в оценке рисков мы работаем с экспертной оценкой. Как результат - может существовать система с сильным уровнем контроля, и рядом система с низким уровнем контроля, но вполне удовлетворяющая пользователя.

В случае систем бухгалтерского учёта или в случае с (вполне политически нейтральным) примером с архаическими системами чековых платежей и оплаты при помощи телефонных звонков - система рано или поздно даст обратную связь в виде убытков или штрафов. В случае систем электоральных всё, конечно же, сложнее - так как на обратную связь могут уйти десятилетия, да и получившийся результат оцениваться будет разными пользователями по-разному.

Вариант "работает-не трогай" имеет право на жизнь, конечно же. Однако, случай, когда система дырява настолько, что даже проверить результат невозможно, кажется мне достаточно диким. Погрешность в данном случае теоретически равна бесконечности, что приемлемым быть не может.

[Pavel]

Цитата:

Сообщение от komar

Вариант "работает-не трогай" имеет право на жизнь, конечно же. Однако, случай, когда система дырява настолько, что даже проверить результат невозможно, кажется мне достаточно диким. Погрешность в данном случае теоретически равна бесконечности, что приемлемым быть не может.

'Те, кто находились на борту, могли воспользоваться лишь двумя кнопками центральной панели: на одной было написано «старт», а на другой «стоп». Кнопка «старт» служила только для того, чтобы корабль взлетел с Марса. Кнопка «стоп» была просто декоративной. Ее установили по требованию марсианских экспертов-психологов, полагавших, что человеческим существам всегда приятнее иметь дело с механизмами, которые можно остановить.' (c) классика фантастики.

Дырявость и погрешность указанной системы по факту ничего изменить не могут. Результат в итоге определят 538 человек, которые хорошо известны, авторитетны и самое главное абсолютно лояльны. Это и есть 'защита'... но не IT-системы...

[Bobkov]

Цитата:

Сообщение от mazzy

"сломалось - ремонтируем" - это ты ISO 9000 описал

Предупреждающие действия в ISO 9000 так же есть, обычно они встречаются по тексту сразу после корректирующих. С точки зрения системы управления качеством по ISO, предупреждающие действия обязательны, без них нельзя.

Цитата:

Сообщение от mazzy

собственно тут и подошли к самому интересному.
а какие предупреждающие действия будут достаточны?
как определить опасность границы?

Методики обычно все те же - статистические. Это же наука, у нас этой темой еще в советское время активно занимались, прежде всего в машиностроении. Опытным путем устанавливается состояние, с определенной вероятностью предшествующее сбою. Пример из информационных технологий - если вентилятор в компьютере начал гудеть, значит скоро он встанет и сгорит то что он охлаждает. Люди предусмотрительные такой вентилятор срочно меняют, не дожидаясь отказа.

Цитата:

Сообщение от komar

случай, когда система дырява настолько, что даже проверить результат невозможно, кажется мне достаточно диким. Погрешность в данном случае теоретически равна бесконечности, что приемлемым быть не может.

Точно. Но это твое наблюдение с большой вероятностью означает не то, что система плоха, а то что ты ее плохо знаешь. Возможно, ты даже не представляешь себе, что является ее результатом, полезным для владельцев и какие требования они к нему предъявляют. Вполне вероятно, что результат есть, и качество владельцев устраивает, и контроли имеются в нужных местах. Просто мы об этом не знаем. И это нормально, потому что владельцы системы совсем не заинтересованы в том, чтобы мы это знали, а как раз наоборот

[mazzy]

Цитата:

Сообщение от Bobkov

Пример из информационных технологий - если вентилятор в компьютере начал гудеть, значит скоро он встанет и сгорит то что он охлаждает. Люди предусмотрительные такой вентилятор срочно меняют, не дожидаясь отказа.

Получается, что все опять же сводится к "механизмам внутреннего контроля" )
только вместо отказа вентилятора контролируется гул вентилятора )

и снова все тот же вопрос: в какой момент механизмов внутреннего контроля достаточно? каков критерий "достаточности"? какова трудоемкость создания и развертывания достаточных механизмов?

подозреваю, что снова все сводится к "статистические" )
но это значит, что механизмов не будет до первого громкого случая - пока гром не грянет.

и плавно возвращаемся к началу ветки и к топикстартеру )

[komar]

Цитата:

Сообщение от mazzy

Получается, что все опять же сводится к "механизмам внутреннего контроля" )
только вместо отказа вентилятора контролируется гул вентилятора )

и снова все тот же вопрос: в какой момент механизмов внутреннего контроля достаточно? каков критерий "достаточности"? какова трудоемкость создания и развертывания достаточных механизмов?

подозреваю, что снова все сводится к "статистические" )
но это значит, что механизмов не будет до первого громкого случая - пока гром не грянет.

и плавно возвращаемся к началу ветки и к топикстартеру )

Спасибо

Итак, когда же систем контроля достаточно? Возьмём, например, контроль доступа. Нам нужно, чтобы на участок смогли пройти только определённые люди, причём только один раз. Пока опустим возможность некорректного составления списков.

Вполне очевидно, что просто назвать фамилию, либо принести квитанцию об оплате квартплаты недостаточно.

Почему недостаточно? Потому, что выдать неверные сведения в таком случае просто, так как личные данные в рассматриваемой юрисдикции довольно легко доступны



, а напечатанная на принтере бумажка может изготавливаться любым школьником в любых количествах и в короткое время.

Почему мы говорим о том, что паспорт с фотографией является достаточным? Потому, что он однозначно идентифицирует человека, и имеет достаточную защиту от подделки, которую в массовом порядке сломать очень проблематично, это требует специального оборудования, навыков и больших денег.

А теперь самое главное. При каких обстоятельствах данные риски действительно существенны, то есть оказывают на результат существенное влияние? Таких обстоятельство два.

Во-первых, явка на выборах не должна составлять 100%. Это условие соблюдается практически повсеместно, в США - обычно где-то около 66%.

И второе важное условие. Отсутствие явного фаворита. В ситуации, когда один кандидат заведомо популярнее своих конкурентов, и разрыв составляет десятки процентов, манипуляции не имеют смысла. А имеют они смысл в ситуациях, когда имеются два (или больше) равных по популярности кандидата. То есть в тех случаях, когда выбор неочевиден.
Такая ситуация была, например, в хрестоматийном случае Буша-Гора, когда выбор фактически определила сотня голосов. Мы не будем в данном случае ворошить эту историю, так как в данном контексте не имеет значения, были ли там подтасовки или нет - важно то, что в подобных ситуациях они, во-первых, могут быть, а во-вторых, могут оказать значительное влияние на результат процесса. Если это так, то для данных случаев риск является существенным, а контролю нужно уделить внимание.

Как видим, в определении достаточности контроля особой сложности нет. Конечно, мы вряд ли сможем оценить риски с астрономической точностью, однако разговоры о том, что это невозможно и не нужно вообще, есть демагогия.

[mazzy]

Цитата:

Сообщение от komar

...чтобы на участок смогли пройти...

шо, опять?!
впрочем, сам виноват.

ну и фиг с вами, обуждайте политику в этой ветке.
с вашими безусловными "нам нужно", "должен", "важное условие".

да насрать на квитанции, фаворитов и прочую шелуху.

гораздо интереснее, на мой взгляд, при обсуждении информационной системы понимать почему и кому это "нужно"?
кто, кому и почему "должен"?
почему условие является важным? и для достижения чего именно условие является важным?
а также кто и в каком объеме оплачивает этот банкет?
и какой компромисс цена/качество является приемлемым? чем можно пожертвовать для достижения компромисса?

[mazzy]

Цитата:

Сообщение от komar

Нам нужно, чтобы на участок смогли пройти только определённые люди, причём только один раз.

Фиг с вами, рассмотрим информационные системы на примере выборов.

итак, вводная:
каждый человек, удовлетворяющий заранее заданным критериям, может в течение заранее заданного интервала времени выбрать один или несколько пунктов из заранее заданного единого списка. по завершению интервала времени, нужно подсчитать количество голосов таким образом, чтобы выбор каждого человека учитывался один раз.

к вводной замечания есть?

предлагаемое в демократических странах решение:
территориальное разбиение на "участки", приписывание людей к участкам.

предлагаемое ограничение, которого не было в исходной вводной:
человек может проголосовать только на том участке, к которому приписан.

предлагаемое решение и предлагаемое ограничение приводит к неизбежным задачам контроля правильности разбиения на участки, правильности приписывания, правильности подсчета по участкам. к задачам контроля, которые никак не влияют на саму вводную. эти задачи контроля всего лишь обеспечивают корректность данного решения. не более.

но даже при таком предлагаемом решении и таком предлагаемом ограничении требование "чтобы на участок смогли пройти только определённые люди, причём только один раз" абсолютно не связано ни с чем, является бредовым, избыточным и очень затратным. прохождение != выбор. Зачем ограничивать прохождение на участок? Ведь мы считаем голоса! Зачем вообще требовать какого-то физического прохождения?

И так далее.
komar, то что ты написал как важное/очевидное/нужное, то что ты написал про бумажки и прочие личные данные - абсолютно не относится к вводной. Вводная решается совсем другими средствами.

=================
возвращаясь к информационным системам.
выборы есть в распределенных базах данных. в этой области есть процессы, работающие на разных компьютерах в разных часовых поясях с разными задержками и с разной скоростью. компьютеры в свою очередь могут перемещаться в пространстве и в сети (ноутбуки, мобильные телефоны, планшеты и пр). часы у компьютеров принципиально могут быть несинхронизированы. процессы могут обновлять данные в одних и тех же записях.

как обеспечить целостность и непротиворечивость данных в таких условиях?

а ведь такая база есть и работает - DNS.
за домены также происходит голосование. когда домен создается или когда домен не оплачен и его кто-то перехватывает.

=================
komar, честно ну, не интересно про шелуху типа "контроль доступа на участок".
Ты ведь хорошую тему обозначил - про информационные системы.

[komar]

Цитата:

Сообщение от mazzy

komar, честно ну, не интересно про шелуху типа "контроль доступа на участок".
Ты ведь хорошую тему обозначил - про информационные системы.

Просто для меня информационная система - это не программа, а совокупность программ, алгоритмов, процедур. Согласен, правильнее, было сказать не "контроль доступа на участок", а "контроль доступа к бюллетеню или аппарату для голосования" Это принципиально что-то меняет? По-моему, нет.

Да, я рассмотрел только один из рисков, и только один из контрольных механизмов. Впрочем, довольно важный, но только один. О чём и написал.

И я ведь не только про выборы говорил, ты просто половину разговора потёр Моё удивление вызывают не выборы как таковые, а сам факт того, что вполне себе архаические системы до сих пор не совершенствуются и продолжают использоваться. Приведённый мною пример с чековой оплатой (оплата покупок рукописными пересылаемыми по почте бумажками) - тоже из той оперы:

- имеем систему, которая по определению слабо защищена, и параллельно имеем систему, которая уже массово развёрнута и лучше защищена (электронные платежи).
- имеем проверяемую статистику о том, что чековая система даёт большее количество сбоев, и вдобавок более медленна, требует затрат на свою поддержку, неудобна, и так далее. Вот, например:

Цитата:

Checks (consumer and business) were the payment instrument with the highest average value of unauthorized transactions in 2012. The average unauthorized check transaction was valued at $1221, as compared to ACH at $730, ATM withdrawals at $217, general purpose credit cards at $138, and general purpose debit cards at $105.
....
2015 AFP Payments Fraud and Control Survey findings show:
* Checks remain the payment type most vulnerable to fraud attacks.
* 77% of organizations affected by payments fraud report that checks were targeted.
* Checks were also the payment method most likely to result in a financial loss due to fraud, with 45% of those companies that experienced a loss due to fraud reporting that checks were involved.
...
и так далее...

Причины поддерживать эту систему на плаву нет - так как банковские карты используются очень давно, и пользователи вполне их освоили.

Тем не менее - странный парадокс. С одной стороны, дыры в безопасности электронных карточных платежей оперативно затыкаются. С другой стороны, явные и принципиально незатыкаемые дыры в системе чековых платежей не приводят к ликвидации такой системы. Воистину, велика инерция...

[mazzy]

Цитата:

Сообщение от komar

а "контроль доступа к бюллетеню или аппарату для голосования" Это принципиально что-то меняет? По-моему, нет.

Ты прав,
и контроль доступа на участок не влияет на решение задачи (прохождение != выбор)
и контроль доступа к бюллетеню не влияет на решение задачи (бюллетень != выбор)

Согласен, ничего не меняет. )))

[mazzy]

Цитата:

Сообщение от komar

И я ведь не только про выборы говорил, ты просто половину разговора потёр Моё удивление вызывают не выборы как таковые, а сам факт того, что вполне себе архаические системы до сих пор не совершенствуются и продолжают использоваться.

как только понимаешь что
любой механизм контроля требует затрат на обеспечение работы,
и любой механизм контроля имеет погрешность работы
то задача тут же сводится к тривиальному поиску оптимума минимальных затрат и погрешности.

вот Бобков говорит о том, что надо накопить статистику и решать по мере возникновения. этот подход может показаться бредовым. но если вспомнить о затратах, то "система без механизмов контроля" означает "система без затрат на контроль". И могут быть случаи, когда такой подход оправдан. Когда? При каких условиях?

[mazzy]

Цитата:

Сообщение от komar

И я ведь не только про выборы говорил, ты просто половину разговора потёр

перечитал удаленное.
да, извини, одно твое сообщение удалил зря. восстановил и здесь процитирую.

Цитата:

Сообщение от komar

Я думаю, тут не в желаемом состоянии дело. Я даже не думаю, что всё это сделано специально для возможности фальсификации результатов.

А кажется мне, что организации, внедрившие технологии позже, получают в качестве бонусов более современную их версию.В качестве примера попроще могу предложить, например, такой анахронизм, как используемую в странах англоязычного мира оплату товаров чеками (написанная от руки бумажка, пересылаемая по улиточной почте) или ещё столь же феерическую оплату кредиткой по телефону. Нужно ли говорить, что возможность мошенничества здесь зашкаливает, тогда как перепроверка весьма трудоёмка (в некоторых случаях чуть ли не треть всех аудиторских процедур уходит на поиск багов в чековых оплатах). Но один раз внедрив технологию, отказаться от неё очень непросто... С тех же мейнфреймовых программ компании не могут слезть годами даже после физической смерти всех, кто мог их поддерживать.

Цитата:

Сообщение от komar

Моё удивление вызывают не выборы как таковые, а сам факт того, что вполне себе архаические системы до сих пор не совершенствуются и продолжают использоваться. Приведённый мною пример с чековой оплатой (оплата покупок рукописными пересылаемыми по почте бумажками) - тоже из той оперы:

- имеем систему, которая по определению слабо защищена, и параллельно имеем систему, которая уже массово развёрнута и лучше защищена (электронные платежи).
- имеем проверяемую статистику о том, что чековая система даёт большее количество сбоев, и вдобавок более медленна, требует затрат на свою поддержку, неудобна, и так далее.

я думаю, что логический перекос в том, что ты говоришь о "возможности мошенничества", а не об убытках от мошенничества )
А вот затраты на обеспечение работы процессинговых центров вполне реальны и постоянны.

возьмем приведенные тобой цифры:
неавторизованные платежи по чекам $1221,
в сравнении с ACH+ATM+Credit Cards+Debit Cards=$1190.
предполагается, что эти ACH, ATM, Credit Cards, Debit Cards содержат дополнительные механизмы контроля, на обеспечение работы которых идут дополнительные затраты.

и?

[mazzy]

Цитата:

Сообщение от komar

Тем не менее - странный парадокс. С одной стороны, дыры в безопасности электронных карточных платежей оперативно затыкаются. С другой стороны, явные и принципиально незатыкаемые дыры в системе чековых платежей не приводят к ликвидации такой системы. Воистину, велика инерция...

Если честно, то у тебя получилось! Ты пробил мое восприятие.

и дыры в картах/клининговых центрах затыкаются
и 77% fraud-усилий направлено на чеки
и проверяются эти чеки плохо

а тем не менее, объем неавторизованных операций по чекам сравним с объемом неавторизованных операций от всех электронных систем с механизмами контроля.
Кроме того, на обеспечение работы механизмов контроля идут дополнительные неназванные затраты.

Другими словами, если верить твоим данным, то общие затраты систему без механизмов контроля (чеки) меньше, чем общие затраты на системы с механизмами контроля?

Ты прав, странный парадокс.