Привет всем!
Как оценить эффективность внедрения систем?
На что смотреть и сравнивать?
Как хотели в ТЗ и как сейчас?И как это можно оформить?
Спасибо

Эффективность внедрения на мой взгляд определяется тем, достигнуты ли поставленные задачи и цели. Потому то, очень важно, когда заказчик ставит некую цель, спросить его, что означает для него успешность проекта, т.е. по сути эффективность системы. Как он будет это проверять? Об этом говорил на ЛАФ2010 уважаемый мною Сергей Мартыненко. Правильно говорил.

Но с другой стороны, можно считать что внедрение прошло успешно, а система эффективна, если задачи, которые решаются с ее помощью, выполняются с меньшими затратами ресурсов или способствуют большим выгодам. Если следовать Голдрату, то это будет означать уменьшение связанного капитала, увеличение скорости отдачи на ивестиции и уменьшения операционных затрат (вроде так если я не ошибаюсь)

Однако если следовать опыту, могу сказать, что например внедрение системы кадров у нас в организации увеличило общую трудозагрузку сотрудников, зато обеспечило получение массы информаци, которой ранее либо не получали из ОК, либо это осуществлялось очень долго

1. с Голдратом согласен.
2. с Мартыненко, видимо, тоже. Вопрос только в том "что есть цели и задачи"? Если "внедрить систему за три месяца", то это, разумеется, никуда не годится. Правильнее будет, что-нибудь типа: получил ли заказчик ту пользу от системы, которую ожидал. Причем на достаточном временном горизонте.
3. 2Galogen: Если ничего не путаю, то в вашем случае такие цели как "снизить общую трудозагрузку"  не ставились (но могу ошибаться), впрочем как и "получение массы информации". Поэтому в вашем случае рост трудозатрат легко объясним - ведь для получения из системы "массы информации" необходимо вколотить в нее кучу данных, которые ранее игнорировали.
Помочь Вам (с точки зрения трудоемкости) можно несколькими способами:
 - научить пользователей работать с системой
 - вдолбить необходимый объем данных (в первую очередь, практически неизменных "мастер-данных")
 - оптимизировать информационные потоки, реализованные в системе
 - оптимизировать интерфейс системы

Развивая мысль Galogen'а, могу сказать, что в дополнение к целям/задачам нужно определить базу (исходные данные) для расчета эффективности, метрики и методы. и сделать это надо как до внедрения системы, так и после. причем, сделать это (измерить эффективность) придется раз несколько, т.к. эффективность использования системы может меняться со временем как в ту, так и в другую сторону, например, в силу человеческого фактора).
 

2 Чеширский котик:
есть методики расчета эффективности ПО, которыми, в частности, пытали в свое время дипломников.

Полностью согласен с предыдущими ораторами (Galogen, Водолей), а также Голдратом и Мартыненко.

Цели и задачи - это бизнес-задачи заказчика, которые он хочет решить за счет внедрения системы. Например, "увеличить мощность (пропускную способность) склада до X тыс. штук за сутки в течении года" (а сейчас - X/5, например). Или "обеспечить отбор по заказам 98%". Или "уменьшить среднее время ответа оператора до с 15 до 3 минут, при сохранении нынешнего уровня квалификации набираемого персонала". В общем, цели могут быть разные. И не всегда экономические. Но чтобы заказчик был доволен - достигнуть надо именно их.

А с экономическими целями, реально, есть засада. Автоматизация (почти) никогда не снижает затраты в целом. Она может снизить затраты на единицу, но только при увеличении потока, так что в целом затраты, как правило, возрастают. Зато она дает новые возможности - по увеличению потока, по снижению запасов. А вот большинство методик расчета, которыми мучают студентов - они как раз из прошлой жизни, когда автоматизация черчения давала возможность сократить чертежников, не потому что чертеж становилось проще нарисовать, а потому что при исправлении не надо перерисовывать новую версию целиком - теперь эти времена прошли. А в учебниках - остались методики. Так что если это нужно для каких-нибудь экзаменов или формальных ТЭО (не реальных, а для галочки), то надо интересоваться именно методиками, полагаемыми правильными и считать по ним.

присоединяясь по духу, внесу небольшое дополнение в отношении затрат и влияния на них автоматизации.
Автоматизация - сама по себе является существенными затратами. это раз.
Автоматизация, безусловно, может существенно снизить затраты путем исключения центра существенных затрат в принципе, тогда при условии меньшего объема затрат на автоматизацию общие затраты снизятся. Правда, здесь речь скорее о реинжиниринге бизнес-процессов, чем об автоматизации...
НО! Разумеется при автоматизации операций снижения затрат может не происходить и скорее всего не происходит - операции-то никуда не делись, причем многие из них стали выполняться несколько дольше, за счет например загрузки данных из БД или их печати на сетевом принтере.
приведу пример: когда-то давно (старожилы помнят) в сберкассе при оплате коммуналки квитанция пробивалась кассовым аппаратом, оператор нажимал кнопку - бздынь! - оттиск ставился на квитанцию... когда ввели компьютерную технику, "оттиск" стал печататься на принтере построчно. к чему это привело? - очереди выросли, т.к. оператору понадобилось больше времени на регистрацию оплаты и выдачу оплаченной квитанции. кстати, даже сейчас до той (исходной) эффективности еще недоросли, даже исключив операцию отрезания/отрывания оплаченного извещения.

... а также Голдратом и Мартыненко. ...

Нифига себе, Мартыненко уже в один ряд с Голдратом ставят. Круть

Если сузить тему и говорить только об экономической эффективности, то с этим:

...
Автоматизация (почти) никогда не снижает затраты в целом.
...

полностью согласен.

Те редкие случаи, когда снижает, можно систематизировать.
Попробую это сделать

Такое обоснование обычно требуется при принятии решения о входе в проект по разработке/внедрению информационной системы.

Есть типовые показатели, используемые для оценки экономического эффекта IT-проектов, такие как чистая текущая стоимость проекта (NPV) и внутренняя норма доходности проекта (IRR). Методику их расчета легко можно найти гуглением.

В принципе, оценивать экономическую эффективность, можно, двигаясь двумя путями:
1. Увеличение доходов компании;
2. Уменьшение затрат.
П.1 - не поддается очевидной и точной оценке, зависимость проследить практически невозможно.
П.2 - можно оценить с большей степенью точности.
Примеры по п.2:
Затраты на оплату труда – см. методики, упомянутые в постах выше. Есть новые методики, есть старые, часть из них можно попробовать использовать.
Затраты на программное обеспечение - отказ от лицензирования отдельных приложений разных поставщиков, и, как следствие, экономия на лицензиях.
Уменьшение недостач и злоупотреблений – для учетной системы может мерятся оценкой недостач, выявленных в ходе последовательных инвентаризаций. Аналогично с браком для производственных систем и т.д. и т.п.
Уменьшение штрафов и пеней – из-за уменьшения риска ошибок в отчетности и неправильного оформления документов
И так далее. Таких факторов можно привести десяток-другой и обсчитать каждый.

Также, как правило, при таких обоснованиях упор делают также на то, что возможности сокращения затрат и увеличения выручки зачастую связаны с наведением порядка в бизнес-процессах. Здесь мы вступаем на тонкий лед от чего больший эффект – от реинжиниринга бизнес-процессов или от автоматизации и связи одного с другим. Если говорить о такой методике для реинжиниринга бп, то смотрите в сторону abc-костинга.

Лично я не верю, что результатом автоматизации (ИТ, а не экскаватор) бывает  в снижение затрат на оплату труда. Единственное исключение - когда сопровождение новой программы выдано на аутсорсинг, и потому эти расходы не входят в оплату труда, а идут по другой статье. Но при этом увеличение затрат на сопровождение - больше чем экономия на оплате труда.

Затраты на программное обеспечение, естественно могут снизиться, если нашли/выбрали лучшее, тут не спорю.

Что касается уменьшения недостач и злоупотреблений, то связать это однозначно с автоматизацией - невозможно. Более того, если инвентаризация выявляла недостачи - значит учетный остаток где-то был - то есть автоматизация была. Если предположить, что процессы не изменились, а просто меняли информационную систему, то причин уменьшения недостач при этом не видно. Другое дело, что при смене информационной системы обычно меняют бизнес-процессы, и эти изменения могут привести к уменьшению недостач и злоупотреблений, а отдельные их виды - исключить. Но этого же можно достигать и орг.мерами, и корректным было бы сравнение автоматизации с такими мерами - а этого не делают.

Тут мне пришла некая аналогия по поводу замены старых систем на новые (а ведь в наше время с нуля практически ничего не делается):

1) Был у меня года 3 тому назад телефон, обычный сотовый телефон... И вот настало ДР нужно подумать о подарке- что купить? Ну конечно же коммуникатор, ведь в нем:
  1. Карты и навигация
  2. Синхронизация задач и встреч с аутлуком
  3. Читалка
  4. Пробки
Вроде бы казалось, что сейчас я стану на 200% эффективнее, а на самом деле:
  1. Да, карты мне иногда помогают, но можно было купить либо бумажные карты или навигатор, что намного дешевле
  2. Я стал меньше опаздывать? Да я вроде и до этого не очень сильно опаздывал, да и есть бумажный дневник
  3. Я стал больше читать? Да не на много, т.к. в основном езжу на машине
  4. Я стал быстрее ездить? Да иногда пробки помогают, но больше ситуаций, что смотри или не смотри в пробки, все равно не едешь )

2) Вот был у меня коммуникатор, 2 года продержался, вышло уже 150 новых моделей, а я все со старым... Что в новом лучше:
  * немного пошустрее, но это не критично
  * немного полегче и поменьше, но это тоже не критично
  * немного стильнее, но это тоже не критично
Опять ДР, опять есть деньги, нужно что-то покупать ...

А Вы не просматриваете подобной аналогии?

хм... у меня была древняя нокия.. Она слала СМС и звонила + с неё было удобно слушать музыку.

Я купил ай-фон около года назад, в итоге:
-удобно смотреть пробки
- я могу смотреть фильмы (например, летая в самолёте)
- я могу поиграть в игры, если неохота читать, нечего смотреть и хочется убить время
- я могу почитать (хотя я этого обычно не делаю..)
- я могу скачивать подкасты и учить английский
- я могу использовать скайп и прочее
- я могу слушать музыку, но теперь есть плейлисты

Так что в моём случае это было оправдано и я рад покупке.

Удобно и могу - это не значит эффективнее и тебе это сильно помогает.
На сколько ты стал эффективнее работать\жить\проводить время?

Все что ты написал и я могу, я вот только не могу однозначно сказать:
1. На сколько сократилось общее время в пути до и после коммуникатора
2. На сколько я стал меньше опаздывать
3. На сколько я разгружаю мозг в играх/фильмах/музыке и т.д.
4. На сколько я стал умнее слушая подкасты и английский
5. ....

Можно сказать только на уровне ощущений, как зачастую и делают в ИТ проектах, и потом начинают подгонять туда математику ...

Ну если есть желание и поставлена данная задача по отслеживанию эффективности выполнения работ, то можно кое-что придумать :
1. определите рамки и границы вашего проекта,
2. обозначите  результаты
3. для достижения каждого результата определите список требований (задач), которые необходимо сделать
4. рассчитайте трудоемкость для каждого результата
5. и конечно ведите фактически потраченную трудоемкость
6. составили план-факт и прикинули эффективность.
Но зачастую такой подход работает только после выполнения работ и в основном направлен для анализа и выводов каждого аналитика

Мария,

Вы эффективность между чем и чем меряете?

Эффективность выполнения работ, т.е. как я планировал выполнить работу и как выполнил (насколько эффективно сработал) без учета внешних рисков