1) как взаимодействуют сотрудники посредством ИС
Ну именно это имхо лучше всего ПОКАЗЫВАЮТ диаграммы прецедентов UML. Есть некоторая локальная цель на определённом участке процесса, и для её достижения ряд участников взаимодействуют. Сценарий взаимодействия описывается нумерованным текстом. Связь же между задачами и их интеграцию в целостный процесс лучше показывают SADT и ARIS.
2) насколько ИС не соответствует БП
Тут я опять не понимаю, о каком соответствии идёт речь. Вот есть бизнес-процесс "Получение консультаций" в котором мы с вами участвуем, в котором мы используем ИС (ПО) "Веб-бразуер". Что значит, что веб-браузер не соответствует процессу получения консультаций?
Есть реальный бизнес-процесс, протекающий с использованием ИС, и его модели. Основные модели - это:
1) нормативная - регламент;
2) аналитическая, выраженная в определённой нотации (Use-case specification, SADT IDEF0, ARIS EPC);
3) когнитивная - находящаяся в головах людей.
Модели 2, как я понимаю, у вас нет и вы хотите её создать.
Для процесса, который вы хотите описать, есть ли модель хотя бы 1? Если есть, то о чём можно вести речь - так это о расхождении модели БП, описанного в регламенте и его реального протекания в силу сложившихся обстоятельств и текущих свойств ИС (ну нельзя в ней сделать платёжку за 5 секунд, приходится ждать 3 дня). Если же модели 1 нет - то можно вести речь о кажущемся несоответствии реального протекания БП и эталонных когнитивных моделей "как должно быть", находящихся в головах участников.
Поэтому что можно сделать - описать модель "как должно быть" с точки зрения Заинтересованных лиц, согласовать общее видение, что важно. Отдельно описать реально протекающий процесс и его характеристики. Далее сопоставить описания, выявить отклонения, несоответствия, далее уже искать причины и методы их устранения - удаление избыточного процесса, назначение ответственного, изменение функционала ИС и т.д.
Если не владеете никакой графической нотацией пока - значит опишите текстом, если процесс не слишком сложный.
3) как взаимодействуют функциональные блоки ИС
Как взаимодействуют функциональные блоки ИС лучше всего описывается моделями пакетов классов, компонентов и узлов UML. Нотация диаграмма этих моделей довольно несложна.
Для текстовых описаний можно взять любой текстовый редактор, например OpenOffice Writer, для рисования SADT/ARIS-диаграмм - векторный редактор, например OpenOffice Draw, Dia, MS Visio, SmartDraw. Для UML-моделирования - ArgoUML, StarUML, Visual Paradigm for UML CE.
Для того, чтобы отслеживать "что кто-то что-то сделал неправильно", как минимум нужен регламент. Далее можно уже анализировать причины - саботаж ли это, незнание регламента, халатность, неоптимальность процесса, свойства ИС.
Зачем в вашем случае нужно имитационное моделирование, я пока не понимаю.