Мои 300 часов

(Из ленты 255 ступеней)

до дыр затертая зима
до голубых проталин в неба сводах
истоком терпкого тепла
легла моя свобода, солнце
(с) Точка Росы «300 шагов»

Как то было дело, пригласили меня сделать отдел тестирования. Обсудили варианты и я согласился.

Первый день осматривался, спрашивал что и как.



Стартовые данные
Разработка находится в Москве, тестирование на текущей момент в уездном городе. Но в связи с запуском нового проекта решено перенести тестирование полностью в Москву. Дело в том, что если первый проект это мобильное приложение, то второй проект это интерактивное телевидение (HbbTV). И для разработки и для тестирования требуется ферма из телевизоров. А иметь такую ферму в двух местах немного накладно.
Фирма решила сделать ставку на создание отдела из  студентов непрофильного, гуманитарного вуза, без опыта работы по специальности. Ну, нормально. Первый раз, что ли я людей с нуля натаскивать до уровня ведущих (парень которого я взял нулевым и учил пять месяцев через два года занял приличную должность). Работать будут на полставки. И мне предложили такую же схему. Нормально. Буду с дочкой больше времени проводить. Но вот засада. Срок, чтобы все начало работать – месяц. После этого контракт со сторонней  группой тестирования заканчивается.

Примерно как в фильме «День выборов»:

  • людей нет
  • чеклистов нет
  • плана тестирования нет
  • в отделе будут работать даже не новички, а стажеры
  • я впервые узнал про HbbTV и опыта тестирования мобильных приложений у меня на тот момент тоже не было
  • один тестировщик правда уже есть (целых полтора месяца в индустрии), но надо еще двоих

Нормальные стартовые условия. Остаемся.

Процесс
На второй день стал писать план создания отдела. Для разнообразия организовал вебинар с процессником из другого города. Парень очень грамотный, а тут я предложил поработать по созданию Голдратовских мыслесхем в лучшей (IMHO) программе для планирования FlyingLogic. Отлично потрудились с часик. Потом Сергей отключился, а я еще пару часов шлифовал схему. Забегая вперед скажу, план оказался необыкновенно точен. Вот график плыл, это да. Но график он на то и график, чтобы плыть. Эта штука вариабельная. А план это совсем другое дело. Главное помните, что план не должен содержать трудоемкости, сроков и исполнителей. Ни в коем случае. Ладно, это лирика.

Далее я утвердил план у технического директора. Поскольку сроки «несколько поджимали», то надо (совершенно необходимо) отказаться от классических схем найма и адаптации сотрудников. Естественно резюме читать бессмысленно (а что они там напишут? что они студенты?). Естественно собеседование проводить бесполезно. Подхожу к тестировщице и говорю: «Я слышал еще пара твоих однокашников не против попробовать свои силы. Пусть приходят.»
На следующий день они пришли. Налили чайку. Технический директор рассказал про проекты, я рассказал, что и как будем делать, прикинули график, ну т.д. И в этот же день они вышли на работу. Давайте еще раз. На третий день моей работы отдел был создан и начал работать.

А далее я начал их учить. Чтобы не перегружать старался новый материал давать порциями. По часу, по полтора в день. Если падала срочная работа – занятия переносились.

Всему учил. Вообще всему.

Процессы тестирования и разработки:

  • что такое тестирование, и его место в процессе разработки
  • атрибуты качества ПО по ГОСТ 25010
  • фасетная классификация видов тестирования
  • описание ошибок
  • тестдизайн
  • методы верификации требований
  • типовые ошибки при проектировании баз данных
  • типовые ошибки при проектировании GUI
  • и прочая, и прочая, и прочая

Кроме этого давал материал из всех разделов «глубинных знаний» (термин Деминга)

  • психология,
  • теория вариаций,
  • теория систем,
  • методы познания мира.

Так, например, начали мы с игры 2-4-6 (положительная предвзятость). Эта игра отлично демонстрирует особенности мышления и показывает, как должен думать тестировщик. Кроме того на этой игре удобно показывать одну из техник  тестдизайна для тестирования экранных форм и API.

Формы обучения были самыми разнообразными.

Вот пример:
— Коллеги, пошерстите интернет, поищите информацию, как описывать дефект – самостоятельный поиск.
— А теперь рассказывайте, что нашли – семинар.
— Ок, пробуем. Вот приложение, вот дефект. Ты садись за Jira и начинай описывать, а вы двое комментируйте. Время 5 минут, а я пойду пока почту проверю – лабораторка.
— Хорошее описание. Вот это убираем, здесь надо переформулировать, здесь добавить это и это.

Далее даю лекционный материал. Неожиданно из психологии. Рассказываю про эксперимент Мигрема. Объясняю, почему этот материал изучаем таким извилистым путем. И как этот эффект губит стендапы, митинги и т.д. Потом рассказываю о типовых ошибках при описании. И наконец, о двух принципиально разных подходах к описанию дефекта. Дело в том, что можно описать проблему, а можно предложить решение. И новичку лучше не пользоваться вторым методом. Уж больно много там подводных камней. В первую очередь, связанных с психологией. Объясняю и эти подводные камни.
Вот эта последовательность: самостоятельный поиск -> семинар -> практика  -> лекция, — она очень эффективна.

Пробовали разные формы работы. Очень хорошо зарекомендовало себя парное тестирование, когда два тестировщика гоняют один и тот же функционал на разных планшетах / телефонах одновременно. Очень неплохо зашло тестирование группой. Потому как следить сразу за десятком телевизоров сложно.

Учил делать все. Проектировать чеклисты, писать деловые письма, готовить слайды, писать руководство пользователя.
— Так, есть вот такая техника тесдизайна. Выбираете инструмент, начинаете писать. Двигаемся короткими циклами. Каждые полчаса зовете меня, я корректирую.

И так гонял четыре месяца. В конце студенты сдавали экзамен. Подготовили и прочитали по докладу для группы начинающих тестировщиков. Темы: «тестирование полей ввода» и «дистрибуция тестовых версий мобильных приложений». Очень хороший уровень докладов. Вполне можно прямо сейчас выпускать на SQADays.

Понятно, что были и форсмажоры. Сессии, каникулы, болезни. Одна из девушек отбыла в Прибалтику по программе обмена студентами. Упс. Для уменьшения вариаций наняли нового стажера на полный рабочий день. Тоже без резюме и собеседования.
Итого получилось примерно 300 часов. Лекционный материал, безумные чаепития, и практика, практика, практика. Очень много практики. А потом экзамен. Вроде как получился годовой институтский курс.

Результат
Я не люблю спрашивать отзывы о моих тренингах. Особенно после того, как прочитал книгу Чалдини «Психология влияния». В «Байках для оруженосца» я это подробно разбирал (http://blog.shumoos.com/archives/350).

Для меня отзыв это: «Что изменилось в вашей работе после моего тренинга?» Один из моих учеников ответил: «Рост зарплаты в три раза за два года». На мой взгляд, неплохой результат.

Что получилось в этом случае? После изучения работ Голдратта я бьюсь за очень небольшое число метрик: time2market, уровень бездефектности и операционные расходы в расчете на одну фичу.

Самая главная метрика, на мой взгляд, уменьшение time2market. Что было в наших силах – сделали. Программист отдавал нам фичу, которую писал пару недель и на следующий день получал список багов. Задач в статусе «для тестирования» было очень мало. И жили они там пару часов.

Вторая метрика – уровень бездефектности. На мой взгляд – все хорошо. Учитывая, что я перфекционист, это был очень хороший показатель. Понятно, что проблемы на проде были. Как то раз сторонний разнаботчик, библиотеку которого мы использовали выпустил новый релиз. И у тех клиентов, у которых прошло обновление, начал отъезжать наш функционал. Было несколько нервных дней, когда мы пытались локализовать проблему. Предотвратить такое можно, но очень дорого. Для этого надо следить за всеми изменениями в окружении, на всех платформах. Было дело apple выпустил iphone X с другим экраном. Опять проблема. Что интересно, в мобильной разработке бездефектность очень важный показатель. Фидбек получается очень быстро. Только на проде появился баг и сразу куча негативных отзывов, падение рейтинга и падение продаж. Почти мгновенно. Это не гостендеры, где можно откат побольше дать и протолкнуть забагованный софт.  Фирма, в которой я работал делала очень хороший софт. Даже по моим меркам очень хороший. Видимо «эффект хирурга» сказался.

А по третьей метрике на «выпускном» рассказал технический директор. Ранее одну программу тестировала группа из трех человек на фултайме. Итого 120 человекочасов в неделю на один проект. У нас получилось: два проекта (примерно одинаковых по масштабу), три человека на половинной ставке. Примерно 60 человекочасов в неделю на два проекта. И еще оставалось свободное время. Т.е. производительность возросла. Раза в 3-5. Как сказал технический – они с генеральным от этого результата “немного” пришли в замешательство.

Результат для студентов. Могут работать без меня. Сертификаты я им выдал, но если что – дам рекомендательное письмо. Попытаетесь сманить – сманивайте. Технический директор не против. Там сейчас такой запас по мощности такой, что мама не горюй. Сманивайте.

Результат для меня. Очень понравилось. Любимая работа, адекватные люди, софт очень высокого качества. Ну, и для разнообразия рабочее место, с двумя мониторами под виндой + iMac моноблок с SSD и 16 Гб оперативки +  30 разных iPhone и iPad + … Четыре прекрасных месяца. Но «Мавр сделал свое дело, мавр должен уйти». Как говорил чайка по имени Джонатан Ливингстон: «Я тебе больше не нужен. Ты должен каждый день понемногу открывать в себе ту истинную чайку Флетчера, для которого нет преград. Он — твой учитель. Ты должен понять его и суметь им стать.»

Выводы
Многие пишут, что ценность процесса «подбора персонала» «несколько» преувеличено. Кто-то откровенно заявляет, что это «способ отшить профи». Может так, может не так.
Я же все больше убеждаюсь, что обучение персонала (глава 24 книги «Пространство доктора Деминга») и уменьшение вариация (опять же работы Деминга) – ключ к эффективной работе. У меня результат повторяемый.

PS. Если что, могу со своими 300 часами прийти к вам. Мне этот опыт понравился.

ночь замела следы в глазах беды
надежда на твои триста шагов
и мой маленький шаг
(с) Точка Росы «300 шагов»

———————————————Чего еще почитать:

“Моя жизнь, мои достижения” Генри Форд. Вроде там это было еще. Ой, давно…
На хабре была статья, как они это делают.
https://www.ozon.ru/context/detail/id/3707281/
“Пространство доктора Деминга” Генри Нив, глава 24 и 31

Источник