17 способностей

Спросите, какие этапы процесса может выполнять AI-агент, и вы получите два ответа: «большинство» от поставщиков и «ни один» от человека, который реально выполняет работу каждый день. Оба ответа верны.
Мы поняли, что для того, чтобы ответить по каждому этапу, нужна единица измерения, которая одинаково хорошо подходит и для человека, и для ИИ. Здесь мы расскажем как мы реализовали эту стратегию в системе и на чем основывались.

39 опубликованных процессов
390 шагов — в том виде, в каком их описывают источники
123 источников, 13 категорий APQC
17 навыков: 13 когнитивных, 4 пограничных

Почему нельзя взять должность или компетенцию как единицу измерения?

Понятие "должность" слишком обобщенное: «бухгалтер» — это одновременно и те задачи, с которыми модель справляется лучше, чем человек, и те, с которыми она не справляется вовсе. "Компетенция" же описывает человека, а не его работу, и в ней никогда не присутствует то, что чаще всего ограничивает процесс, — а именно - ответственность и подотчетность. В HR-моделях они связаны с должностью и уровнем, а не с компетенцией.

Таким образом, единица измерения — это способность: то, что вы можете потребовать от человека или организации, и о чем вы можете честно сказать, может ли AI-модель сделать это сегодня. Список таких единиц измерения был выведен на основе работы.

Условные обозначения:

Да - AI-модель выполняет шаг, человек проверяет отдельные моменты. «Лучше, чем человек» означает, что она также более тщательно или быстро выполняет этот шаг.
Черновик - AI-модель производит, человек проверяет перед отправкой. Самый распространенный случай в библиотеке на сегодняшний день.
Нет - действие полностью остается за человеком, даже если модель подготовила для него все предварительные материалы.

Когнитивные способности

#	Возможности	Где появляется	Возможность исполнения
P1	Извлечение структуры из неструктурированного источника	Текст, речь, скан или форма, превращённая в поля и отношения	Да
P2	Проверка по ссылке и поиск несоответствий	Ссылка устанавливается заранее: план действий, регламент, регистр, предыдущий период	Да, лучше чем человек
P3	Классификация и маршрутизация на основе правил	Правила известны и можно выразить; выбор происходит из конечного множества	Да
P4	Исследование причины через гетерогенные источники	Нет никакой ссылки; Гипотеза построена на основе журналов, операторов и документов	Черновик
P5	Генерация текста в заданном регистре	Письмо, обновление статуса, отчёт, формулировка исправления	Черновик
P6	Оценка риска или приоритета в контексте бизнеса	Цена ошибки известна только внутри компании	Нет
P7	Открытый диалог с внешней стороной	Переговоры, собеседование, торг; набор результатов неизвестен до начала разговора, и реакция партнера меняет результат	Нет
P8	Консолидация вклада людей и разрешение конфликтов приоритетов	Назначьте человека, согласуйте мнения, протолкните решение, согласуйте приоритет, передайте владельцу	Нет
P9	Создание рабочего артефакта на основе спецификации	Рисунок, код, схема, заявка на патент, учебный курс; проверяется по тому, работает ли он, а не по реестру его прозы	Черновик
P10	Планирование измерений и эксперимента	Что считать показателем, как дать ему операциональное определение, как провести пилотное исследование, чтобы эффект можно было отличить от шума	Черновик
P11	Координация по календарю, триггерам и спискам	Уведомлять, собирать ответы, отслеживать готовность, включать в расписание, наращивать по правилу	Да
P12	Написанный по сценарию или регламентированный диалог с внешней стороной	Реакция партнера выбирает ответвление; набор результатов известен до начала разговора: дерево вопросов, анкета, процедура закрытия.	Да
P13	Получение результата, принятого вкусом и согласием заинтересованной стороны	Творческая концепция, визуальная идентичность, направление дизайна; критерий принятия не может быть объявлен до показа и раскрывается только через реакцию принимающей стороны	Черновик

Предел выходящий за рамки подсчета

Включение следующих показателей в общий подсчет — самый простой способ искусственно завысить оценку прироста: например, снять показания прибора можно дешево и делается это часто, тогда как выездная проверка обходится дорого и проводится редко. Такие операции нельзя учитывать вместе ни в количественных характеристиках, ни в стоимостных. Граница между такими методами может со временем смещаться (например, по мере удешевления датчиков) и при пересмотре данных соответствующий пункт перемещается из одной категории в другую, но сами параметры остаются.

#	Возможности	Где появляется	Кто их закрывает
P1	Инструментальное считывание значения с объекта	Температура в критической контрольной точке, сканирование при получении товара, вес, жизненно важные показатели	Инструмент, а не модель
P2	Физическое воздействие на объект	Разгрузка, размещение, ремонт, изъятие партии, устранение дефектов	Человек
P3	Сенсорная оценка состояния объекта или человека на месте	Помятая упаковка, люфт и шум при сборке, внешний вид пациента, поведение пользователя при выполнении задачи	Человек
P4	Передача навыка специалисту с немедленной коррекцией	Демонстрация, попытка под наблюдением, исправление до появления ошибки	Человек

В основе способностей реальная работа

Как мы к этому пришли? Очевидный путь заключался в том, чтобы декомпозировать систему компетенций. Это дает атомарные показатели - одни и те же показатели, но в разных разрезах, и никогда не обеспечивает подотчетность. Поэтому мы пошли другим путем: взяли реальные процессы и посмотрели, что требуется для каждого их этапа. Мы придерживались четырех правил.

Только опубликованные источники. Документ регулирующего органа, стандарт, учебник, руководство для поставщиков. Мы ничего не придумывали не брали из "ненадежных" ресурсов: процесс без описания в источнике не попадает в библиотеку. Фреймворк — это система классификации процессов APQC, поэтому образец — это не то, о чем пишут большинство поставщиков.
Шаги учтены в том виде, в котором они описаны. Процесс разбивается на шаги в соответствии с его описанием в источнике. Мы не улучшаем процесс на этапе внедрения, так как это привело бы к замене образца нашим мнением.
Четыре оценки за шаг. Какие возможности нужны для этого этапа, кто несет ответственность за результат, является ли результат черновиком для проверки или вынесением изменения в реальный мир, и что AI-модель может сделать с этим уже сегодня.
Список не пополняется в процессе обсуждения. Шаг, который не соответствует ни одной из возможностей, становится "кандидатом" и проверяется человеком между сессиями.

К нему мы пришли

Мы ожидали получить около 40 возможностей. Начали анализировать данные и пять первых "офисных" процессов дали восемь возможностей, но уже начиная с третьего процесса ничего нового не появилось. Поэтому мы пошли дальше: склад, линия по производству продуктов питания, строительная площадка, отделение неотложной помощи и т.д. Восемь таких процессов вообще не добавили когнитивных возможностей. Удивительно, но медсестре, занимающейся сортировкой пациентов, и юристу по контрактам нужны одни и те же навыки. Они добавили «руки», и это стало списком необходимых навыков.

Список рос только тогда, когда менялся вид результата: рисунок вместо документа, обученный специалист вместо отчета, эксперимент вместо анализа. Оказалось, что «далеко от офиса» — это не то же самое, что «далеко от списка навыков».

И еще один вердикт, который мы не стали смягчать. Оценка риска или приоритетности присутствует в 37 из 39 процессов. Рекомендательная система не превращает его в черновик: на том же этапе она извлекает данные, сверяет их с эталонными и формирует гипотезу, и каждое из этих действий уже учитывается в рамках собственных возможностей. Что не учитывается, так это сам процесс принятия решения и ответственность за него. Смягчите требования в этой строке, и охват станет почти полным, а это как раз то преувеличение, которое призван предотвратить этот список возможностей.

Возможности — это еще не весь шаг

Каждый шаг в библиотеке имеет еще четыре оценки. Они определяют, может ли шаг вообще быть реализован, независимо от вердикта о возможностях.

Подотчётность. Ни репутационная, ни формальная, ни нормативная. Это относится к этапу, а не к возможности: одно и то же действие «написать текст» будет иметь разный вес в ответном письме и на общедоступной странице статуса во время инцидента. Нормативная подотчетность присутствует на 87 из 390 этапов, и не только в юридической и финансовой сферах: проверка кандидатов, сортировка, безопасность пищевых продуктов, строительство, «Знай своего клиента», клинические испытания.
Обратимость. Обратимая, дорогостоящая для обращения или необратимая. Черновик можно легко выбросить. А вот отправленную партию — нет.
Вес. Частота выполнения этапа и его продолжительность. Без этого подсчет шагов приведет к переоценке выгоды: шаги, в которых модель сильна, дешевы и многочисленны, а те, которые она не может выполнить, редки и требуют больших затрат.
Результат. Черновик, который проверяет человек, или изменение в мире.Для выполнения шага может вообще не требоваться никаких возможностей, а только ответственность: подписание контракта, выпуск продукта, решение об отзыве.Это нормальный шаг, а не пробел в анализе.

Ограничения. Или чего вы не нашли в этом списке

Это своего рода «снимок» ситуации на сегодняшний день. Фактически, каждое заключение содержит дату и указание на поколение AI-модели, для которого оно было вынесено. Мы планируем пересматривать их ежеквартально. Сами заключения могут меняться, а их коды — нет. Информация в списке устаревает не целиком, а по отдельным строками.
Источники — это, в основном, материалы поставщиков. 47% из 123 источников — это материалы поставщиков или консалтинговых компаний, и нюанс в том, что поставщик описывает процесс так, как это работает конкретно для него. Регламентированные процессы были взяты из нормативных документов регулирующих органов. Мы планируем, что в каждой новой партии данных не менее трети источников не должны быть связаны ни с поставщиками, ни с консалтинговыми компаниями для корректного вынесения вердикта.
В руководствах описан идеальный процесс, а не тот, который используется в компании на самом деле. Мы не спорим на эту тему с методистами и гос.структурами, но для лучшего эффекта предлагаем отражать в системе максимально реалистичный и "живой" процесс — для этого вы можете редактировать и отклонять предложенные шаги.
Это библиотека, а не ваша компания. Ни одно число на этой странице не указывает, какую долю вашей работы может взять на себя AI-агент. Продукт отвечает на этот вопрос для каждого этапа вашего процесса с учетом ваших показателей.

Постройте ваш бизнес-процесс шаг за шагом

Grade Factor берет описание процесса, разбивает его на этапы в соответствии с этим списком и возвращает три списка:

что поручить агенту,
что оставить за конкретным человеком,
а что пока никто не закрывает в вашей компании.

Этап, который никто не реализует в настоящий момент, становится требованием к найму.
Для этапа, который поручается агенту, создается файл с навыком - агенты смогут работать с ним в вашей собственной среде - платформа передает файл и ничего не выполняет.

Вы можете протестировать функционал оцифровки и оценки перспектив автоматизации собственного бизнес-процесса перейдя по кнопке "Смотреть демо" на https://gradefactor.ru/