Йерархично откриване на аномалии и определяне на първопричините чрез SHAP в работни процеси с роботизирана автоматизация

Въведение

Роботизираната автоматизация на процеси (Robotic Process Automation, RPA) се използва все по-широко за автоматизиране на повтаряеми, основани на правила и структурирани бизнес процеси. Изпълнението на RPA работни потоци генерира подробни логове и телеметрични данни, които могат да бъдат използвани за мониторинг на процесите, откриване на аномалии, оперативна диагностика и подобряване на ефективността.

Много от съществуващите подходи за откриване на аномалии анализират поведението на работния поток само на едно ниво, най-често на равнището на цялостното изпълнение на процеса. Подобна агрегация може да затрудни разграничаването между проблеми, произтичащи от средата на изпълнение — например натоварване на инфраструктурата, забавяния в опашките, проблеми с конектори или ефекти от едновременното изпълнение — и отклонения, произтичащи от вътрешната логика на работния процес, отделните действия или тяхната времева последователност.

Това разграничение е особено важно в сложни автоматизирани среди, тъй като установяването на самия факт, че е възникнала аномалия, не е достатъчно за ефективното управление на процесите. Диагностиката изисква и информация за вероятния източник и характера на отклонението. Поради това изследването се фокусира върху необходимостта от йерархичен подход, който да интегрира информация от различни равнища на RPA изпълнението и да осигурява интерпретируеми доказателства за определяне на първопричините.

Цел

Целта на изследването е да се разработи и оцени йерархична двустепенна рамка за откриване на аномалии и определяне на първопричините в работни процеси с роботизирана автоматизация.

Предложената рамка интегрира откриване на аномалии на ниво цялостно изпълнение и на ниво вътрешен процес, за да се разграничат отклоненията, свързани основно със средата на изпълнение, от тези, произтичащи от вътрешното поведение на работния поток.

Основният изследователски въпрос е дали комбинирането на тези две аналитични равнища може да осигури по-информативна и практически полезна диагностична информация в сравнение с традиционното еднонивово откриване на аномалии.

Материал и методи

Предложената рамка включва две взаимосвързани аналитични нива.

Ниво 1: Откриване на аномалии на равнището на цялостното изпълнение

Първото ниво анализира характеристики на средата и агрегирани показатели за всяко изпълнение на RPA процеса. Изследваните променливи включват време на изчакване в опашка, размер на обработваните данни, едновременност на изпълнението, сложност на използваните конектори, брой стъпки в работния поток, обща продължителност на изпълнението и честота на предходни неуспешни изпълнения.

Използвани са два подхода за машинно обучение без учител:

• Isolation Forest, предназначен за откриване на наблюдения, които могат да бъдат изолирани от останалите чрез сравнително малък брой случайни разделяния;
• автоенкодер с право разпространение (feed-forward Autoencoder), който идентифицира аномални изпълнения чрез величината на грешката при реконструкция.

Ниво 2: Откриване на аномалии на равнището на вътрешния процес

Второто ниво анализира вътрешното поведение на работния поток на равнището на отделните действия и тяхната времева последователност.

Използвани са два допълващи се метода:

• анализ чрез Z-оценки (Z-score) за откриване на отклонения в продължителността на отделни действия;
• автоенкодер с дълга краткосрочна памет (Long Short-Term Memory Autoencoder, LSTM-AE) за установяване на времеви и последователностни аномалии в изпълнението на процеса.

Резултатите от двете аналитични нива се интегрират в четири диагностични състояния:

• Нормално изпълнение (Normal) — не се установява съществена аномалия;
• Натоварване на средата (Environment Stress) — отклонението е концентрирано основно на ниво среда или общо изпълнение;
• Латентен проблем в логиката (Latent Logic Issue) — установяват се отклонения във вътрешния процес без съответстваща значима аномалия на ниво общо изпълнение;
• Системен отказ (Systemic Failure) — аномалии се установяват едновременно и на двете аналитични равнища.

За повишаване на интерпретируемостта на откритите аномалии рамката включва SHAP (SHapley Additive exPlanations). SHAP стойностите се използват за оценяване на приноса на отделните променливи към идентифицираната аномалия.

Авторите въвеждат и индекс на външно влияние (External Influence Index, EII), изчислен на основата на SHAP стойностите. Индексът е предназначен да оценява относителния принос на външни фактори на средата спрямо вътрешните характеристики на работния процес при възникване на конкретна аномалия.

Рамката е оценена на два етапа. На първия етап е използван контролиран синтетичен набор от 10 000 RPA изпълнения, в които са въведени предварително дефинирани аномалии и са налични известни референтни етикети (ground-truth labels) за оценка. На втория етап практическата приложимост е изследвана чрез 325 реални изпълнения на автоматизиран университетски административен процес, реализиран в Microsoft Power Automate. Процесът е свързан с подаване и оценяване на предложения за научни проекти.

Резултати

Всички числови резултати, представени в този раздел, са получени от собствените емпирични анализи на авторите и не са стойности, извлечени от външни изследвания.

В синтетичния набор приблизително 21,6% от 10 000 RPA изпълнения съдържат поне една предварително въведена аномалия.

На първото аналитично ниво и двата модела показват висока способност за разграничаване между нормални и аномални изпълнения. Isolation Forest достига ROC-AUC = 0,9571, а автоенкодерът с право разпространение — ROC-AUC = 0,9025 при откриване на въведените аномалии.

Резултатите показват също, че информацията само на ниво цялостно изпълнение е по-малко ефективна при идентифициране на някои оперативни изходи, включително нарушения на договорени нива на обслужване (SLA) и общ неуспех на изпълнението. Това подкрепя основната теза на изследването, че агрегираното наблюдение не може напълно да улови отклоненията, възникващи във вътрешната структура на процеса.

На второто аналитично ниво LSTM автоенкодерът достига ROC-AUC = 0,9643, а подходът чрез Z-оценки — ROC-AUC = 0,9472 за откриване на въведени аномалии.

При нарушения на SLA методът чрез Z-оценки достига ROC-AUC = 0,7834, в сравнение с 0,7114 за LSTM-базирания подход.

Между двете оценки за аномалии на процесно ниво се установява умерена, но статистически значима зависимост (r = 0,5453; p < 0,001). Това показва, че методите идентифицират свързани, но не идентични измерения на аномалното поведение и поради това предоставят взаимно допълваща се диагностична информация.

След интегрирането на двете аналитични нива 10 000 синтетични изпълнения са класифицирани както следва:

• 78,4% нормално изпълнение;
• 16,6% латентен проблем в логиката;
• 3,6% системен отказ;
• 1,5% натоварване на средата.

По този начин йерархичната класификация надхвърля традиционното откриване на аномалии, като предоставя информация не само за наличието на отклонение, но и за неговото вероятно местоположение в автоматизираната система.

Пилотното приложение върху 325 реални RPA изпълнения показва сходен диагностичен модел. На първото ниво оценките за аномалии, генерирани от двата модела, са положително корелирани (r = 0,68; p < 0,001). На второто ниво индексите за аномалии, базирани на Z-оценки и LSTM също показват статистически значима зависимост (r = 0,5782; p < 0,001).

Приблизително 14% от реалните изпълнения съдържат поне едно силно отклонение на процесно ниво.

След интеграцията на двете аналитични равнища реалните изпълнения са класифицирани както следва:

• 73,3% нормално изпълнение;
• 13,6% натоварване на средата;
• 8,0% латентен проблем в логиката;
• 5,1% системен отказ.

Резултатите показват, че комбинирането на информация от равнището на цялостното изпълнение и от вътрешното процесно равнище позволява по-детайлно представяне на аномалното поведение, отколкото анализът на всяко от тях поотделно.

Заключение

Изследването демонстрира потенциалната стойност на йерархичното откриване на аномалии за мониторинг и диагностика на сложни работни процеси с роботизирана автоматизация.

Комбинирането на характеристики на средата и агрегирани показатели за изпълнението с информация за отделните процесни действия и тяхната времева последователност позволява разграничаване между инфраструктурно обусловено натоварване, латентни проблеми във вътрешната логика на работния поток и откази, засягащи едновременно и двете нива.

Интегрирането на SHAP-базирана обяснимост и индекса на външно влияние допълнително повишава диагностичната стойност на рамката, като преобразува оценките за аномалии в интерпретируема информация за факторите, допринасящи за възникването на отклонения.

Подходът може да подпомага по-ефективен мониторинг на процесите, приоритизиране на проблемите, коригиращи действия и управление на RPA средата, като подпомага преминаването от просто откриване на аномалии към по-информирано определяне на техните първопричини.

Основното ограничение на изследването е свързано с използването на синтетични данни като основна среда за валидиране. Въпреки че пилотният анализ на 325 реални изпълнения предоставя първоначални доказателства за практическата приложимост на рамката, са необходими допълнителни изследвания в по-големи, хетерогенни и реални производствени RPA среди.

Научни ключови термини