Przez większą część ostatnich dwóch lat rozmowy o AI w przedsiębiorstwach zaczynały się od modelu. Organizacje debatowały nad tym, którego modelu podstawowego użyć, jak go dostroić i która struktura orkiestracji zapewni najlepsze wyniki.
Ta narracja ulega jednak zmianie. W miarę jak modele podstawowe stają się coraz bardziej wydajne, dostępne i wzajemnie wymienne u różnych dostawców, wiele organizacji odkrywa, że wydajność modeli nie jest już głównym ograniczeniem wyników AI. Zamiast tego wąskie gardło przesunęło się na wcześniejszy etap potoku: do warstwy dokumentów, która w pierwszej kolejności zasila systemy AI.
W rozmowach z dyrektorami CIO i CDO z sektora usług finansowych, opieki zdrowotnej i telekomunikacji to samo spostrzeżenie pojawia się wielokrotnie. Wyzwanie nie polega już na tym, jak model rozumuje. Chodzi o to, nad czym ten model rozumuje.
Model nie stanowi już wąskiego gardła dla wnioskowania AI w przedsiębiorstwach. Jest nim warstwa rozumienia dokumentów. To przekonanie odzwierciedla strukturalną zmianę w tym, gdzie obecnie lokują się wartość i ryzyko w stosie AI przedsiębiorstwa.
Prawdziwy problem: dane nieustrukturyzowane i inteligentne przetwarzanie dokumentów
W regulowanych środowiskach przedsiębiorstw większość krytycznych danych nie znajduje się w czystych, ustrukturyzowanych tabelach magazynów danych. Dane te występują w formatach nieustrukturyzowanych: plikach PDF, zeskanowanych wnioskach, wykazach roszczeń odszkodowawczych, umowach, sprawozdaniach finansowych, raportach laboratoryjnych i tabelach stawek. Są to dane, które zasilają systemy AI.
Inteligencja dokumentów odnosi się do procesu konwersji tych danych nieustrukturyzowanych na ustrukturyzowane, użyteczne dane wejściowe dla modeli AI. Gdy ten krok zawodzi, konsekwencje odbijają się na całym potoku AI.
Rodzaj błędu jest często zwodniczo prosty. Błędnie odczytana tabela lub scalona komórka prowadzi do nieprawidłowej ekstrakcji. Ta ekstrakcja generuje wadliwe osadzenia, które zwracają niewłaściwy kontekst podczas wyszukiwania. Model następnie generuje pozornie pewną odpowiedź na podstawie zdecydowanie błędnych danych wejściowych.
W tym momencie nawet najbardziej zaawansowany model nie jest w stanie zrekompensować podstawowego błędu. Usprawnienia wydajności modelu nie naprawiają problemu strukturalnego, który wystąpił przed jego uruchomieniem. W praktyce jakość potoku dokumentów często wyznacza górną granicę dokładności systemu AI.
Kiedy błędy parsowania stają się ryzykiem biznesowym
Wpływ słabego parsowania dokumentów uwidacznia się bezpośrednio w wynikach biznesowych. Są one konkretne, mierzalne i w dużej mierze niedoceniane na szczeblu kierowniczym. To właśnie sprawia, że inteligencja dokumentów to coś więcej niż wyzwanie techniczne. Dla wielu organizacji stało się to wyzwaniem operacyjnym i finansowym.
Błędy parsowania rzadko są widoczne w momencie ich wystąpienia. Zamiast tego kumulują się one na dalszych etapach w ramach przepływów pracy, decyzji i procesów biznesowych. W momencie, gdy problem wychodzi na jaw, koszt jego naprawy jest często znacznie wyższy niż koszt zapobiegania.
Usługi finansowe
W usługach finansowych pojedyncza błędnie odczytana wartość w zestawieniu rachunku kapitałowego administratora funduszu może kaskadowo powodować błędy w modelach oceny ryzyka lub modelach rezerw. Błędy te mogą nieść ze sobą konsekwencje regulacyjne i prowadzić do kosztownych działań naprawczych, których koszty często sięgają milionów.
Ochrona zdrowia
Organizacje opieki zdrowotnej nadal w dużej mierze polegają na ręcznym wyodrębnianiu danych z dokumentów na potrzeby roszczeń odszkodowawczych, powiadomień o płatnościach i dokumentacji klinicznej. Wynika to częściowo ze strukturalnej złożoności danych, a częściowo z rygorystycznych wymogów dotyczących chronionych informacji zdrowotnych.
Ręczne wyodrębnianie danych z dokumentów niezmiennie stanowi jedną z największych pozycji w budżetach operacyjnych dotyczących danych medycznych.
Telekomunikacja
W telekomunikacji rozliczenia międzyoperatorskie oraz umowy o gwarantowanym poziomie usług (SLA) często zawierają złożone tabele stawek, których niewiele systemów potrafi dokładnie odczytać na dużą skalę. Nawet niewielkie niedokładności mogą przełożyć się na setki milionów dolarów strat w skali operatora.
Wspomniany wzorzec w tych branżach jest taki sam. Niedokładne rozumienie dokumentów nie jest tylko techniczną niedogodnością. Jest to problem dotyczący rachunku zysków i strat, który po cichu narasta.
Kompromis: dokładność a suwerenność danych
Na problem dokładności nakłada się drugie ograniczenie specyficzne dla przedsiębiorstw podlegających regulacjom: miejsce, w którym odbywa się przetwarzanie AI.
W ciągu ostatnich kilku lat większość stosu wnioskowania AI dla przedsiębiorstw sukcesywnie przenosiła się do kontrolowanych środowisk klientów – wirtualnych chmur prywatnych (VPC). infrastruktury lokalnej lub suwerennych regionów chmury. Modele, magazyny wektorowe, warstwy orkiestracji i rozwiązania z zakresu observability działają teraz w ramach tych samych mechanizmów kontroli ładu danych, co dane bazowe. Parsowanie dokumentów było wymuszonym wyjątkiem.
Historycznie najdokładniejsze opcje przetwarzania dokumentów były dostarczane wyłącznie za pośrednictwem interfejsów API SaaS, co zmuszało klientów z sektorów regulowanych do wyboru między dokładnością a suwerennością:
Przesyłanie najbardziej wrażliwych dokumentów w przedsiębiorstwie do zewnętrznego API w celu uzyskania wyższej dokładności lub
Przechowywanie danych w granicach przedsiębiorstwa przy akceptacji znaczącej luki w dokładności w przypadku najważniejszych przepływów pracy.
Zespoły ds. zgodności, prawne oraz ds. ryzyka od dawna postrzegają obie te opcje jako kompromisowe. W rezultacie wiele organizacji boryka się z wyzwaniem pogodzenia dwóch równie ważnych priorytetów: osiągnięcia dokładności wymaganej w procesach o krytycznym znaczeniu dla biznesu przy jednoczesnym zachowaniu kontroli nad miejscem przetwarzania wrażliwych danych.
Do niedawna nie istniała jasna ścieżka pozwalająca na jednoczesną realizację obu tych celów.
Dojrzewająca kategoria w zakresie Enterprise Document Intelligence
Dobra wiadomość jest taka, że konieczność stosowania tego kompromisu zaczyna zanikać. W całej branży organizacje stosują coraz większy rygor w sposobie oceny systemów analizy dokumentów, szczególnie w przypadku złożonych tabel i wysoce ustrukturyzowanych dokumentów biznesowych, które historycznie stanowiły wyzwanie dla tradycyjnych podejść do parsowania.
Jednocześnie nowa generacja dostawców rozwiązań z zakresu analizy dokumentów umożliwia osiąganie wysokiego poziomu dokładności parsowania w środowiskach kontrolowanych przez klienta. Niedawno zespół Pulse udostępnił jako open source PulseBench-Tab, nowatorski benchmark do parsowania tabel, opracowany specjalnie z myślą o rodzajach dokumentów, na których faktycznie pracują przedsiębiorstwa działające w regulowanych branżach.
Zawiera 1820 tabel z adnotacjami wprowadzonymi przez ludzi, pochodzących z rzeczywistych dokumentów finansowych, raportów rządowych, ujawnień korporacyjnych i zgłoszeń regulacyjnych, obejmujących 9 języków i 4 systemy pisma, z których wiele zawiera scalone lub rozpięte komórki oraz złożone struktury, które zazwyczaj powodują błędy w tradycyjnych systemach analizy składniowej.
Co ważne, benchmark wprowadza T-LAG, ujednolicone podejście do oceniania, które uwzględnia zarówno dokładność tekstu, jak i struktury. Zapewnia to, że systemy nie są nagradzane za wyodrębnianie przybliżonego tekstu przy jednoczesnym ukrytym naruszaniu struktury tabeli.
Wyniki tego testu porównawczego pokazują, że najwyższa precyzja analizy dokumentów jest teraz osiągalna bez punktu końcowego SaaS firmy zewnętrznej, co zapewnia nowy poziom niezawodności potoków AI klasy korporacyjnej.
Dziewięciu dostawców oceniono niezależnie i w sposób otwarty, a metodologia skorzystała z wkładu akademickiego członków Enterprise Data Organization firmy S&P Global. W tym teście porównawczym Pulse uzyskał wynik T-LAG na poziomie 0,9347 przy pełnym pokryciu wszystkich 1820 próbek, co stanowi znaczącą przewagę nad kolejnym najbliższym dostawcą z wynikiem 0,8155.
Wprowadzenie inteligencji dokumentów do korporacyjnego stosu AI
Ten postęp otwiera nową architekturę dla korporacyjnych rozwiązań AI – taką, w której inteligencja dokumentów działa w tym samym środowisku, co reszta potoku danych. W miarę jak inteligencja dokumentów staje się możliwa do wdrożenia w nadzorowanych środowiskach korporacyjnych, organizacje zyskują możliwość włączenia przetwarzania dokumentów w te same ramy operacyjne i ładu danych, co reszta stosu AI.
W połączeniu z architekturą lakehouse opartą na AI tworzy to bardziej ujednolicone podejście do zarządzania danymi ustrukturyzowanymi i nieustrukturyzowanymi, zapewniając spójne mechanizmy kontroli bezpieczeństwa, pochodzenia danych, obserwowalności i nadzoru — od pozyskiwania po wnioskowanie.
Rozwiązania takie jak Pulse pokazują, jak ta architektura może wyglądać w praktyce, umożliwiając organizacjom analizowanie i strukturyzowanie złożonych dokumentów bez konieczności opuszczania środowiska przedsiębiorstwa przez dane poufne.
Rezultatem jest w pełni zintegrowany potok, który pozwala na:
- Analizowanie nieustrukturyzowanych dokumentów
- Przekształcanie ich w dane ustrukturyzowane
- Osadzanie i pobieranie odpowiedniego kontekstu
- Generowanie wyników przy użyciu modeli AI
Wszystko w ramach tego samego kontrolowanego środowiska.
Dla dyrektora ds. informatyki (CIO) oznacza to jedną granicę nadzoru w całym przepływie pracy AI, zamiast mozaiki fragmentarycznych środowisk, które należy zabezpieczać, audytować i którymi trzeba zarządzać.
Dla CFO może to oznaczać przekształcenie przetwarzania dokumentów z powtarzalnego kosztu usługi zewnętrznej w wewnętrzną funkcjonalność zbudowaną na infrastrukturze, która już wspiera szersze inicjatywy w zakresie AI i danych.
Co ważniejsze, zmienia to obszary, na których organizacje powinny koncentrować swoje inwestycje. W miarę jak modele stają się coraz bardziej dostępne, przewaga konkurencyjna przesuwa się w stronę jakości, zarządzania i niezawodności potoku danych, który je zasila.
Możliwości dla branż regulowanych
Dla kadry kierowniczej ustalającej strategię AI w branżach regulowanych usprawnienia w zakresie inteligencji dokumentów mają widoczny wpływ na wskaźniki operacyjne.
Usługi finansowe
Zespoły ds. usług finansowych mogą utrzymywać analizy i składanie raportów 10-K, dokumentację administracji funduszami, przetwarzanie okresowych raportów bordereaux, zestawienia roszczeń i raporty aktuarialne w całości w swoim nadzorowanym środowisku, przy wysokiej dokładności strukturalnej pozwalającej zaufać wynikom przekazywanym do dalszych agentów, co ogranicza presję i czas poświęcany na cykle ludzkiej weryfikacji.
Zasoby kadrowe, które wcześniej były przeznaczane na ręczne uzgadnianie danych, można przekierować do prac analitycznych o wyższej wartości.
Ochrona zdrowia
Organizacje opieki zdrowotnej mogą automatyzować przepływy pracy oparte na dużej liczbie dokumentów, takie jak ekstrakcja danych z badań klinicznych, pozyskiwanie wyników badań laboratoryjnych oraz przetwarzanie wyjaśnień świadczeń (EOB) w tym samym środowisku, w którym znajdują się ich ustrukturyzowane chronione dane zdrowotne (PHI). Znacząco zmniejsza to jedną z największych pozycji kosztowych w operacjach związanych z danymi medycznymi, jednocześnie przyspieszając cykle przychodów i przepływy pracy w badaniach klinicznych.
Telekomunikacja
Operatorzy telekomunikacyjni zyskują możliwość dokładnej interpretacji umów o połączeniach międzyoperatorskich oraz struktur rozliczeniowych na poziomie szczegółowości wymaganym do odzyskania utraconych przychodów, które historycznie były ukryte w złożonych tabelach stawek.
W każdym przypadku ulepszona analityka dokumentów przekłada się bezpośrednio na wymierną wartość biznesową.
Przyszłość: suwerenny stos AI
Środek ciężkości w AI w przedsiębiorstwach przesuwa się. W miarę jak możliwości modeli coraz bardziej się ujednolicają, trwała przewaga konkurencyjna przenosi się o jedną warstwę niżej, do potoku od danych do wnioskowania–konkretnie do tego, jak skutecznie organizacje mogą przetwarzać dane nieustrukturyzowane i zarządzać nimi.
Analityka dokumentów wyznacza teraz górną granicę dokładności i zwrotu z inwestycji. Jednocześnie w branżach regulowanych suwerenność danych nie podlega negocjacjom: AI musi działać tam, gdzie znajdują się dane. To tutaj znajduje zastosowanie wizja Cloudera dotycząca AI i danych dostępnych w dowolnym miejscu: wdrażanie AI w środowiskach hybrydowych i multi-cloud, utrzymywanie danych w miejscu ich przechowywania oraz egzekwowanie spójnego zarządzania danymi.
W połączeniu z Pulse regulowane przedsiębiorstwo zyskuje drogę do natywnej AI, która chroni dokładność, kontrolę i bazowy zwrot z inwestycji każdego zbudowanego na niej przepływu pracy. To właśnie suwerenny stos AI, o który pytali nasi klienci, i który jest teraz w zasięgu ręki.
