Saját cégünk esete, a márka neve és számok nélkül.
Röviden: a saját termékmárkánknál a cég tudása fájlokban, levelekben és táblákban szóródott szét, és az AI-eszközeink egymásnak ellentmondó tényekből dolgoztak. Forrásolt cégtudás-gyűjtemény készült írást ellenőrző kapuval, keresővel és vak kérdéssoros méréssel. Az ütközésekről tételenként döntöttem, és azóta a hirdetés, a termékoldal és a vevőszolgálat ugyanabból a forrásolt alapból kérdez.
„Meddig ér oda a csomag, és milyen feltétellel cserélünk?” Ilyen kérdésre nálunk a vevőszolgálat, a hirdetésszöveg-író eszköz és a termékoldal generátora is adott választ, és nem mindig ugyanazt. Mindegyik hivatkozhatott valamire, ami valahol tényleg le volt írva.
Ebben az üzleti agy esettanulmányban a cégtudás azt jelenti: minden tény, amit a cég kifelé mond vagy befelé használ, egy helyen áll, és mindegyik mellett ott a forrása. Nem dokumentumtár, hanem egy olyan alap, amelyből az emberek és a gépek is ugyanazt a választ kapják.
Kiinduló helyzet: ugyanarra a kérdésre többféle válasz
A márka tudása úgy gyűlt össze, ahogy egy növekvő kkv-nál szokott: termékleírás a webshopban, árlista táblázatban, szállítási feltétel az ÁSZF-ben és a visszaigazoló levélben, a partnerkedvezmény egy régi levélváltásban. Mindegyik igaz volt valamikor. Hogy most melyik igaz, azt csak a fejekben lehetett megkérdezni.
Amíg ezt emberek olvasták, a hiba lassan terjedt. Egy kolléga tudta, hogy a régi árlista már nem él, és nem abból dolgozott. Az AI-eszközök ezt nem tudták. Azt olvasták, amit kaptak, és magabiztos mondatot írtak belőle.
A termékcímkénél ezt mindenki érti: amit ráírsz, azt számon kérik. A hirdetésnél, a termékoldalnál és a vevőnek írt válasznál ugyanígy van, csak ott a szöveget már nem ember írja le kézzel, hanem egy eszköz, amely nem tudja, melyik forrás a régi.
A NIST generatív AI-ról szóló kockázati profilja ezt a jelenséget külön kockázatként nevezi meg: a modell magabiztosan állít olyat, ami hamis vagy nincs alátámasztva (NIST AI 600-1, 2024). Nálunk ennek nem a modell volt az oka, hanem az, hogy az alapanyag maga ellentmondott önmagának.
Mit csináltunk, lépésről lépésre
A munka három szakaszra bomlott. Az alapozásban a nyers anyagból forrásolt tény vagy kimondott ütközés lett. A motor szakaszában erre kereső és kérdezhető felület épült, a többi munkaterület számára is. A gondozásban vak kérdéssorral mértük, mit tud a rendszer, és a hibák nyomán javítottunk rajta.
1. Emésztés. A nyers anyag úgy jött, ahogy volt: fájlok, levelek, táblák. Minden állításból vagy forrásolt kánon-oldal lett, vagy ütközés, ha két forrás ugyanarról mást mondott. Harmadik út nem volt: amit nem lehetett forráshoz kötni, az nem került be.
2. Írást ellenőrző kapu. A kánonba csak az kerülhet, ami átmegy egy ellenőrzésen: van-e forrása, nem mond-e ellent egy már eldöntött ténynek, és jelölve van-e, ha bizonytalan.
3. Kereső és ajtó. A többi munkaterület, a hirdetéseké, a termékoldalaké és a vevőszolgálaté, ugyanabból az alapból kérdez. Nem másolatot kapnak, hanem ugyanazt a forrást olvassák.
4. Vak kérdéssor. Összeállítottunk egy kérdéssort, amelynek a válaszait a rendszer nem látta előre. Egy külön bíró pontozta, hogy a válasz igaz-e, forrásolt-e, és bevallja-e, ha nem tudja. A mérés a NIST AI-kockázatkezelési keretrendszerének logikáját követi, amely a megbízható rendszertől érvényes és ellenőrizhető működést kér, és ezt rendszeres méréssel tartja számon (NIST AI RMF, 2023).
5. Ütközés-feloldás. A nyitott ütközések egy döntés-pultra kerültek. Ezeket nem a gép döntötte el, hanem én, tételenként.
6. Második vak kör. A döntések és a hibák nyomán javítottuk a válaszolót és a bírót, majd újra mértünk. Ugyanazt a kérdéssort lefuttattuk egy külső tudásbázis-platformon is, hogy lássuk, ugyanazon az anyagon hol csúszik meg egy általános eszköz.
Mi került átadásra
A cégnél maradt, mindegyik olvasható formában, a forrásolt kánon, amelyben minden tény mellett ott a forrása. A kérdezhető felület, amelyet a többi munkaterület használ, és a döntés-pult, amelyen az eldöntött és a még nyitott ütközések egymás mellett látszanak, a döntés indoklásával együtt.
- Forrásolt kánon: termékkörök, árazási szabályok, szállítási és csere-feltételek, partnerfeltételek, márkahang, tiltott állítások. Mindegyik mellett a forrásfájl.
- Kérdezhető felület: a hirdetési, a termékoldali és a vevőszolgálati munka ugyanebből kérdez.
- Döntés-pult: soronként egy ütközés, két forrással, a döntéssel és a dátummal.
- Vak kérdéssor és bíró: újrafuttatható, így egy-egy nagyobb változás után újra mérhető, nem romlott-e el valami.
Példa (szemléltető, nem a valódi sor): a döntés-pult egy sora. Bal oldalt az ÁSZF: „a csere feltétele a bontatlan csomagolás”. Jobb oldalt egy régebbi vevőszolgálati sablon: „bontott termék is cserélhető”. Döntés: az ÁSZF az igaz, a sablont javítani kell. Felelős: a vevőszolgálat vezetője, ha a feltétel változik.
Mit láttam a döntés-pulton, és mit döntöttem
A legtöbb ütközés nem volt drámai. Régi és új feltétel, kerekített és pontos adat, két kolléga két megfogalmazása. A nehezebbek a szállítási és a csere-feltételeknél jöttek elő, mert ott a döntés már vállalás: amit egyszer leírunk, azt minden csatorna ugyanígy fogja mondani a vevőnek.
Ezekről tételenként döntöttem, nem egyszerre. A döntés-pult arra való, hogy a döntés pillanatában a két forrás egymás mellett legyen előttem, és ne fejből kelljen felidézni, melyik változat honnan jött.
A másik megfigyelés a vak körökből jött. A forrásból dolgozó válaszoló tényt csak forrással állít, és ha egy kérdésre nincs eldöntött tény, ezt kimondja, ahelyett hogy kitalálna egy választ. Számomra ez volt a lényeg: a jó válasz néha az, hogy „erre nincs eldöntött tény”.
Mi jön ezután: a nyitott tételek és egy második cég
A döntés-pulton a még nyitott ütközések sorban várnak. Ezek üzleti vállalások, ezért egyenként döntök róluk, és ahogy egy tétel eldől, a válaszoló már az eldöntött tényből dolgozik. A még fel nem dolgozott fájlok közben szakaszosan kerülnek a magba, ugyanazon a kapun át. A döntés-pult így nem lezárt lista, hanem a cég tudásának bejárata: az új szabály, ár vagy feltétel is ezen az úton kerül be, mielőtt a hirdetésbe vagy a vevői válaszba jutna.
A vak kérdéssor újrafuttatható, így minden nagyobb bővítés után megmérjük, pontos maradt-e a rendszer. A következő lépés, hogy ugyanez a lépéssor egy másik cég anyagán is végigmenjen: erre szól a pilotunk, amely ugyanígy az ellentmondás-térképpel indul. Az első hét végén ott is soronként egy ütközés áll, két forrással, és egy kérdés, amelyről a cégvezető dönt.
Időkeret szakaszonként
A rendszerterv az ősz elején készült el. A kánon felépítése a következő hetekben zajlott, a vak kérdéssoros körök pedig ezután jöttek, egymás után. A döntés-pult azóta a döntéseimmel együtt változik: ahogy egy ütközésről döntök, kikerül a nyitottak közül, és a válaszoló már az eldöntött tényből dolgozik.
A sorrendet utólag sem változtatnám meg. A mérést lehetett volna korábban kezdeni, de mérni csak azt érdemes, aminek már van forrása. Az ütközések nagy része pedig csak a kánon építése közben derült ki, így a döntéseket nem lehetett volna előre hozni.
Mit vihetsz el ebből a saját cégedhez
Nem kell hozzá rendszer, hogy elindulj. Válassz ki egy kérdést, amelyet a vevők gyakran feltesznek, és nézd meg, hány helyen válaszol rá a céged írásban. Ha a válaszok eltérnek, megtaláltad az első ütközésedet, és az AI-eszközeid is ezt az eltérést fogják továbbvinni.
- Gyűjtsd egymás mellé ugyanannak a feltételnek minden írott változatát: ÁSZF, termékoldal, visszaigazoló levél, vevőszolgálati sablon.
- Minden tény mellé írd oda, honnan jön. Ami forrás nélkül áll, az vélemény.
- Az ütközésről ne a gép döntsön. Jelöld ki, ki mondja ki az igazat, és mikor.
- Mérj olyan kérdésekkel, amelyeket a rendszer nem látott előre, és pontozd azt is, ha bevallja, hogy nem tudja.
A módszer bővebben a céges tudásbázis AI-hoz cikkben van. Egy másik saját esetünk, a havi számlagyűjtés, egészen más területről szól, de ugyanígy hiánylistával indul; a többi eset az AI-bevezetés esettanulmányai között olvasható.
Egy kérdés a csapatodnak a következő megbeszélésre: ki az, aki nálatok kimondhatja, melyik szállítási feltétel az igaz?
Gyakori kérdések
Mit kap a cég egy ilyen munka végén?
Egy forrásolt kánont, amelyben minden tény mellett ott a forrása: termékkörök, árazási szabályok, szállítási és csere-feltételek, partnerfeltételek, márkahang, tiltott állítások. Mellé egy kérdezhető felületet, amelyből a hirdetés, a termékoldal és a vevőszolgálat ugyanazt a választ kapja, egy döntés-pultot az ütközésekhez, és egy újrafuttatható vak kérdéssort a méréshez.
Kell-e rendet rakni a fájlok között, mielőtt egy ilyen munka elindul?
Nem kell, és nem is érdemes. A rendrakás maga a munka első szakasza: a nyers anyag úgy jön, ahogy van, és az emésztés során derül ki, mi ismétlődik, mi mond ellent egymásnak, és mi hiányzik. Ha előtte kézzel rendezed, éppen az ellentmondások egy része tűnik el a szemed elől.
Mi történik, ha két forrás ugyanarról mást mond?
A rendszer nem választ helyetted. Az ütközés egy döntés-pultra kerül, mindkét forrással, és addig nyitott marad, amíg a tulajdonos vagy a felelős ki nem mondja, melyik az igaz. Amíg nincs döntés, a válaszoló jelzi, hogy a kérdés vitatott, és nem tesz úgy, mintha tudná a választ.