AI ir automatizacija

RAG be klientų duomenų nutekinimo

Duomenų atskyrimas, paieškos filtrai ir slėpimas, kad paieška liktų naudinga ir netaptų nutekinimo kanalu

2025 m. spalio 3 d.

Manweba

Paieška papildyta generacija (RAG) naudinga tol, kol netampa mandagiu būdu peržengti klientų duomenų ribas. Sunkiausia dalis – ne teksto skaidymas, o įrodymas, kad kiekvienas rastas fragmentas šiam naudotojui, šiame kontekste ir dabar buvo leistinas.

Duomenų atskyrimas yra filtras, o ne išnaša

Kiekvienam indekso dokumentui reikia kliento (o geriausia – ir matomumo) požymio. Kiekviena užklausa privalo pagal tuos požymius filtruoti dar prieš panašumo rikiavimą. Programos lygmens „nepamiršime perduoti organizacijos ID“ nepakanka: įrašykite tai į pačią paieškos sąsają.

Paieška, apribota vienu klientu

typescript

1type SearchHit = { id: string; text: string; score: number };
2
3export async function searchTenantDocs(input: {
4  tenantId: string;
5  query: string;
6  limit?: number;
7}): Promise<SearchHit[]> {
8  const limit = input.limit ???8;
9
10  // Filter first; rank second. Never rank globally then hope.
11  return vectorStore.query({
12    text: input.query,
13    topK: limit,
14    filter: {
15      tenantId: { $eq: input.tenantId },
16      status: { $eq: 'published' },
17    },
18  });
19}

Loading code…

Mažinkite tai, kas išeina už ribos

Rinkitės tiekėjus ir režimus, kurie vektorinius atvaizdus bei užklausas laiko jums suprantamoje sutartyje. Paslaptis ir tiesioginius identifikatorius pašalinkite dar prieš skaidydami tekstą. Nekelkite produkcijos duomenų į asmeninę bandymų aplinką „tiesiog pažiūrėti“.

Jei dokumentas per daug jautrus, kad patektų į užklausą modeliui, jam ne vieta RAG korpuse – naudokite atskirą eigą su griežtesnėmis kontrolėmis.

Prieš patenkant į korpusą

Kiekvienas dokumentas turi kliento ir matomumo požymius
Paslaptys ir tiesioginiai identifikatoriai pašalinti arba užtušuoti
Tiekėjo sutartis dėl vektorinių atvaizdų ir užklausų perskaityta, o ne numanoma
Per jautriems dokumentams taikoma atskira, griežtesnė eiga

Cituokite, ribokite ir atsisakykite

Kartu su atsakymais grąžinkite šaltinius. Ribokite konteksto lango dydį, kad viena užklausa negalėtų išsiurbti visų kliento duomenų. Kai paieška nieko neranda, taip ir pasakykite: neleiskite modeliui išgalvoti naudingai skambančios tuštumos.

Atsakymas tik iš rasto konteksto

typescript

1export async function answerWithCitations(
2  tenantId: string,
3  question: string,
4) {
5  const hits = await searchTenantDocs({ tenantId, query: question });
6  if (hits.length ====0) {
7    return {
8      answer: null,
9      reason: 'no_matching_documents' as const,
10    };
11  }
12
13  const context = hits
14    .map((hit, i) =>=`[${i + 1}] ${hit.text}`)
15    .join('\n\n');
16
17  const answer = await complete({
18    system:
19      'Answer only using the numbered context. If missing, say you do not know.',
20    user: `Context:\n${context}\n\nQuestion: ${question}`,
21  });
22
23  return {
24    answer,
25    citations: hits.map((hit) =>=hit.id),
26  };
27}

Loading code…

Audituokite kelią

Registruokite kliento ID, užklausos maišą, rastų dokumentų ID ir modelio versiją, o ne neapdorotą klientų tekstą bendruose žurnaluose, jei tik įmanoma to išvengti. Saugojimo terminai turi atitikti saugumo politiką. Nutekėjimai žurnaluose randami dažnai anksčiau nei pačiame modelyje.

Apibendrinimas

RAG yra duomenų prieigos funkcija su kalbos modelio kauke. Pirmiausia filtruokite pagal klientą, mažinkite nutekinimo vietas, cituokite šaltinius, atsisakykite atsakyti be konteksto ir audituokite visą kelią. Nauda be šių kontrolių tėra lėtas duomenų pažeidimas.

Susiję straipsniai

AI ir automatizacija

Dirbtinis intelektas smulkiam verslui: naudingos automatizacijos ir brangios demonstracijos

Laiškų rūšiavimas, kainos skaičiavimas ir CRM sinchronizavimas – kada verta imtis modelio, o kada laimi taisyklės

Skaityti straipsnį

AI ir automatizacija

Kalbos modelių funkcijų kaštų valdymas produkcijoje

Biudžetai, talpyklos ir modelių pakopos, kad dirbtinis intelektas liktų produkto kaštu, o ne netikėta sąskaita

Skaityti straipsnį

Norite, kad jūsų produktas būtų toks pat apgalvotas?

Žiūrėti paslaugas Pradėti projektą