Īsumā
- Viena asistenta pārbaudei vajag apmēram 15 minūtes, pārlūku un piezīmju lapu. Īpaši rīki nav vajadzīgi.
- Asistents atbild vai nu no apmācības datiem (tekstiem, no kuriem modelis mācījies līdz noteiktam datumam), vai no meklēšanas tīmeklī. Šīs divas atbildes var būtiski atšķirties.
- Google par Gemini raksta tieši: atbilde uz vienu un to pašu jautājumu katrā reizē var atšķirties. Tāpēc ar vienu mēģinājumu nepietiek.
- Asistents var kļūdīties. Google raksta, ka Gemini atbildēs ir redzēta neprecīza un pat izdomāta informācija.
- Pārbaudes mērķis ir atrast trūkstošos un kļūdainos faktus, nevis iegūt «vērtējumu». Labojumi negarantē, ka atbilde mainīsies.
Kāpēc viens un tas pats jautājums dod dažādas atbildes?
Iemesli ir divi, un abi ir aprakstīti ražotāju dokumentācijā.
Atbilde katru reizi tiek veidota no jauna
Asistents atbildi neizvelk no kartotēkas, bet uzraksta no jauna. Google savā Gemini pārskatā norāda, ka lielā valodas modeļa atbilde uz vienu un to pašu uzvedni (tavu jautājumu) katrā reizē var atšķirties. Par ChatGPT un Claude vari pārliecināties pats: uzdod to pašu jautājumu divās jaunās sarunās un salīdzini.
Meklēšana tīmeklī ir ieslēgta vai izslēgta
Bez meklēšanas asistents balstās uz apmācības datiem. Anthropic raksta, ka katram Claude modelim ir zināšanu robeždatums un par vēlākiem notikumiem modelim var nebūt precīzas informācijas. Ja uzņēmums ir jauns vai nesen mainīji adresi, bez meklēšanas asistents to var nezināt.
Ar meklēšanu asistents vispirms atrod lapas tīmeklī un tad atbild, parasti ar saitēm uz avotiem. Bieži asistents pats izlemj, vai meklēt. OpenAI izstrādātājiem domātajā dokumentācijā teikts, ka modelis var izvēlēties meklēt vai nemeklēt atkarībā no jautājuma satura. Anthropic raksta, ka jaunajā Claude saskarnē atsevišķa meklēšanas slēdža nav un Claude meklē tīmeklī, kad tas palīdz.
Tāpēc pie katras atbildes pieraksti vienu lietu: vai tai ir avotu saites.
Kā sagatavoties pārbaudei?
- Atver ChatGPT, Gemini vai Claude. Ja nezini, ar kuru sākt, izvēlies to, kuru, tavuprāt, lieto tavi klienti.
- Katram jautājumam sāc jaunu sarunu, lai iepriekšējās atbildes neietekmētu nākamo.
- Jautā tā, kā jautātu klients: uzņēmuma nosaukums un pilsēta, bez juridiskās formas un bez paskaidrojumiem.
- Ja asistentam ir meklēšanas slēdzis, katru jautājumu uzdod divreiz: ar meklēšanu un bez tās. Claude palīdzībā aprakstīts, ka saskarnē ar slēdzi tas atrodas zem pogas «+» čata loga apakšējā kreisajā stūrī, punkts «Web search» (latviski nosaukums var atšķirties). ChatGPT un Gemini izvēlnes mainās, tāpēc aktuālo ceļu pārbaudi ražotāja palīdzības lapā.
- Atbildes iekopē tabulā vai dokumentā ar datumu. Pēc mēneša tās noderēs salīdzināšanai.
Ja slēdža nav, skaties uz avotiem. Google skaidro: ja zem Gemini atbildes nav pogas «Sources» (latviski nosaukums var atšķirties), šai atbildei saites nav dotas.
10 jautājumi, ko uzdot
Kvadrātiekavās ieliec savus datus.
- Kas ir [uzņēmuma nosaukums] [pilsētā] un ar ko tas nodarbojas?
- Kādus pakalpojumus vai preces piedāvā [uzņēmums]?
- Kur atrodas [uzņēmums] un kāds ir tā darba laiks?
- Kā sazināties ar [uzņēmumu]: tālrunis, e-pasts, mājaslapa?
- Cik maksā [tavs galvenais pakalpojums] pie [uzņēmuma]?
- Kam [uzņēmuma] pakalpojumi ir piemēroti un kam nav?
- Ar ko [uzņēmums] atšķiras no citiem [nozares] uzņēmumiem [pilsētā]?
- Ko klienti raksta par [uzņēmumu]?
- Iesaki [pakalpojums] [pilsētā]. Šeit savu nosaukumu nemini un skaties, vai tevi piemin.
- No kurām lapām tu ņēmi informāciju par [uzņēmumu]? Dod saites.
Pie 10. jautājuma atceries: asistenta stāstījums par saviem avotiem arī var būt neprecīzs. Atver katru saiti un pārliecinies, ka lapā tiešām ir tas, kas apgalvots.
Kā nolasīt rezultātu?
| Ko redzi atbildē | Ko tas, visticamāk, nozīmē | Ko darīt |
|---|---|---|
| «Man nav informācijas par šo uzņēmumu» | Par tevi tīmeklī ir maz teksta vai meklēšana netika izmantota | Pārbaudi ar ieslēgtu meklēšanu, tad skaties, vai mājaslapā ir skaidrs apraksts |
| Pareizi fakti ar saiti uz tavu lapu | Asistents atrada un saprata tavu lapu | Pieraksti un pārbaudi vēlreiz pēc mēneša |
| Veca adrese, tālrunis vai darba laiks | Kaut kur tīmeklī vēl ir vecie dati | Atrodi avotu pēc saites un izlabo to |
| Izdomāta cena vai pakalpojums, ko nesniedz | Trūkst skaidra avota, un asistents aizpilda robu | Uzraksti šo faktu savā lapā vienā skaidrā teikumā |
| Tevi sajauc ar citu līdzīga nosaukuma uzņēmumu | Nosaukums nav viennozīmīgs | Lapā un profilos visur liec nosaukumu kopā ar pilsētu un nozari |
| 9. jautājumā tevi nepiemin | Asistents neredz saikni starp tevi un pakalpojumu | Skaties sadaļu par savu mājaslapu zemāk |
Atšķirības starp diviem mēģinājumiem ir normālas. Vērā ņem to, kas atkārtojas: ja, piemēram, vecā adrese parādās trīs reizes no četrām, to ir vērts labot.
Ko darīt ar kļūdām un trūkstošajiem faktiem?
Asistentam nevar piezvanīt un palūgt labojumu. Vari sakārtot vietas, no kurām tas lasa.
Sāc ar savu mājaslapu
Katram faktam, kas pārbaudē bija kļūdains vai trūka, lapā jābūt uzrakstītam tekstā, nevis tikai attēlā: ko dari, kam, kur, cikos, kā sazināties. Kā to sakārtot pa lapām, aprakstīts rakstā par pakalpojuma lapas 9 elementiem.
Izlabo Google uzņēmuma profilu
Google palīdzībā aprakstīts ceļš: atver savu profilu, izvēlies «Edit profile» (latviski nosaukums var atšķirties), izlabo un saglabā ar «Save». Google izmaiņas pārskata, pirms tās parādās profilā. Ja profila vēl nav, skaties, kā to izveidot un verificēt.
Atrodi vecos datus citās lapās
Tie mēdz palikt katalogos, sociālo tīklu profilos un vecos rakstos. Ja asistents deva saiti, tu jau zini, kur meklēt. Uzraksti lapas uzturētājam un palūdz labot.
Pārbaudi, vai asistentu roboti drīkst lasīt tavu lapu
Fails robots.txt nosaka, kuri automātiskie apmeklētāji (roboti) drīkst lasīt lapu. To parasti var apskatīt pārlūkā, aiz savas lapas adreses pierakstot /robots.txt. Pats failu nelabo, ja neesi drošs, ko katra rinda nozīmē: kļūda tajā var paslēpt lapu arī no Google.
OpenAI dokumentācijā teikts, ka lapas, kas liedz piekļuvi robotam OAI-SearchBot, ChatGPT meklēšanas atbildēs netiek rādītas (tās vēl var parādīties kā vienkāršas saites), un pēc robots.txt izmaiņām sistēmām var vajadzēt apmēram 24 stundas. Anthropic raksta, ka robotu Claude-User vai Claude-SearchBot bloķēšana var samazināt lapas redzamību lietotāju meklēšanā. Plašāk par to lasi rakstā par llms.txt, robots.txt un strukturētajiem datiem.
Atkārto pēc mēneša
Uzdod tos pašus 10 jautājumus un salīdzini ar pierakstiem. Atbildes ar meklēšanu var mainīties ātrāk, jo balstās uz lapām, kas tīmeklī ir šobrīd. Atbildes bez meklēšanas balstās uz apmācības datiem, kurus ražotājs atjauno ar jauniem modeļiem, un to, kas tajos nonāks, tu noteikt nevari.
Ko šī pārbaude neparāda?
- Tā neparāda, ko asistents atbildēs citam cilvēkam. Jautājuma formulējums, valoda un meklēšanas iestatījums maina rezultātu.
- Tā nav mērījums. Desmit jautājumi ir paraugs, nevis statistika.
- Tā neparāda cēloni. Tabula augstāk dod ticamāko skaidrojumu, nevis diagnozi.
Kad lūgt palīdzību
Palīdzība noder, ja pēc labojumiem asistenti joprojām atkārto vecus datus un tu nevari atrast, no kurienes tie nāk, vai ja nesaproti, kas rakstīts tavā robots.txt. Tāpat, ja lapas saturu pats mainīt nevari. Mēs paši šādu pakalpojumu sniedzam: mājaslapas auditu var pasūtīt mūsu rīkā DigifyScope. Ja paliec pie cita izstrādātāja, iedod viņam savu pierakstu tabulu, ar to pietiek, lai sāktu.