I njëjti biznes, e njëjta pyetje: katër modele AI japin rezultate të ndryshme
Bëmë të njëjtat pyetje katër modeleve AI, për dy biznese, në të njëjtën periudhë. Dy modele e përmendën biznesin në mbi gjysmën e përgjigjeve. Dy të tjerë në më pak se një të tretën.
Përmendje sipas modelit
- Claude9 nga 1656,3%
- Gemini9 nga 1656,3%
- ChatGPT5 nga 1631,3%
- Perplexity5 nga 1631,3%
Çfarë vlerësuam
Dy biznese në Shqipëri, në të njëjtën periudhë. Për secilin ndërtuam pyetje që i bën vërtet një klient, dhe pjesa më e madhe e tyre nuk e përmend emrin e biznesit, sepse ndryshe përgjigjja do të merrej nga vetë pyetja.
Të njëjtat 16 pyetje iu drejtuan katër modeleve AI: Claude, Gemini, ChatGPT dhe Perplexity. Kjo bën 64 përgjigje të ruajtura, secila me datën, modelin dhe gjuhën.
Numrat më poshtë janë në agregat mbi të dy bizneset bashkë. Asnjë biznes nuk përmendet me emër.
Dy modele e panë. Dy të tjerë jo.
Claude e përmendi biznesin në 9 nga 16 përgjigje, dhe Gemini po ashtu në 9 nga 16.
ChatGPT e përmendi në 5 nga 16, dhe Perplexity gjithashtu në 5 nga 16.
Mes modelit që e sheh më shpesh dhe atij që e sheh më rrallë ka gati dyfishin. E njëjta pyetje, i njëjti biznes, e njëjta periudhë.
Në gjysmën e pyetjeve modelet nuk dhanë të njëjtën përgjigje
Të njëjtat 16 pyetje shkuan te të katër modelet. Në 8 prej tyre modelet nuk u pajtuan: disa e përmendën biznesin dhe disa jo.
Gjysma e pyetjeve. Kjo është pjesa që një biznes nuk e sheh dot vetë, sepse kush pyet një model të vetëm merr një përgjigje të vetme dhe nuk ka me çfarë ta krahasojë.
Ku modelet nuk u pajtuan
8 nga 16
Pse ndodh, dhe çfarë nuk e themi dot
Modelet nuk kthejnë një listë faqesh të renditura, siç bën një motor kërkimi. Ndërtojnë një përgjigje mbi bazën e asaj që kanë lexuar dhe të asaj që u vjen në atë çast, dhe secili e peshon ndryshe atë material.
Çfarë nuk e themi dot nga këto të dhëna: pse pikërisht ky model e sheh dhe ai tjetri jo. Për atë duhen burimet pas secilës përgjigje, të lexuara një nga një. Ne e ruajmë çdo përgjigje pikërisht që ajo punë të jetë e mundur, por nuk është pyetja që u përgjigj këtu.
Çfarë do të thotë për një biznes
Nëse e kontrolloni vetëm te një model, keni parë një të katërtën e figurës, dhe sipas modelit që zgjodhët mund të dilni ndjeshëm më mirë ose më keq se sa jeni në të vërtetë.
E njëjta gjë vlen për konkurrentët. Një kompani që del e para te një model mund të mos dalë fare te një tjetër, dhe të dyja janë të vërteta në të njëjtën ditë.
Kufiri i kësaj gjetjeje
Dy biznese dhe 64 përgjigje janë një bazë e vogël. Kjo është ajo që vlerësuam, jo një ligj i tregut, dhe numrin e vëmë përpara pikërisht që të gjykohet ashtu.
Secila pyetje u bë një herë për model në këtë periudhë. Përsëritjet janë pjesë e metodës së miratuar dhe nuk kanë hyrë në këtë gjetje.