A robotok elvégzik az Ön felméréseit – és az eredményeket torzítják
A nagy kép: Lauren Leek azt állítja, hogy a felmérések nem elavultak, de figyelmezteti, hogy komoly kihívásokkal kell szembenézniük, amikor a részvétel csökken, és az AI -ügynökök egyre inkább kitöltik a rést. Ezen akadályok ellenére a Leek megjegyzi, hogy a vezető felmérési vállalatok és kutatók már találékony megoldásokat dolgoznak ki a kérdések kezelésére. „Ha azt akarjuk, hogy a felmérések túléljék az iker által azonosított fenyegetéseket, akkor teljes erőfeszítéseket kell tennünk az adatminőség növelése érdekében” – mondja.
A felmérések, amint a politikai szavazás, a piackutatás és a közrend alapja, csendes, de mély válsággal szembesülnek. A szociális adattudós, Lauren Leek szerint a helyzetet két összefonódott tendencia vezérli: az emberi válaszadási arányok hirtelen csökkenése és a mesterséges intelligencia -ügynökök növekvő beáramlása, amely valódi emberek helyett felméréseket tölt be.
Az utóbbi évtizedekben egyértelműen drámai csökkenés történt a felmérés részvételében. Az 1970 -es és 1980 -as években a válaszadási arány 30 és 50 százalék között változott. Manapság akár 5 százalék is lehet.
Az emberi elkötelezettség csökkenése azonban a probléma csak a fele. A Leek szemlélteti, hogy a hozzáférhető felmérési automatizálás mennyire vált egy egyszerű Python -csővezeték felépítésével, amely lehetővé tette saját AI ügynökének, hogy a nevében végzett felméréseket készítsen.
Elmagyarázza, hogy a folyamat csak egy hatalmas nyelvi modellhez való hozzáférést igényel – az Openai API -t használt – egy alapvető felmérési elemzőt (például egy .txt fájl vagy JSON fájl a Qualtrics vagy a TypeForm -ból), és egy olyan személy -generátor, amely a különféle válaszadók, például a „Urban Lefty”, a „Rural Centrist” vagy az „Climate Pessimist” között forog.
A leginkább időigényes rész-jegyzi meg-az, hogy az ügynök kölcsönhatásba lép a felmérési felületkel. „Ennyi. Kicsit több erőfeszítéssel ez tucatnyi vagy több száz botra méretezheti. A nulla kódolása is tökéletesen működne” – tette hozzá Leek. Noha a pórus nem telepítette ügynökét egy valódi platformon, azt mondja, hogy mások is vannak.
Ezen tendenciák downstream hatásai jelentősek. A politikában Leek elmagyarázza, hogy sok közvélemény -kutatás a statisztikai súlyozásra támaszkodik az alulreprezentált csoportok kijavítására. Ahogy a válaszadási arányok csökkennek és az AI által generált válaszok emelkednek, „a korrekciók mögött álló alapvető feltételezések összeomlanak”.
A szintetikus ágensek hajlamosak a nagy forgalmú internetes forrásokra vonatkozó mainstream véleményeket utánozni, ami azt jelenti, hogy a modellek „túlteljesítik a középső és alulértékelt széleket”. Ez stabil, de szisztematikusan elfogult előrejelzésekhez vezet, hiányzik a kisebbségi csoportok perspektívái.
A piackutatás hasonló dilemmával néz szembe. Az AI által generált válaszok folyékonyak és következetesek, de hiányzik a valódi emberi viselkedés kiszámíthatatlansága. „A szintetikus fogyasztók soha nem fognak irracionálisan gyűlölni egy terméket, félreértik a felhasználói felületet, vagy tévesen értelmezik a márkajelzést” – jegyzi meg Leek. Ennek eredményeként egy hipotetikus átlagos felhasználó számára készült termékek, amelyek gyakran nem felelnek meg a tényleges piaci szegmensek igényeinek, különös tekintettel azokra, amelyeket alulteljesített vagy nehéz modellezni.
A közpolitika szintén veszélyben van. A kormányok az erőforrások és a tervezési szolgáltatások kiosztására irányuló felmérésektől függnek. Ha az AI által generált válaszok dominálnak, akkor a kiszolgáltatott populációk „statisztikailag láthatatlanná válhatnak”, ami a szolgáltatások alulellátásához vezethet, ahol a leginkább szükségük van.
Még ennél is rosszabb, hogy a Leek figyelmezteti a visszacsatolási hurkokat: „Mivel az ügynökségek” validálják „a szennyezett adatok alapján a keresletet, a jövőbeli mintavételük és az erőforrás -célzás egyre inkább torzulnak.”
Ezeknek a kihívásoknak a kezelésével a Leek praktikus, ha részleges megoldásokat kínál. Először azt állítja, hogy a felméréseket át kell alakítani, hogy vonzóbb legyen. „El kell mozgatnunk az unalmas, rácsos felméréseket, és el kell kezdenünk a tapasztalatok megtervezését, amelyeket az emberek ténylegesen teljesíteni akarnak. Ez azt jelenti, hogy a mobil első elrendezéseket, a rövidebb futási időket és talán még a történetmesélést is.”
Másodszor, Leek megvitatja az AI által generált válaszok észlelésének növekvő eszközkészletét. A módszerek között szerepel a válasz entrópia, az írási stílusminták és a metaadatok elemzése, például a billentyűs időzítés. Javasolja, hogy ezeket az eszközöket szélesebb körben integrálja, és az elemek bevezetését csak az emberek töltsék ki, például a személyes díjgyűjtés megkövetelését.
Figyelmezteti azonban: „Ezeket a robotokat könnyen megtervezheti, hogy megtalálják a leggyakoribb észlelési taktikák, például a Captchas, az időzített válaszok és az irányítószám és az IP -felismerés körüli módszereit. Hidd el nekem, sokkal kevesebb kód, mint amennyire gyanít, hogy ehhez szükség van.”
Harmadszor, a Leek okosabb, dinamikusabb ösztönzőkre szólít fel a valódi résztvevők vonzására, különösen az alulreprezentált csoportoktól. „Ha csak 50 centet kínál 10 perces mentális erőfeszítésre, ne lepődj meg, amikor a válaszadó medencéje AI ügynökökből és alvásmentességű koncertmunkásokból áll”-jegyzi meg.
Végül, a pórus sürget egy szélesebb körű átgondolást arról, hogy a szervezetek miként gyűjtik az embereket. A felmérések – állítása szerint – nem az egyetlen elérhető eszköz. A digitális nyomok, a viselkedési adatok és az adminisztratív nyilvántartások gazdagabb, ha rendetlenebb megértést nyújthatnak. „Gondolj arra, hogy egy pillanatképről egy teljesebb, kevert képre mozog. Igen, ez rendetlen – de ez is valóságosabb” – mondja.