A fejlesztők 19% -kal hosszabb ideig tartottak a feladatok elvégzéséhez az AI eszközökkel
Sarkok vágása: A mesterséges intelligencia gyorsan fejlődő világának meglepő fordulatán egy új tanulmány azt találta, hogy az AI-alapú kódoló asszisztensek valóban akadályozhatják a termelékenységet a tapasztalt szoftverfejlesztők körében, ahelyett, hogy felgyorsítanák, ami a fő oka annak, hogy ezeket az eszközöket használják.
A nonprofit Model értékelési és fenyegetéskutatás (METR) által végzett kutatás a fejlett AI eszközök valós hatásainak mérésére szolgált a szoftverfejlesztésre. 2025 elején több hónapon keresztül a METR 16 tapasztalt nyílt forráskódú fejlesztőt figyelt meg, amikor 246 valódi programozási feladatot-a hibaszünléstől az új szolgáltatás-megvalósításokig-foglalkoztak a nagy kódjegyzékekben, amelyeket szorosan ismertek. Mindegyik feladatot véletlenszerűen osztottuk meg az AI kódoló eszközök engedélyezéséhez vagy tiltásához, a legtöbb résztvevő pedig a Cursor Pro -t választotta, a Claude 3.5 vagy a 3.7 szonetttel párosítva, ha az AI használatát hagyják.
A kezdés előtt a fejlesztők magabiztosan azt jósolták, hogy az AI 24 százalékkal gyorsabbá teszi őket. Még a tanulmány befejezése után is azt hitték, hogy termelékenységük 20 százalékkal javult AI használatakor. A valóság azonban szigorúan különbözött. Az adatok azt mutatták, hogy a fejlesztőknek 19 százalékkal hosszabb ideig tartottak a feladatok elvégzéséhez AI eszközök használatakor, ami nemcsak felfogásuknak, hanem a közgazdaságtan és a gépi tanulás szakértői előrejelzéseinek is ellentétes volt.
A kutatók a váratlan lassulás lehetséges okaiba ástak, több hozzájáruló tényezőt azonosítva. Először is, a fejlesztők optimizmusa az AI eszközök hasznosságáról gyakran meghaladta a technológia tényleges képességeit. Sok résztvevő nagyon jól ismerte a kódbázisokat, és kevés helyet hagyott az AI számára, hogy értelmes hivatkozásokat kínáljon. A projektek bonyolultsága és mérete – gyakran meghaladva egymillió kódot – szintén kihívást jelentett az AI számára, amely hajlamos jobban teljesíteni a kisebb, több tartalmú problémákat. Ezenkívül az AI javaslatok megbízhatósága következetlen volt; A fejlesztők az általa létrehozott kód kevesebb, mint 44 % -át fogadták el, jelentős időt töltve ezen kimenetek felülvizsgálatával és kijavításával. Végül, az AI eszközök küzdenek a nagy adagokon belüli implicit kontextus megragadása érdekében, félreértésekhez és irreleváns javaslatokhoz vezetve.
A tanulmány módszertana szigorú volt. Minden fejlesztő becslése szerint mennyi ideig tart egy feladat az AI-vel és anélkül, majd a képernyők rögzítése és az eltöltött idő önjelentése közben dolgozott át. A résztvevőknek óránként 150 dollárt kompenzáltak a folyamat iránti elkötelezettség biztosítása érdekében. Az eredmények továbbra is következetesek voltak a különféle eredménymérések és elemzések között, anélkül, hogy a kísérleti tárgyak vagy torzítások befolyásolták a megállapításokat.
A kutatók figyelmeztetik, hogy ezeket az eredményeket nem szabad túl generálni. A tanulmány a magasan képzett fejlesztőkre összpontosított, akik ismerős, összetett kódbázisokon dolgoznak. Az AI eszközök továbbra is nagyobb előnyöket kínálhatnak a kevésbé tapasztalt programozóknak, vagy az ismeretlen vagy kisebb projekteknél dolgozók számára. A szerzők elismerik azt is, hogy az AI technológia gyorsan fejlődik, és a jövőbeli iterációk eltérő eredményeket eredményezhetnek.
A lassulás ellenére sok résztvevő és kutató továbbra is használja az AI kódoló eszközöket. Megjegyzik, hogy bár az AI nem mindig gyorsítja fel a folyamatot, ez a fejlődés bizonyos szempontjait kevésbé mentálisan adóztathatja, és a kódolást olyan feladatgá alakíthatja, amely iteratív és kevésbé félelmetes.