kísérleteinek

A munkahelyi okos döntésekhez adatokra van szükségünk. Honnan származnak ezek az adatok és hogyan elemezzük azokat, sok tényezőtől függ, például attól, hogy mit próbálunk tenni az eredményekkel, mennyire pontosaknak kell lennünk az eredményeknek, és mennyi a költségvetésünk. A vezetők számos kísérletet végezhetnek a gyors és informális, a kísérleti tanulmányokig, a terepi kísérletekig és a laboratóriumi kutatásokig. Az egyik strukturáltabb kísérlet a randomizált kontrollált kísérlet.

Annak érdekében, hogy jobban megértsem, mi a randomizált, kontrollált kísérlet és hogyan használják a vállalatok, beszéltem Tom Redman-rel, a Driven by Data: Profiting from your legfontosabb Business Asset szerzővel. Tanácsot is ad a szervezeteknek az adatok minőségével és az adatprogramjaikkal kapcsolatban.

Mi a randomizált kontrollált kísérlet?

Amikor az emberek hallják ezt a kifejezést, legtöbbször a klinikai vizsgálatokra gondolnak, ahol az egyik csoport kezelést kap, a másik pedig a placebót, de nem csak a gyógyszeripari vállalatok és az orvostudósok alkalmazzák az ilyen típusú kísérleteket. Minden típusú vállalat elvégezheti ezeket a kísérleteket, és ezeknek nem feltétlenül kell drágának vagy időigényesnek lenniük; csak "irányítani" kell őket, és tartalmazniuk kell a "randomizálás" elemét.

Kezdjük a kísérlet szóval. "A kísérlet egy tervezett tevékenység, amelynek célja, hogy valamit megismerjen a világról" - magyarázza Redman. Mondjon példát a kétéves gyerekekre, akik folyamatosan kísérleteznek: "Azt gondolják:" Ha sikítok, anya futni fog. "Adatokat gyűjtenek a világról, és bár nem ellenőrzött, szándékosan csinálják".

Itt van még egy vállalkozással kapcsolatos példa. Tegyük fel, hogy az olajkutak fúrásával foglalkozik, és van egy új bitje, amelyet egy mesterséges intelligencia program működtet, amely beállítja a bit forgásának nyomását és sebességét. Szeretné tudni, hogy ez az új, drágább bit hogyan hasonlít a jelenleg használt bithez, ezért végezzen egy kísérletet, összehasonlítva a meglévő bitjét az úttal. Válasszon ki 30 lyukat, és fúrjon ki közülük 15-öt a régi fúróval, 15-öt az újonnan. Ez a kísérleted, és az érdeklődésed változója az lehet, hogy mennyire hatékonyan fúrtad meg a kutat.

Vegye figyelembe, hogy itt a kutak száma meglehetősen kicsi egy kísérlethez képest, ahol például 1000 potenciális ügyfélnek mutat új marketing kampányt. Minél nagyobb a minta mérete, annál valószínűbb, hogy statisztikailag szignifikáns eredményeket fog elérni. De reálisnak kell lenned a kísérlet költségeivel kapcsolatban is, és mivel dollármilliókba kerül egy olajkút fúrása, valószínűleg kevesebb kútnál fogod futtatni ezt a kísérletet.

Egy kísérlet során az érdekes változót annak nevezzük függő változó(vegye figyelembe, hogy több függő változója is lehet, de az egyszerűség kedvéért itt egy függő változóra hivatkozok.) De sok ilyen is van független változók - tényezők, amelyekről gyanítod, hogy hatással vannak a függő változóra. "Egy kísérlet során általában megpróbálsz megtudni valamit egy, vagy legfeljebb néhány független változóról, de sok más tényező is akadályozhatja" - mondja Redman. Szeretné tudni, hogy melyik fúrógép jobb, de más tényezők, például a furat mérete, mélysége és az, amit ás, szintén befolyásolja a furat fúrásának hatékonyságát, és megnehezíti az új fúrógép értékelését. Hasonlóképpen, egy klinikai vizsgálat során sok más tényező is létezik, például a betegek életkora, általános egészségi állapota, testmozgási rendje és vérnyomása, amelyek megnehezíthetik annak megítélését, hogy a kísérlet eredményei valóban tulajdoníthatók-e a gyógyszeres kezelésnek nem pedig más tényező.

Itt jön be az "ellenőrzött" szó. Ez a kifejezés zavaró lehet, mert a statisztikusok egynél több fogalom leírására használják. Ahogy Redman viccelődik: "Hadd homályosítsák el a statisztikusok a tökéletesen egyszerű koncepciót!" Az első jelentés "egy (vagy néhány) változó hatásának elkülönítése" - magyarázza Redman. A "kontrollált" ebben az értelemben korlátozások bevezetését jelenti, hogy bizonyos változók ne befolyásolják a kísérlet eredményét. Tehát egy klinikai gyógyszerpróbában aggódhat, hogy a résztvevők étrendje befolyásolja-e a gyógyszer hatékonyságát. Ezt úgy "irányítja", hogy minden beteget ugyanazon étrenden tart a kísérlet időtartama alatt. Hasonlóképpen, a fúrási kísérlet során érdemes feltétlenül figyelembe vennie a „várható kőzetkeménységet”, így 15 kútpárt hozhat létre annak alapján, hogy milyen nehéznek számítanak a fúrásukra. Ez kontrollálná a várható keménységet. Azt is biztosíthatja, hogy fúróberendezéseket és berendezéseket használjon annak ellenőrzésére, hogy ezek a tényezők milyen hatással lehetnek a kísérletére.

További irodalom


A Quantokkal való lépéstartás

    Thomas H. Davenport és Jinho Kim

Sok randomizált, kontrollált kísérletet laboratóriumban végeznek, mert "laboratóriumi körülmények között könnyebb kontrollálni a dolgokat" - mondja Redman. De amennyire Redman tudja, nincs "fúrólabor", ezért a lehető legjobbat teszi. Például valószínűleg jobban szabályozhatja a kőzetkeménységet, ha két, egymástól 50 méterre lévő platformot telepít ugyanarra a helyre, és száraz kutakat ás. Ez megbízhatóbb eredményt fog kapni abban az értelemben, hogy az új és a régi bitek hasonló körülmények között hogyan működnek, de ez sok pénzbe is kerül, és ezzel nem fog pénzt keresni. Tehát el kell döntenie, hogy az ellenőrzés mennyibe kerül.

A "kontroll" második jelentése az általad vizsgált csoportokra utal: egy kontrollcsoportra és egy kezelési csoportra. Itt a vezérlés a dolgok aktuális módját jelenti (például a régi bitet), a kezelés pedig a dolgok új módját (például az új bitet). Ez azért fontos, mert a kísérlet eredményeinek megítéléséhez fel kell tenned a kérdést: "mihez képest?" Nem kezd el fúrni az új fúróval, és úgy dönt, hogy "jobb". Összehasonlítanod kell egy kontrollcsoporttal, ebben az esetben azzal a 15 lyukkal, amelyet a régi bitdel ássz, ami az alapvonalad.

Hasonlóképpen, egy új gyógyszer kipróbálása során tisztában kell lennie a „placebo-hatással”, ahol az emberek jobbá válnak pusztán azért, mert úgy gondolják, hogy kezelést kapnak, ezért pontosan ugyanúgy kezelik a kontrollcsoportot, mint a kezelési csoportot. a kezelési csoport a kontroll csoporthoz viszonyítva.

De mely kutak vagy emberek lépnek be a kontrollcsoportba, és melyek lépnek be a kísérleti csoportba? És ki vesz részt a kísérletben? Ott jön be a randomizálás. Az Ön által nem ismert változók hatásainak elvetése érdekében (mondjuk a beteg alvási szokásait egy klinikai vizsgálatban) véletlenszerűen hozzárendeli az alanyokat a kontrollcsoporthoz vagy a kezelési csoporthoz. A kútpárjaival véletlenszerűen választaná ki, esetleg megfordítana egy érmét, amely mindegyik párban megkapja az új fúrót. Ezt hívja Redman "a rejtett elfogultság kivezetéséből a kísérletből". Végül is, ha minden egészséges beteg megkapja a kezelést, majd jobb lesz, akkor nem mutatott semmit. Vagy ha véletlenül fúrna 15 legkönnyebben ásható lyukat az új fúróval, akkor tényleg nem tudja, hogy jobb-e.

A randomizálás (nagyobb mintanagysággal párosulva) magabiztosabbá teszi Önt abban, hogy bármilyen eredményt érjen el, tulajdonképpen a független érdeklődés változója - gyógyszerészeti esetben a gyógyszer hatása -, ezért "a kísérleten túl általánosítható", Redman szerint.

Ha ez a résztvevő rangsor A/B tesztelésnek hangzik, az azért van, mert hasonlóak. Az A/B lehet randomizált, kontrollált kísérlet, feltéve, hogy kontrollálták a randomizált alanyokat és tényezőket, de nem minden randomizált kontrollált kísérlet PARTIALURLPLACEHOLDER teszt.

Tehát rakjuk össze az egészet. Redman szavaival: „Az elképzelés az ön számára érdekes független változók elkülönítése. A randomizált, kontrollált kísérlet egy olyan kísérlet, amelyben ellenőrzi az ismert tényezőket, majd véletlenszerűen választja ki azokat, akiket nem ismer ».

Melyek az alapvető lépések egy randomizált, kontrollált kísérlet elvégzéséhez?

"Ne hagyja a kísérleti tervet az adatelemzőkre" - mondja Redman. Fontos, hogy a menedzser ismerje és megértse a folyamatot, hogy jobban tudjon együttműködni, tudást és tapasztalatokat szerezzen az üzleti életben, az elemző pedig hozzájáruljon az adatgyűjtés és -elemzés tapasztalatához.

Ezek az alapvető lépések:

Miután elemezte az eredményeket (és valószínűleg tesztelte, ha statisztikailag szignifikánsak), az eredményeket átülteti a gyakorlatba. A gumi természetesen itt ütközik az úton. A laboratóriumi kísérlet során találtakat nem mindig lehet a terepen tartani. Ahogy Redman mondja: „Laboratóriumban nem keresel pénzt. Keressen pénzt a való világban. Gyorsan szálljon ki a laborból ».

Milyen hibákat követnek el az emberek randomizált, kontrollált kísérletek során?

Redman szerint az egyik legnagyobb hiba, amelyet a vállalatok elkövetnek, egyszerűen nem végez elegendő kísérletet - nemcsak randomizált, kontrollált kísérleteket, hanem még informálisabbakat is, amelyek olcsóbbak és időigényesebbek. „A vezetőktől elvárják, hogy tudják a válaszokat. Ahhoz, hogy egy menedzser azt mondhassa: "Nem vagyok biztos benne, hogy tudom, végezzünk egy kísérletet", némi kifinomultságra és megértésre van szükség ezeknek a dolgoknak a futtatásához. De kísérletezés nélkül nem lehet biztos abban, hogy sejtéseid helyesek.

Még azok a menedzserek is, akik hajlandóak kísérleteket kérni, gyakran nem tervezik meg elég alaposan a kísérletet. Redman szerint fontos a fentiekben vázolt összes lépés végrehajtása, de a vezetők legtöbbször megteszik az első lépéseket - kiderítik az érdeklődés változóját és talán a lakosságot is, majd előre lépnek a kísérlet elvégzésére. "Nem gondoltak rá" - mondja Redman. "Hozza vissza az embereket azokba a természettudományi órákba, amelyek nem tetszettek nekik", de ez nem teszi kevésbé kritikussá a lépéseket.

Ez újabb hibához vezet: még nem állított be elegendő vezérlőt az Ön számára érdekes változók elkülönítésére. Könnyű elcsavarni. E kísérletek elvégzéséhez sokat kell tudni a kísérleti tervezésről. Hogyan különíti el pontosan azokat a tényezőket, amelyeket tanulmányozni próbál? De ennek elmulasztása azt jelenti, hogy az eredményeket rossz tényezőknek tulajdoníthatja.

Redman rámutat az utolsó hibára, amely könnyen megoldható: az elemző bevonása nélkül. "Sok menedzser úgy gondolja, hogy adatokat adhat át egy tudósnak" - mondja, de "minden értékes adatelemző részt akar venni a kísérlet felállításában és a protokoll megírásában". És ez mindenkinek jó. Minél korábban dolgozol együtt, annál valószínűbb, hogy profitálhatsz egymás szakértelméből.