Kad svakodnevno slušate stotine tehničkih intervjua, počinjete primjećivati obrasce. Ili u ovom slučaju nedostatak obrazaca.
Ipak sam pronašao jednu stvar koja je prilično dosljedna i iskoristio sam je kao osnovu igre za piće:
- Svaki put kad netko pomisli da je odgovor na pitanje s intervjua hash table, uzmi piće.
- I svaki put kad je odgovor zapravo hash table, uzmi dva pića.
Ali nemojte probati ovu igru. Gotovo sam umro igrajući je.
Razlozi zbog kojih dane provodim slušajući tehničke intervjue jest taj što sam prije nekoliko godina osnovao interviewing.io, platformu za intervjuiranje na kojoj ljudi mogu anonimno vježbati tehničke intervjue i, u tom procesu, pronaći posao.
Kao rezultat toga, imam pristup toni podataka o tome kako isti ljudi nastupaju od razgovora do razgovora. Otkrio sam toliko nestabilnosti da me natjera da uopće preispitam pouzdanost rezultata jednog intervjua.
Kako smo došli do svih ovih podataka
Kada se anketar i sugovornik podudaraju na našoj platformi, sastaju se u suradničkom okruženju za kodiranje glasom, tekstualnim chatom i bijelom pločom i prelaze odmah u tehničko pitanje.
Pitanja za intervjue na platformi obično spadaju u kategoriju onoga što biste naišli na zaslonu telefona za ulogu pozadinskog softverskog inženjeringa. Anketari obično dolaze iz kombinacije velikih tvrtki poput Googlea, Facebooka i Yelpa, kao i inženjerskih startupa poput Asane, Mattermarka, KeepSafea i mnogih drugih.
Nakon svakog intervjua, anketari ocjenjuju ispitanike na nekoliko različitih dimenzija, uključujući tehničku sposobnost. Tehnička sposobnost ocjenjuje se na skali od 1 do 4, gdje je 1 "meh", a 4 "nevjerojatno!" Na našoj platformi, rezultat 3 ili više, općenito znači da je osoba bila dovoljno dobra da krene naprijed.
U ovom trenutku, mogli biste reći, to je lijepo i sve, ali u čemu je stvar? Mnogo tvrtki prikuplja ovu vrstu podataka u kontekstu vlastitih cjevovoda.
Evo zbog čega su naši podaci posebni: isti ispitanik može obaviti više intervjua, od kojih je svaki s drugim anketerom i / ili drugom tvrtkom. Ovo otvara vrata za neke prilično zanimljive i pomalo kontrolirane usporedne analize.
Nalaz # 1: Vaša izvedba od intervjua do intervjua nestalna je
Krenimo s nekoliko vizuala. Na grafikonu u nastavku, ikona svake osobe predstavlja srednju tehničku ocjenu za pojedinog sugovornika koji je obavio 2 ili više intervjua na platformi.
Jedna stvar koju ne prikazujemo na ovom grafikonu je protok vremena, tako da možete vidjeti učinak ljudi tijekom vremena. To je nekako vruća zbrka.
Os y je standardno odstupanje izvedbe, pa što više idete, izvedba intervjua postaje nestalnija.
Kao što vidite, otprilike 25% ispitanika dosljedno je u svom radu, a ostali su posvuda.
Ako pogledate gornji grafikon, unatoč buci, vjerojatno možete pretpostaviti s kojim ljudima biste željeli razgovarati.
Ali imajte na umu da svaki od njih predstavlja srednju vrijednost . Pretvarajmo se da ste umjesto toga morali donijeti odluku na temelju samo jedne podatkovne točke. Tu stvari postaju složene.
Da biste ovu točku doista odvezli kući, trebali biste posjetiti stvarno cool interaktivnu verziju ovog grafikona. Tamo možete proširiti performanse svih osoba i vidjeti kako se ponašala svaka osoba u svakom intervjuu. Rezultati bi vas mogli iznenaditi! Na primjer:
- Mnogi ljudi koji su postigli barem jednu ocjenu 4 također su postigli barem jednu ocjenu 2.
- Ako pogledamo osobe s visokim učinkom (u prosjeku 3,3 ili više), još uvijek vidimo prilično varijacija.
- Stvari postaju zamagljene kad uzmemo u obzir "prosječne" izvođače (u prosjeku između 2,6 i 3,3).
? Posjetite stvarno cool interaktivnu vizualizaciju?
Bili smo znatiželjni vidjeti je li nestabilnost uopće varirala s prosječnim rezultatima ljudi. Drugim riječima, jesu li slabiji igrači bili nestabilniji od jakih? Odgovor je negativan. Kada smo izvršili regresiju na standardnu devijaciju u odnosu na srednju vrijednost, nismo mogli doći do bilo kakvog značajnog odnosa (R-kvadrat ~ = 0,03), što znači da su ljudi svugdje - bez obzira na to koliko su u prosjeku jaki.
Gledajući ove podatke - pretvarajući se da moram donijeti odluku o zapošljavanju na temelju jednog ishoda razgovora - osjećao sam se kao da kroz ključanicu zavirim u neki lijepi, raskošno uređeni salon. Ponekad na zidu vidite umjetničko djelo, ponekad vidite izbor pića, a ponekad vidite samo naslon kauča.
Dakle, u situaciji iz stvarnog života, kada pokušavate odlučiti hoćete li nekoga unaprijed odvesti na lice mjesta, vjerojatno pokušavate izbjeći dvije stvari - lažno pozitivne (pogreškom dovoditi ljude ispod svoje šanke) i lažne negativne (odbacivanje ljudi tko je trebao ući u).
Paradigma intervjuiranja većine vodećih tvrtki je da su lažni negativi manje loši od lažnih pozitivnih rezultata. Ovo ima smisla zar ne? Uz dovoljno velik cjevovod i dovoljno resursa, čak i uz visoku lažno negativnu stopu, i dalje ćete dobiti ljude koje želite.
Uz visoku stopu lažnih pozitivnih rezultata možda ćete dobiti jeftinije zapošljavanje, ali pritom nanosite potencijalno nepovratnu štetu svom proizvodu, kulturi i budućim standardima zapošljavanja. I naravno, tvrtke koje postavljaju standarde i prakse zapošljavanja za cijelu industriju su one s velikim cjevovodima i naizgled neiscrpnim resursima.
Mračna strana optimizacije za visoke lažno negativne stope, ipak, uspravlja glavu u obliku naše trenutne krize zapošljavanja u inženjeringu. Daju li slučajevi pojedinačnih intervjua u svojoj trenutnoj inkarnaciji dovoljno signala? Ili usred tolike potražnje za talentima odbijamo kvalificirane ljude jer svi gledamo veliki, nestabilni graf kroz sićušnu ključanicu?
Dakle, ako na stranu imamo hiperbolično moraliziranje, s obzirom na to koliko je izvedba intervjua nestalna, kakve su šanse da dobar kandidat padne na pojedinačnom zaslonu telefona?
Nalaz # 2: Vaše šanse da nećete uspjeti niti na jednom intervjuu na temelju prošlih performansi
Ispod možete vidjeti raspodjelu prosječnih rezultata u našoj populaciji ispitanika.
Da bismo shvatili vjerojatnost da kandidat s danom prosječnom ocjenom padne na intervjuu, morali smo obaviti neke statističke podatke.
Prvo smo ispitanike podijelili u kohorte na temelju njihovih prosječnih rezultata (zaokruženo na najbližih 0,25). Zatim smo za svaku kohortu izračunali vjerojatnost neuspjeha, odnosno dobivanja rezultata 2 ili manje. Konačno, da bismo zaobišli naš početni skup podataka koji nije velik, ponovno smo uzorkovali svoje podatke.
U našem postupku ponovnog uzorkovanja ishod intervjua tretirali smo kao multinomnu distribuciju. Drugim riječima, pretvarali smo se da je svaki intervju kolut ponderirane četverostrane matrice koja odgovara kohorti tog kandidata.
Zatim smo hrpu puta prebacili kockice da bismo stvorili novi, "simulirani" skup podataka za svaku kohortu i pomoću tih skupova podataka izračunali nove vjerojatnosti neuspjeha za svaku kohortu. Ispod možete vidjeti rezultate ponavljanja ovog postupka 10 000 puta:
Kao što vidite, puno se gornjih distribucija međusobno preklapa. To je važno jer nam ta preklapanja govore da između tih skupina možda neće postojati statistički značajne razlike (npr. Između 2,75 i 3).
Svakako, s pojavom puno više podataka, razgraničenja među skupinama mogu postati jasnija. S druge strane, ako mi ne treba veliku količinu podataka za otkrivanje razlike u stopu neuspjeha, to bi se moglo zaključiti da su ljudi su sebi vrlo promjenjiva u svojoj izvedbi.
Na kraju dana, iako sa sigurnošću možemo reći da postoji značajna razlika između donjeg kraja spektra (2,25) i gornjeg kraja (3,75), kod ljudi u sredini stvari su mutne.
Ipak, koristeći ove raspodjele, pokušali smo izračunati vjerojatnost da kandidat s određenom prosječnom ocjenom padne na jednom intervjuu:
Činjenica da ljudi koji su u cjelini prilično jaki (npr. Prosječno ~ = 3) mogu zabrljati tehničke razgovore čak 22% vremena pokazuje da u procesu definitivno ima prostora za poboljšanje. A to dodatno pogoršava opća zamračenost usred spektra.
Pa je li intervju osuđen na propast?
Općenito, kad razmišljamo o intervjuu, mislimo na nešto što bi trebalo imati ponovljive rezultate i nositi snažan signal. Međutim, podaci koje smo prikupili govore drugačiju priču.
A ta priča odjekuje i mojim nepovjerljivim iskustvom regrutacije i osjećajima koje smo vidjeli kako odjekuju u zajednici.
Zach Holman's Startup Intervjuiranje je F ***** hitova na prekidu veze između postupka intervjua i posla koji treba zamijeniti.
Fina gospoda iz TripleBytea došli su do sličnih zaključaka gledajući vlastite podatke.
Jedan od najdirljivijih izraza nedosljednih rezultata intervjua nedavno je stigao s odbijen.us.
Možete se kladiti da mnoge ljude koje tvrtka A odbije nakon telefonskog ekrana - ali to im ide bolje tijekom drugog zaslona telefona i na kraju završe negdje tradicionalno ugledne - regruti tvrtke A A pogađaju 6 mjeseci kasnije.
I unatoč svim naporima, mutni, hlapljivi i na kraju stohastični krug masaže u procesu zapošljavanja kreće dalje.
Tako da, sigurno je jedan od mogućih zaključaka da je samo tehničko intervjuiranje doista osuđeno i ne pruža pouzdan, deterministički signal za jednu instancu. Algoritamski intervjui tema su o kojoj se raspravlja i o kojoj nas duboko zanima razdvajanje.
Jedna stvar zbog koje smo vrlo uzbuđeni je praćenje izvedbe intervjua u funkciji vrste intervjua, jer na platformi imamo sve više i više različitih vrsta / pristupa intervjua. Zapravo, jedan od naših dugoročnih ciljeva je stvarno istražiti svoje podatke, pogledati krajolik različitih stilova intervjua i dati neke ozbiljne izjave na temelju podataka o tome koje vrste tehničkih intervjua vode do najvišeg signala.
U međuvremenu, međutim, priklanjam se ideji da je crtanje na skupnim performansama puno značajnije od donošenja tako važne odluke na temelju jednog, proizvoljnog intervjua.
Ne samo da agregatna izvedba može pomoći u ispravljanju nekarakteristično lošeg učinka, već također može iskorijeniti ljude koji se na kraju slučajno dobro snađu u intervjuu ili one koji se s vremenom predaju zvijeri i zapamte Cracking the Coding Interview .
Znam da nije uvijek praktično (ili moguće) prikupljati zbirne podatke o izvedbi u divljini. Ali recimo da je izvedba kandidata granična - ili tamo gdje se njihova izvedba razlikuje od onoga što biste očekivali. Možda bi imalo smisla intervjuirati ih još jednom, usredotočujući se na različit materijal, prije donošenja konačne odluke.
Prikupili smo još tonu podataka o izvedbi intervjua koji još nisu uključeni u ovu analizu, pa ako želite znati je li izvedba intervjua i dalje proizvoljna, pratite nas!
Želite li postati odlični na tehničkim razgovorima i u procesu otvoriti svoj sljedeći posao? Pridružite se intervjuiranju.io.