Predpokladá sa, že táto fráza má svoj pôvod v Spojených štátoch v 19. storočí, keď boli šerifovia volení úradníci zodpovední za presadzovanie práva v príslušných okresoch. Keď bol zvolený nový šerif, často si pribrali vlastných zástupcov a urobili zmeny v spôsobe, akým sa vykonávalo presadzovanie práva. To by mohlo viesť k významným zmenám v miestnej komunite, pretože nový šerif môže mať iný prístup k presadzovaniu práva alebo môže uprednostňovať iné problémy ako predchádzajúci šerif.
Postupom času sa výraz „nový šerif v meste“ začal používať širšie na označenie akejkoľvek novej osoby v pozícii autority, ktorá prináša zmeny alebo má významný vplyv na ich oblasť. Teraz sa bežne používa v rôznych kontextoch, ako je politika, podnikanie a šport.