Po skončení The Naked Brothers Band sa Kaye objavila v niekoľkých filmoch a televíznych reláciách, vrátane filmu "The Wackness" (2008) a televíznej show "Royal Pains" (2009-2010). Režíroval aj niekoľko krátkych filmov a dokumentov.
V posledných rokoch sa Kaye zameral predovšetkým na svoju hudobnú kariéru. Svoj debutový album „Alone Together“ vydal v roku 2012 a odvtedy pokračuje vo vydávaní hudby. Absolvoval tiež rozsiahle turné, ako sólový umelec, tak aj so svojou skupinou Josh Kaye Experience.
Okrem hudobnej kariéry sa Kaye venuje aj niekoľkým filantropickým snahám. Je zástancom duševného zdravia mládeže a spolupracoval s niekoľkými organizáciami na zvyšovaní povedomia o tejto problematike. Je tiež podporovateľom umenia a spolupracoval s niekoľkými školami a komunitnými organizáciami s cieľom poskytnúť mladým ľuďom príležitosť zapojiť sa do umenia.