Je však pravda, že počas svojej kariéry čelil kritike a kontroverzii, čo viedlo k určitému napätiu s sieťami a divákmi.
Tu je niekoľko príkladov toho, čo mohlo prispieť k tomuto vnímaniu:
* Kritika športovcov: Cosell bol známy tým, že kritizoval výkon športovcov, často s tupým a nefiltrovaným štýlom. To niekedy viedlo k verejným zrážkam s hráčmi.
* Rasový a sociálny komentár: Bol tiež známy tým, že sa zaoberá sociálnymi a rasovými otázkami, niekedy spôsobom, ktorý sa považoval za necitlivý alebo urážlivý.
* Clash so sieťami: Mal trochu bojový vzťah so sieťami, často spochybňoval ich autoritu a posúval hranice svojím komentárom.
Aj keď nikdy neexistoval jediný incident, ktorý viedol k jeho odstráneniu z vysielania, tieto faktory prispeli k jeho vnímaniu ako kontroverznej postavy. Nakoniec odišiel z vysielania v roku 1985, ale bolo to skôr kvôli jeho veku a zdraviu ako akákoľvek konkrétna kontroverzia.