Brown spielte nur von 1957 bis 1965 in der NFL, stellte in dieser Zeit aber zahlreiche Rekorde auf und wurde 1965 zum wertvollsten Spieler der Saison gewählt. 1964 gewann er mit den Cleveland Browns die Meisterschaft. 

Brown beendete seine Karriere mit 30 Jahren, um Schauspieler zu werden. Er war in mehr als 30 Filmen zu sehen, darunter „An jedem verdammten Sonntag“ und „Das dreckige Dutzend“. Brown lebte in Los Angeles, galt als großzügig und setzte sich für andere Menschen ein. Er wurde aber auch mehrere Male verhaftet, weil er Frauen geschlagen haben soll. Infolge eines Notrufs seiner Frau wurde er zu sechs Monaten Haft verurteilt.