Он работал в ФБР до самой своей смерти в 1972 году.
Возглавив Бюро расследований (в 1935 году переименованное в ФБР) в возрасте 29 лет, Гувер пережил на этом посту Великую депрессию, реформы Рузвельта, Вторую мировую войну, первые этапы Холодной, Корейскую и Вьетнамскую войны, будучи всегда одной из самых влиятельных фигур в США.

В 1930-е годы главным направлением деятельности ФБР стала борьба с гангстерами и грабителями банков.

Гувер никогда не был женат, и вообще не замечен в связях с женщинами. Это послужило причиной распространявшихся в США слухах о его нетрадиционной сексуальной ориентации, но прямых доказательств этому найдено не было.