Один из руководителей органов государственной безопасности, комиссар государственной безопасности 2-го ранга (4.2.1943), генерал армии (8.8.1955), Герой Советского Союза (29.5.1945). Сын крестьянина.
Образование получил в Ленинградской военно-технической школе (1928), на курсах усовершенствования комсостава (1930), Военно-инженерной академии имени В.В.Куйбышева (1936), в Военной академии имени Фрунзе (1939). В 1923-1926 годы председатель Заможского сельсовета (Вологодская губерния). В июне 1926 года вступил в ВКП(б). С 1928 служил в РККА, командир взвода, командир батареи, начальник штаба артиллерийского полка. В 1924-1925 помощник начальника штаба 24-го артиллерийского полка.
В январе 1939 переведен в НКВД СССР и 9 февраля назначен заместителем начальника, а через 9 дней - начальником Главного управления рабоче-крестьянской милиции. С 29 июля по 2 сентября 1939 начальник 2-го (секретно-политического) отдела и заместитель начальника Главного управления государственной безопасности.
02.09.1939 Серов назначен наркомом внутренних дел Украины, где познакомился с Н.С. Хрущевым.
Причастен к депортациям "враждебных элементов" из Западной Украины. В феврале 1941 после создания нового Наркомата государственной безопасности Серова вернули в Москву, и 3 февраля он занял пост 1-го заместителя наркома.
С 1941 кандидат в члены, в 1956-1961 член ЦК партии. В 1951-1950 и 1958-62 депутат Верховного Совета СССР. С началом Великой Отечественной войны НКГБ и НКВД вновь объединены, и Серов 30.7.1941 стал зам. наркома нового ведомства. Ему было поручено курировать милицию, пожарных, противовоздушную оборону, 1-й (учетный) спецотдел, тюремное управление, управление по делам военнопленных и интернированных, штаб истребительных батальонов и управление государственными архивами.
Принимал активное участие в организации депортаций в 1944 - чеченцев, ингушей, немцев Поволжья, калмыков, крымских татар (за эти "заслуги" он получил орден Суворова 1-й степени и орден Красного Знамени). Одновременно в январе-июне 1945 года Серов являлся заместителем командующего 1-м Белорусским фронтом и уполномоченным НКВД на фронте.
В 1944 назначен также советником НКВД при Министерстве общественной безопасности Польши, руководил арестами командиров Армии Крайовой. В июне 1945 - ноябре 1946 Серов также был зам. главноначальствующего Советской военной администрации в Германии и уполномоченным НКВД (МВД) СССР. Именно он сформировал органы государственной безопасности в советской зоне оккупации - будущей ГДР, провел аресты опасных для И.В. Сталина деятелей Компартии Германии и т.д.
С 24.2.1947 1-й зам. наркома внутренних дел СССР. Серову непосредственно подчинялись милиция, Главное управление по борьбе с бандитизмом, пограничные войска, отдел контрразведки, отдел правительственной связи, учетно-статистический и шифровальный спецотделы. B.C. Абакумов жаловался Л.П. Берии: "Серов известен своими провокационными выходками и склоками, поэтому пора положить конец этому". Со своей стороны, Серов постоянно направлял записки на имя И.В. Сталина с обвинениями Абакумова.
После смерти Сталина сохранил свой пост и даже был повышен до 1-го зам.. министра, а в 13.3.1954 стал первым председателем КГБ при Совете министров СССР.
Во время волнений в Венгрии (1956) Серов прибыл в страну для руководства органами государственной безопасности, организовал массовые аресты (более 5 тысяч человек), высылку в Сибирь. Во время попытки Л.М. Кагановича, В.М. Молотова, Г.М. Маленкова и других добиться отстранения Хрущева от власти Серов фактически спас его, организовав доставку в Москву преданных Хрущеву членов ЦК.
08.12.1958 Серова перевели в Генштаб Вооруженных сил с назначением заместителем начальника Генштаба по разведке и начальником Главного разведывательного управления (ГРУ).
02.02.1963 после разоблачения иностранного шпиона полковника ГРУ О.В. Пеньковского, Серов "за потерю политической бдительности и недостойные поступки" был снят со всех постов, а 12 марта понижен в звании до генерал-майора и лишен звания Героя Советского Союза.
С 1963 помощник командующего по учебным заведениям в Туркестанском, а в 1963-1965 - Приволжском военных округах.
09.04.1965 решением Комиссии партийного контроля при ЦК КПСС исключен из партии "за нарушения социалистической законности и использование служебного положения в личных целях". 01.09.1965 уволен в отставку "по болезни".