Советский партийный деятель, чекист, преемник Ф. Э. Дзержинского во главе ОГПУ (1926—1934).
Родился в Санкт-Петербурге, в обрусевшей польской дворянской семье православного вероисповедания. Дед его был хоровой певчий.
Отец, Рудольф Игнатьевич Менжинский — статский советник, выпускник Петербургского университета, преподаватель истории в Петербургском кадетском корпусе, в 1863 году переименованном в кадетскую гимназию, и на Высших женских курсах. Мать, Мария Александровна Шакеева, дочь инспектора Школы кавалерийских подпрапорщиков и юнкеров.
В 1898 окончил юридический факультет Петербургского университета. Вёл занятия в вечерне-воскресных школах для рабочих, в нелегальных рабочих кружках. В молодости был близок к литературно-артистической среде Серебряного века (кружок Ю. Н. Верховского), писал и печатал стихи (в том числе в «Зелёном сборнике стихов и прозы» 1905 под одной обложкой с дебютным выступлением М. А. Кузмина).
С 1902 в РСДРП, затем большевик.
В 1905 член военной организации при комитете РСДРП в Петербурге и редактор большевистской газеты «Казарма».
В 1906 арестован, бежал за границу. С 1907 в эмиграции, жил в Бельгии, Швейцарии, Франции, США.
Во время октябрьской революции член петроградского военно-революционного комитета, комисар ВРК в Госбанке.
В январе - апреле 1918 года занимал пост наркома финансов. Затем короткое время большевистский консул в Берлине.
В 1919 нарком Рабоче-крестьянской инспекции Украины.
В ВЧК с 1919, занимал пост начальника Особого отдела, с 1923 заместитель председателя ОГПУ.
В обстановке устанавливающейся с конца 1920-х годов абсолютной власти Сталина Менжинский проявлял ему лояльность; при нём были организованы процесс Промпартии и Шахтинское дело (1930—1931).
В последние годы жизни глава ОГПУ тяжело болел и долгое время был прикован к постели, проводя коллегии на дому. Менжинский скончался 10 мая 1934. Был кремирован, прах помещён в урне в Кремлёвской стене на Красной площади в Москве.
В том же году ОГПУ было преобразовано в ГУГБ НКВД СССР, а преемник Менжинского, Г. Г. Ягода, стал также наркомом внутренних дел.
В 1938 Третий московский процесс вынес приговор, согласно которому Менжинский был умерщвлён в результате неправильного лечения по приказу Ягоды по заданию правотроцкистского блока. Ряд историков считает, что это соответствовало действительности (как и ряд других преступлений, за которые был осуждён Ягода), другие считают насильственную смерть Менжинского маловероятной.