Пинхас родился 24 января 1878 года в городе Ромны Полтавской губернии в семье купца 2-й гильдии Моисея Рутенберга. Мать - дочь раввина Пинхаса Марголина из Кременчуга. В семье было семеро детей: четыре дочери и три сына.
Учился Пинхас Рутенберг в хедере, в Роменском реальном училище, потом поступил в Петербургский технологический институт. В студенческие годы принял участие в революционном движении. Сначала был социал-демократом, потом стал членом партии социалистов-революционеров (партийная кличка Мартын). Из института был исключен за участие в студенческих волнениях 1899 года. Последовала ссылка в Екатеринослав. Тут он работал сначала чертежником на Александровском Южно-Российском металлургическом заводе Брянского Акционерного общества (ныне завод им. Петровского), потом - на Екатерининской железной дороге.
Осенью 1900 года был восстановлен в институте и закончил его с отличием.
В самом начале 1900-х годов П. Рутенберг женился на Ольге Хоменко - участнице революционного движения, владелице издательства «Библиотека для всех». Этот брак мог состояться только при условии крещения еврея, что он и совершил формально. Уже в эмиграции, в синагоге Флоренции, Пинхас, выполнит средневековый обряд покаяния отступника - получит 39 ударов бичом и вернется к вере своих отцов.
В 1904 году П. Рутенберг стал руководителем инструментальной мастерской Путиловского завода. Через своего приятеля, известного эсера Бориса Савинкова, установил связь с Боевой организацией эсеров. Тогда же на заводе познакомился с попом Георгием Гапоном, создавшим при поддержке Плеве и Зубатова «Собрание русских фабрично-заводских рабочих г. Санкт-Петербурга», объединившее свыше 20 тысяч рабочих. Эта организация привлекла к себе внимание революционеров, и П. Рутенберг стал ближайшим соратником Гапона.
В середине декабря 1904 года с завода были уволены четверо рабочих - членов «Собрания». Гапон организовал в их защиту забастовку, к которой примкнули рабочие других заводов города. 9 января 1905 года у Зимнего дворца шествие, направлявшееся к царю, было расстреляно, погибло 1216 русских рабочих, хотя официально было объявлено о 130 жертвах. Пинхас Рутенберг сопровождал Гапона в колонне и увел его в ближайший двор, где переодел и остриг, после чего спрятал на квартире писателя Батюшкова, а затем помог бежать за границу. Позже Гапон рассказал начальнику петербургского охранного отделения о том, что П. Рутенберг принял участие в шествии потому, что у него был план застрелить царя во время выхода того к народу.
Пинхас Рутенберг также уехал за границу, где по решению ЦК эсеров он был назначен руководителем Военной организации партии. Летом 1905-го принимал участие в неудачной попытке доставить оружие в Россию на пароходе «Джон Крафтон». Осенью 1905 года был арестован, освободили его согласно Манифесту от 17 октября. Тогда же, в соответствии с этим манифестом, смог вернуться в Россию и Гапон. В ноябре-декабре 1905 года П. Рутенберг руководил боевой дружиной в одном из рабочих районов Петербурга. За границей, где Гапона встречали как героя, он издал свои воспоминания. Гонорары позволяли ему широко жить, и он их раздавал революционерам, в том числе и В. Ленину. Летом 1905 года Гапон был завербован полицией, контактировал с ним П. Рачковский - руководитель политического отдела полиции. Тогда же он стал склонять к сотрудничеству с полицией и П. Рутенберга. После этого Рутенберг отправился в Гельсингфорс (Хельсинки), доложил обо всем ЦК, и ему было поручено убить Гапона и Рачковского. Азеф - руководитель Боевой организации, опасаясь своего разоблачения, единолично разрешил ликвидировать только Гапона. Надо было убедить рабочих в "предательстве" Гапона. Во время очередной встречи Гапона с Рутенбергом один из рабочих переоделся извозчиком и услышал весь разговор, во время которого Гапон уговаривал Рутенберга быть осведомителем. 28 марта в Озерках под Петербургом Гапон был повешен.
А. Диктоф-Диренталь - участник убийства - вспоминал, как Рутенберг, на которого было страшно смотреть, протянул ему складные ножницы и сказал: «Этими самыми ножницами я ему обрезал волосы тогда, 9 января... а теперь ими же...» Рутенберг не окончил фразу и отошел. Этими ножницами и обрезали веревку. В 1909 году П. Рутенберг в Париже опубликовал свои воспоминания об этих событиях. В 1925 году в Ленинграде вышла его книга «Убийство Гапона».
Отойдя от революционного движения, П. Рутенберг в 1906 году уехал в Германию, с 1907 по 1915 год жил в Италии. Именно тогда он вернулся в иудаизм и открыто принял идеи сионизма. Работал инженером, изобрел новую систему строительства плотин для гидроэлектростанций. Одно время жил у Максима Горького на Капри. Создал в Италии общество «Про кауза эбраика», отстаивающее интересы евреев в послевоенном «мировом устройстве». Еще шла первая мировая война. В работе общества участвовал сионистский деятель из Екатеринослава Бер Борохов. В 1915 году П. Рутенберг уехал в США, где опубликовал статью «Национальное возрождение еврейского народа». Его призыв к созданию Еврейского легиона встретил поддержку у Д. Бен-Гуриона. Там же, в США, подготовил полный план ирригации Эрец-Исраэль.
В феврале 1917 года он вернулся в Россию. Глава Временного правительства А. Керенский назначил его заместителем губернского комиссара.
В октябре П.Рутенберг стал помощником Н.Кимкина - уполномоченного правительства по «водворению порядка в Петрограде». В дни октябрьской революции Рутенберг предлагал арестовать и казнить В.Ленина и Л.Троцкого. Но во время штурма Зимнего сам был арестован и шесть месяцев провел в Петропавловской крепости. Освобожден по ходатайству М.Горького и А.Коллонтай. Затем работал в Москве. После объявления советскими властями «красного террора» Пинхас Рутенберг бежал в Киев - столицу тогда независимой Украины, затем в Одессе руководил снабжением во французской военной администрации.
В 1919 году Рутенберг покинул Россию уже навсегда. Он уехал в Палестину, где начал электрификацию страны. Помогал В. Жаботинскому создавать так называемую еврейскую самооборону во время арабских беспорядков в Иерусалиме в апреле 1920 года. Тогда же начал борьбу за получение концессии на использование вод рек Иордана и Ярмука для нужд электроснабжения. В этом его поддерживали У. Черчилль и Х. Вейцман. В 1923 году он учредил Палестинскую электрическую компанию и начал строить электростанции в Тель-Авиве, Хайфе, Тверии, Нагараиме. Два года (1929-1931) П.Рутенберг возглавлял еврейскую общину Палестины. Приложил огромные усилия для сглаживания противоречий в отношениях между Бен-Гурионом и Жаботинским. В 1940 году он выступил с публичным обращением «К ишуву», в котором призывал еврейскую общину к национальному единению, выступал против партийной борьбы и требовал равных прав для всех жителей ишува.
В 1942 году Пинхас Рутенберг скончался в больнице Иерусалима. Свое состояние, нажитое в Италии и приумноженное в Эрец-Исраэль, он завещал положить в основу Фонда Рутенберга.