井上源三郎とは、天然理心流の三代目宗家・近藤周助に入門し新撰組・副長である土方歳三と稽古に励み、新撰組・長であった近藤勇とも兄弟子の関係であったため仲が良く、親交を深めていったと言われている。そして13年後の1860年に「免許皆伝」となる。池田屋事件で土方隊の支隊指導を直々に担当し活躍をみせる。このとき、井上源三郎は副長助勤に昇格している。「鳥羽・伏見の戦い」が勃発すると新撰組は一旦、淀まで引き返すも淀千両松の戦いが起こり敵の銃弾を腹部に浴び戦死することとなる。40歳での死去となった。甥の井上泰助は、井上源三郎の首を持ち帰ろうとしたがあまりに重かったため仲間の意見を承諾し、近くの寺に「首と刀」を埋蔵したという話がある。しかし、その寺は現在では消息不明となっていて、推測としては埋葬した寺が廃寺であったと考えられている。また、井上源三郎の墓は日野市の宝泉寺にしっかり建てられている。