山田顕義は、1844年（弘化元年）、長州藩の城下町萩（現・山口県萩市）で誕生、幼名は市之允と称しました。14歳で吉田松陰の松下村塾に入門し、高杉晋作・久坂玄瑞・伊藤博文など、幕末から明治期にかけて活躍した人物らと共に研鑽を積みました。

青年期を迎えた山田顕義は、大村益次郎から洋式兵学を学びました。幕末に戦闘が絶え間なく続いた長州藩において、蛤御門の戦い、幕長戦争などで指揮官の能力を発揮した顕義は、新政府軍の参謀として戊辰戦争で大きな功績を挙げました。

大村益次郎の遺志を継いで日本近代陸軍の創設に尽力した山田顕義は、明治４年（1871年）に岩倉米欧使節団の一員として欧米諸国を歴訪します。海外の先進技術や文化を目の当たりにした顕義の欧米体験は、その後の人生を大きく変えることとなります。

欧米列強との条約改正交渉を進めるためにも、近代法整備事業は明治政府の急務でした。明治７年（1874年）に司法省に出仕した山田顕義は、こののち、各種法典の編纂事業に尽力し、明治18年（1885）には、日本で最初の司法大臣に就任しました。

大日本帝国憲法が整備された明治22年（1889年）、欧米諸国の法律だけではなく、日本の法律を教授する学校の必要性が高まりました。山田顕義は、宮崎道三郎や金子堅太郎らとともに日本法律学校創立に深く携わることになります。