他是佐贺藩足轻百武庭蔵第六子，三哥是海军大将，昭和天皇的侍从长百武三郎。
五哥是海军大将，1945年九州帝国大学校长百武源吾。
百武晴吉1909年毕业于日本陆军士官学校21期步兵科，同学中最出名的就是石原莞尔。
后来，百武晴吉特地前往波兰接受了无线电密码分析训练。
1921年毕业于陆军大学33期，192
4年晋升少佐，1927-1929年任陆军参谋部情报处密码科科长。1931-1932年任侵华日军关东军司令部哈尔滨中佐特务机关长。
在九一八事变之后，百武晴吉等人于9月21日策划制造了爆炸事件，混淆舆论，并4次急电请求关东军派兵保护日本侨民。
1935年任驻朝鲜龙山的第二十师团属下步兵第78联队大佐联队长。
1936年4月任广岛幼年军校校长，1937年3月晋升陆军少将，8月任陆军通信学校校长。
1939年3月晋升为中将并任独立混成第四旅团长。