肥前国佐賀郡八戸村(現在の
佐賀県佐賀市鍋島町)に
佐賀藩士の江藤胤光・浅子の長男として生まれる。江藤家は肥前
小城郡晴気保の
地頭・
千葉常胤の末裔を称する。父は「
手明鑓」という身分の下級武士であったとされる。
嘉永元年(
1848年)に藩校の
弘道館へ入学し内生(初等中等)課程は成績優秀で学費の一部を官給されたが、父が職務怠慢の咎により郡目付役を解職永
蟄居の処分となったため生活は困窮し外生課程に進学せずに弘道館教授で
儒学・
国学者であった
枝吉神陽の私塾に学び、
神道や尊皇思想に影響される。このころ新平は窮乏生活を強がって、「人智は空腹よりいずる」を口癖にしたという。
文久2年(
1862年)に脱藩し
京都で活動し、
長州藩士の
桂小五郎(木戸孝允)や公家の
姉小路公知らと接触する。2ヶ月ほどで帰郷し通常脱藩は死罪であったが、新平の見識を高く評価した藩主・
鍋島直正の直截裁断により永蟄居(無期謹慎)に罪を軽減されたとされる。蟄居後は寺子屋師匠などを務め、同士との密かな交流や幕府による長州征伐(
幕長戦争)での出兵問題では藩主・直正への献言を行うなど政治的活動は続けている。