これは、麻布には木が多かったため深川あたりの 下町の「江戸っ子」にすれば、麻布はひどい田舎に思え江戸と呼ぶにはふさわしくない。と言うような意味から、酔狂な人に多少の軽蔑を込めた言葉として「気の知れぬ人」「訳のわからぬ人」「ポ－っとしている人」などに使われたものだと言われています。
しかし調べてみると語源は二世市川団十郎の句に
白菊か夜は麻布の黄が知れぬ
とあり、これは馬場文耕の「愚痴拾遣物語」で、
堺町の花屋、六兵衛と言う者が得意先から「黄菊」を仰せつかり、夜中に遠く麻布の菊畑まで行って菊を刈って帰り、翌朝見てみたら皆「白菊」だった。再び麻布に行く時間も無く、これでは得意先の注文に答えられないと途方に暮れ知り合いの市川団十郎に打ち明けると（当時堺町辺は、劇場街だった。）、団十郎は筆をとって紙に、
先師の句に、
真白に夜は黄菊の老いにけり
かくあれば、黄菊を白とも、白を黄菊ともまちがいたるは、
この人の罪にあらず。
白菊か夜は麻布の黄が知れぬ
としたためて、花屋に与えました。この句が吉原で流行り、やがて江戸中で言われるようになったといわれています。
また麻布村はかなり広大な地域にまたがっていたため、目（黒）、（白）金、（赤）坂、（青）山はあるが（黄）が無いので「黄が知れぬ」とも言われました。
これは、江戸の頃に五色不動参りが流行っていたころの話だといわれます。
またこの句の類似というかアレンジものとして、
一本は松だが6本きが知れず
から木だか知れず麻布の六本木
火事は麻布で木が知れぬ
ねっから麻布で気が知れぬ
火事は麻布で火が知れぬ
なんてのもあります。
DEEP AZABU 麻布の俳句・川柳・狂歌