高島四郎太夫茂敦は秋帆と号し、家は代々町年寄を務めていました。秋帆は、儒学・書道・絵画などを修め、荻野流砲術を究めた上に蘭学を加え、西洋砲術を学び、砲術の発達と海防の急務を幕府に進言しました。天保１２年（１８４１）には、幕命により武蔵国徳丸原で、野戦砲・銃隊の射撃と部隊の様式調練を実演して周囲を驚かせました。

高島家は、大村町（現在の万才町）に本宅がありましたが、天保９年（１８３８）、市中の大火により類焼したので、ここ小島郷の「雨声楼」とよばれる別邸に移り住みました。建物は原爆で大破して解体され、現在は、石垣・土塀・井戸・砲痕石などが残っています。

高島秋帆の硝煙蔵あるいは倉庫だったと言われています。高島秋帆旧宅が国史跡に指定された、大正１１年（１９２２）に、この石倉はすでに建築されていましたが、いつ建築されたのか正確には特定できていません。現存する長崎市内の倉のなかで石造のものは珍しく、石造倉庫の貴重な遺構です。

高島四郎太夫茂敦（秋帆）は、町年寄高島家の１１代当主です。荻野流砲術を父に学び、鉄砲や砲弾の鋳型をオランダから輸入し、西洋式砲術を研究しました。
また、「天保上書」を幕府に上申し、海防等の備えを西洋の軍事技術の導入を説きました。
そして武蔵国徳丸原（現在の東京都板橋区高島平）での西洋式訓練を実施するなど功績を挙げましたが、天保１３年（１８４２）に無実の罪で１２年間捕えられました。
その後は後進の指導にあたり、江戸で没しました。

墓も当地にありますが、寺町の高島家墓地（市指定史跡）にも、秋帆と家族の墓碑が門人によって建てられています。

江戸時代に編集された「長崎名勝図絵」には、長崎六要路の一つに「茂木口」の名をあげ、次のように説明している。
「茂木道は長崎の町の南の入口にあたり田上峠、転石、北浦をへて茂木の港につく、この港より船に乗り南は薩摩、東は天草、西は島原と四方に達す。この故に茂木の浦を四岐の洋（しきのなだ）と名ずく。」茂木街道は、その途中に旻徳坂（びんとこざか）、観音寺、去来ゆかりの地、田上寺（でんじょうじ）、石の御前など名勝旧跡の多い街道である。

大浦慶（１８２８～８４）は、油屋町の老舗の油商大浦家に生まれたが、若い頃から油には見切りをつけ、茶貿易に着目していた。安政３年（１８５６）、イギリス商人オルトとの間で、１万斤（６トン）の貿易に成功、以後、日本茶を海外に輸出して莫大な利益を得たという。明治４年（１８７１）、元熊本藩士遠山一也がオルト商会との間で行った煙草の取引の連帯保証人となり、ついに破産に追い込まれた。晩年は不遇であったが、明治１７年（１８８４）、農商務卿西郷従道より製茶貿易の功労を賞され、褒賞状と功労金２０円を下賜されている。同宅の敷地は４２６坪、庭は長崎を代表する平庭といわれた。

大浦けいはこの地に生まれ、幕末の志士たちを大いに助けます。坂本龍馬ら海援隊に資金援助をしたり、その広大な屋敷を志士たちの隠れ家として使わせたりしたと言われています。

土佐藩の貿易関係の役所で、開成館貨殖局と呼ばれ、その長崎出張所は、慶応３年（１８６７）２月頃、西浜町（現在の浜町）に開設された。最初は、後藤象二郎が、後には岩崎弥太郎が主任となり、辣腕を振るった。同出張所の目的は、大砲や弾薬、さらには艦船等を調達することであったが、そのための資金は、土佐の樟脳や鰹節などを売却、捻出した。また、坂本龍馬率いる海援隊には、隊員それぞれに月々金５両を支給するなど、その運用資金なども調達した。このように、海援隊は土佐藩の保護のもとにあったので、海援隊旗は土佐藩旗と同様に、「赤白赤」の二曳（にびき）と呼ばれるものであった。明治２年（１８６９）正月、弥太郎は大阪商会（旧開成館大阪出張所）に転出。以後、大阪で活躍したが、長崎での経験が以後の九十九商会、三菱商会（現在の三菱グループ）へと発展する大きな原動力となった。

１８６３年にイギリスで建造された鉄製の蒸気船（およそ６００ｔ）で、「Shooeyleen」（朱林）と呼ばれていたが、慶応３年（１８６７）イギリス商人オルトから購入した土佐藩は「夕顔」と命名して運用した。夕顔丸というのは通称である。同年６月、この船で長崎から上方へ向かった坂本龍馬は、航行中、後藤象二郎や海援隊士とともに、今後の日本の方針を示す「船中八策」を考案したとされ、こうした意味でも幕末維新史の重要な舞台となった。このモニュメントは、夢と志の帆を揚げ、長崎港を出航する夕顔丸の姿を表現している。この作品が多くの方々に、いかなる逆境においても志を持って臨む勇気を与え、龍馬とともに、この長崎の地で末永く愛される作品となることを願う。