ย้อนหลังไปประมาณ 200 กว่าปีก่อน เมื่อแรกสร้างพระบรมมหาราชวังในสมัยรัชกาลที่ 1 บริเวณวังข้าง ด้านใต้หมดเพียงป้อมอนันตคิรี กำแพงพระราชวังหักตรงไปทางตะวันตกจนถึงป้อมสัตบรรพตในระหว่าง กำแพงพระบรมมหาราชวังกับวัดพระเชตุพนมีบ้านเสนาบดีและวังเจ้า คั่นอยู่หลายบริเวณ
ครั้นเมื่อถึงรัชกาลที่ 2 จึงมีการขยายเขตพระราชวังออกไป ในพระราชวังด้านใต้มีที่ว่าง โปรดฯให้ทำสวนปลูกต้นกุหลาบ สำหรับเก็บดอกใช้ในราชการจึงเกิดมีสวนกุหลาบขึ้นในพระราชวัง ตั้งแต่สมัยรัชกาลที่ 2 เป็นต้นมา และ
ในสมัยรัชกาลที่ 1 โปรดฯให้แบ่งสวนกุหลาบส่วนหนึ่งสร้างพระคลังศุภรัตน ทำเป็นตึกรูปเก๋งจีน แต่พื้นที่นอกจากสร้าง
คลังศุภรัตน ยังคงเป็นสวนกุหลาบต่อมาอย่างเดิม
พระตำหนักสวนกุหลาบ ในปัจจุบัน
ต่อมาในรัชกาลที่ 4เมื่อพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวเจริญพระชันษาถึงเวลาจะเสด็จมาประทับอยู่พระราชวังชั้นนอก แต่พระบรมพระชนกนาถมีพระประสงค์ที่จะให้เสด็จประทับอยู่ในที่ใกล้พระองค์ จึงโปรดฯให้จัดตำหนักพระราชทานเป็นที่ประทับของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว
ที่ในสวนกุหลาบ บริเวณอาคารพระคลังศุภรัตน ซึ่งสร้างไว้ในสมัยรัชกาลที่ 3 และได้เรียกพระตำหนักนี้ว่า พระตำหนักสวนกุหลาบ และหลังจากที่พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว เสด็จเถลิงถวัลยราชสมบัติแล้ว ก็โปรดฯให้กรมหลวงอดิศรอุดมเดช เสด็จไปประทับอยู่ที่พระตำหนักสวนกุหลาบแทน จนออกจากวัง และจากนั้นมาก็ใช้เป็นคลังเก็บของเรื่อยไป
ครั้นเมื่อถึงรัชกาลที่ 2 จึงมีการขยายเขตพระราชวังออกไป ในพระราชวังด้านใต้มีที่ว่าง โปรดฯให้ทำสวนปลูกต้นกุหลาบ สำหรับเก็บดอกใช้ในราชการจึงเกิดมีสวนกุหลาบขึ้นในพระราชวัง ตั้งแต่สมัยรัชกาลที่ 2 เป็นต้นมา และ
ในสมัยรัชกาลที่ 1 โปรดฯให้แบ่งสวนกุหลาบส่วนหนึ่งสร้างพระคลังศุภรัตน ทำเป็นตึกรูปเก๋งจีน แต่พื้นที่นอกจากสร้าง
คลังศุภรัตน ยังคงเป็นสวนกุหลาบต่อมาอย่างเดิม
พระตำหนักสวนกุหลาบ ในปัจจุบัน
ต่อมาในรัชกาลที่ 4เมื่อพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวเจริญพระชันษาถึงเวลาจะเสด็จมาประทับอยู่พระราชวังชั้นนอก แต่พระบรมพระชนกนาถมีพระประสงค์ที่จะให้เสด็จประทับอยู่ในที่ใกล้พระองค์ จึงโปรดฯให้จัดตำหนักพระราชทานเป็นที่ประทับของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว
ที่ในสวนกุหลาบ บริเวณอาคารพระคลังศุภรัตน ซึ่งสร้างไว้ในสมัยรัชกาลที่ 3 และได้เรียกพระตำหนักนี้ว่า พระตำหนักสวนกุหลาบ และหลังจากที่พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว เสด็จเถลิงถวัลยราชสมบัติแล้ว ก็โปรดฯให้กรมหลวงอดิศรอุดมเดช เสด็จไปประทับอยู่ที่พระตำหนักสวนกุหลาบแทน จนออกจากวัง และจากนั้นมาก็ใช้เป็นคลังเก็บของเรื่อยไป