วังสวนบ้านแก้ว เป็นสถานที่ซึ่งคนจันทบุรี รำลึกนึกถึงด้วยความรู้สึกอบอุ่นผูกพันลึกซึ้ง ด้วยครั้งหนึ่งเคยเป็นที่ประทับของ สมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินีในพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัวรัชกาลที่ 7 เป็นเวลาอันยาวนานถึง 18 ปี

สมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินีในพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัวรัชกาลที่ 7 ได้เสด็จนิวัติประเทศไทยเมื่อวันที่ 24 พฤษภาคม พ.ศ.2492 และได้เสด็จพระราชดำเนินมาประทับ ณ พระตำหนักของสมเด็จพระมหิตลาธิเบศอดุลยเดช วิกรมพระบรมราชชนก ณ วังสระปทุม เนื่องจากรัฐบาลยังมิได้ถวายวังศุโขทัยคืน ต่อมาทรงมีพระราชดำริที่จะประทับในท้องถิ่นที่เงียบสงบ อากาศดี และสามารถปลูกต้นไม้ได้ พลตรีหม่อมทวีวงศ์ถวัลยศักดิ์ ราชเลขาธิการสำนักพระราชวังในสมัยนั้น ได้ถวายคำแนะนำให้ทรงเลือกเชียงใหม่ หรือจันทบุรี พระองค์ได้เสด็จพระราชดำเนินไปทอดพระเนตรพื้นที่ในจังหวัดเชียงใหม่และจันทบุรี ทรงเห็นว่าเชียงใหม่ไกลกรุงเทพฯมาก หากมีพระราชภารกิจที่กรุงเทพฯ จะเสด็จพระราชดำเนินไม่สะดวก พระองค์ทรงสนพระราชหฤทัยจังหวัดจันทบุรี เพราะทรงพบที่ดินบริเวณสวนบ้านแก้ว ตำบลท่าช้าง อำเภอเมือง จังหวัดจันทบุรี ซึ่งเป็นสถานที่มีธรรมชาติงดงามและมีความเงียบสงบ เป็นที่ต้องพระราชอัธยาศัยของพระองค์ อีกทั้งไม่ห่างไกลจากตัวเมืองมากนัก

สมเด็จพระนางเจ้ารำไพพรรณี ทรงกู้เงินจากธนาคารไปจัดซื้อที่ดินบริเวณสองฝั่งคลองบ้านแก้วจากเจ้าของที่ดินเดิมหลายรายรวมพื้นที่ 687 ไร่ และพระราชทานชื่อว่า "สวนบ้านแก้ว" โดยมีพระราชประสงค์ให้สวนบ้านแก้ว เป็นสถานที่ปลูกพืชและเลี้ยงสัตว์ เพื่อเป็นตัวอย่างแก่พสกนิกร นอกจากนี้ยังได้ทรงพัฒนาการทอเสื่อจันทบูร อันเป็นหัตถกรรมพื้นบ้านของชาวจันทบุรีให้เจริญก้าวหน้ากว่าเดิม

พระองค์ได้เสด็จพระราชดำเนินพร้อมด้วยข้าราชบริพารมาประทับครั้งแรก โดยสร้างอาคารชั่วคราวเป็นเรือนไม้ไผ่หลังคามุงจาก เมื่อวันที่ 20 มิถุนายน พ.ศ.2493 ซึ่งในขณะนั้นยังไม่มีไฟฟ้าและน้ำประปา พระองค์ประทับเรือนไม้ไผ่ประมาณ 3 ปี จึงได้โปรดเกล้าฯ ให้สร้างเรือนไม้หลังเล็กๆ 2 หลัง เรียกว่า เรือนเทา เรือนแดง และสร้างเรือนแบบบังกะโล 1 หลัง พระองค์ประทับเรือนเทา ส่วนเรือนแดงสำหรับข้าราชบริพาร เรือนเขียวสำหรับราชเลขานุการในพระองค์และพระราชอาคันตุกะ

ต่อมาอีก 2 ปี พระองค์โปรดเกล้าฯ ให้สร้างพระตำหนักใหญ่(ตำหนักเทา)  สมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินีในพระเจ้าอยู่หัวรัชกาลที่ 7 ทรงมีพระมหากรุณาธิคุณต่อพสกนิกรจังหวัดจันทบุรีรวมทั้งมหาวิทยาลัยราชภัฎรำไพพรรณี ประการสำคัญ คือ พระราชทานวังสวนบ้านแก้ว แก่รัฐบาลเพื่อจัดตั้งเป็นสถานศึกษา(วิทยาลัยครูจันทบุรี) โดยเริ่มทำการสอนเมื่อ 8 มิถุนายน พ.ศ.2515 ต่อมา พระบาทสมเด็จพระปรมินทรมหาภูมิพลอดุลยเดช  พระราชทานนามให้กับวิทยาลัยครูทั่วประเทศ คือ "สถาบันราชภัฏ" วิทยาลัยรำไพพรรณีจึงได้เปลี่ยนใช้นามใหม่ว่า "สถาบันราชภัฏรำไพพรรณี" ปัจจุบัน คือ "มหาวิทยาลัยราชภัฏรำไพพรรณี"