ในปี พ.ศ. 2398 (จ.ศ. 1217) ซึ่งเป็นปีที่ 5 แห่งการขึ้นครองราชย์สมบัติของพระบาท สมเด็จพระเจ้าอยู่หัว รัชการที่ 4 แห่งรัตนโกสินทร์ ทรงมีพระบรมราชโองการให้ตั้งเกาะกง ซึ่งเป็นส่วนหนึ่งของเมืองตราดมาก่อน ขึ้นเป็นเมืองใหม่ ปรากฏในหมายรับสั่งวันอังคาร เดือน 8 ขึ้น 13 ค่ำ ปีเถาะ สัปตศก ดังนี้

         เมืองปัจจันตคีรีเขตร ซึ่งในเอกสารไทยต่อมาเรียกเพี้ยนไปเป็นเมืองประจันตคีรีเขตร์ หรือประจันภคิรียเขตรบ้างแล้วแต่กรณี เป็นเมืองที่ตั้งขึ้นเพื่อเป็นเมืองคู่กับเมืองประจวบคีรีขันธ์อยู่ในแนวเส้นรุ้ง (Latitude) เดียวกัน พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว ทรงศึกษาวิทยาการด้านดาราศาสตร์ จนถึงทรงสามารถคำนวณสุริยคราสเต็มดวงได้แม่นยำ ในการนี้ทรงตระหนักถึงความสำคัญทางยุทธศาสตร์แห่งการป้องกันอ่าวสยามเป็นอย่างดี เมืองปัจจันตคีรีเขตรจึงได้ปรับปรุงจากทางการไทย ให้เป็น “สเตชั่นทหารเรือ” ต่อมา

         จากนั้นได้เกิดกรณีขัดแย้งกับฝรั่งเศสเมื่อ ร.ศ. 112 ฝรั่งเศสเข้ายึดเมืองจันทบุรี ตั้งแต่ 19 สิงหาคม พ.ศ. 2436 เพื่อบีบคั้นเอาผลประโยชน์จากไทยให้มากที่สุด การเจรจาเพื่อขอคืนเมืองจันทบุรียืดเยื้อมาถึงกลางเดือนกันยายน พ.ศ. 2445 ฝรั่งเศสยื่นเงื่อนไข ขอดินแดนชายทะเลของไทย ตั้งแต่ ตราด เกาะช้าง เกาะกง พระตะบอง และเสียมราฐ ฝ่ายไทยปฏิเสธ ฝรั่งเศสจึงยื่นเงื่อนไขใหม่ โดยขอตราดกับเกาะกง แทนจันทบุรีในที่สุดไทยต้องยอมยกเมืองตราดและปัจจันตคิรีเขตรให้แก่ฝรั่งเศส ทหารฝรั่งเศสจึงถอนออกจากเมืองจันทบุรี ฝรั่งเศสรู้ว่าไทยเดือดร้อนใจเรื่องเมืองตราด ในขณะที่ฝรั่งเศสก็ไม่ค่อยพอใจที่จะรับตราดไว้ เพราะไม่คุ้มกับรายจ่ายและการลงทุนของฝรั่งเศส ฝรั่งเศสจึงดำริที่จะขอแลกเมืองตราดกับมณฑลบูรพาของไทย จึงได้มีการทำสนธิสัญญาต่อกัน โดยรัฐบาลสยามยอมยกดินแดนเมืองพระตะบอง เสียมราฐ และศรีโสภณ ให้แก่กรุงฝรั่งเศส รัฐบาลฝรั่งเศสยอมยกดินแดนเมืองด่านซ้าย เมืองตราดกับเกาะทั้งหลาย ภายใต้แหลมลิงไปถึงเกาะกูดให้แก่กรุงสยาม จะเห็นได้ว่าการคืน เมืองตราดครั้งนี้ ฝรั่งเศสไม่ได้ยกเมืองประจันตคีรีเขตรที่ได้ไป พร้อมเมืองตราดคืนให้ด้วย เมือง ประจันตคีรีเขตรหรือเกาะกง จึงไม่ได้กลับคืนสู่ประเทศไทยนับตั้งแต่นั้นเป็นต้นมา