พระบรมรูปทรงม้า ที่ประดิษฐาน ณ พระลานพระราชวังดุสิต นับเป็นอนุสาวรีย์บุคคลแห่งแรกในไทย รวมทั้งเป็นอนุสาวรีย์แห่งแรกที่สร้างขึ้นในขณะที่บุคคลนั้นยังมีชีวิต

ถูกสร้างขึ้นให้มีขนาดใหญ่เป็น 2 เท่าของพระองค์จริง หล่อด้วยโลหะสำริด  ฉลองพระองค์ด้วยเครื่องยศจอมพลทหาร ประดับบนม้าพระที่นั่ง พระหัตถ์ขวาพาดอยู่บนหลังม้า ทรงถือคฑาจอมทัพช้างสามเศียร พระหัตถ์ซ้ายทรงรั้งบังเหียน มีกระบี่ห้อยอยู่ทางด้านซ้าย ในสมัยนั้นนิยมเรียกว่า ตุ๊กตาทองแดง และเมื่อวันที่ 11 พฤศจิกายน พ.ศ. 2451 รัชกาลที่ 5 ทรงเสด็จพระราชดำเนินในพระราชพิธีสมโภชพระบรมราชานุสาวรีย์ เป็นประธานเปิดพระบรมรูปด้วยพระองค์เอง พระบรมรูปทรงม้า ถูกประดิษฐาน ณ ลานพระราชวังดุสิต ตรงตําแหน่งซุ้มประตูที่ทรงตั้งพระทัยไว้

หลังจากวันเปิดพระบรมรูปทรงม้าครบรอบ 1 ปี มีงานสมโภชฉลองอย่างยิ่งใหญ่ ระหว่างวันที่ 15-17 พฤศจิกายน พ.ศ. 2452 และมีความคิดว่าจะให้วันดังกล่าวเป็นวันหยุดนักขัตฤกษ์เป็นประจำต่อเนื่องไปทุกปี เพื่อรำลึกถึงพระมหากรุณาธิคุณของพระองค์

แต่ในปีถัดมา รัชกาลที่ 5 เสด็จสวรรคต  รัชกาลที่ 6 จึงทรงมีพระบรมราชานุญาตให้ประชาชนทั่วไปถวายบังคมพระบรมรูปทรงม้าเพื่อแสดงความจงรักภักดีพระปิยมหาราช ในวันที่ 17 พฤศจิกายน พ.ศ. 2454 ซึ่งตรงกับวันพระราชพิธีฉัตรมงคล และในปีถัดมาจึงทรงเปลี่ยนเป็นวันที่ 23 ตุลาคม วันปิยมหาราช สืบเนื่องมาจนถึงปัจจุบัน