Эта награда имеет форму правильного круга. На её лицевой стороне изображена фигура вооружённого автоматом солдата, стоящего на страже у пограничного столба, на заднем плане — горы. На оборотной стороне — надпись рельефными буквами «За отличие в охране государственной границы СССР».

Первое награждение медалью «За отличие в охране государственной границы СССР» состоялось 22 августа 1950 года. Первыми награжденными медалью стали старший лейтенант Игнатьев Д.В., старшина Гордеев Г.А., колхозник Агейченко В.И. Вручение медалей отличившимся пограничникам состоялось в конце ноября 1950 года в Москве. В столицу нашей родины прибыли несколько десятков пограничников, которые получили награду от заместителя министра государственной безопасности СССР. Примечательно, что среди первых награжденных был простой колхозник Агейченко. Он был награжден за задержание вооруженного нарушителя границы, который пытался переплыть границу с сопредельной территории на лодке.

Медалью могли награждать повторно, за новые подвиги и отличия. Несколько пограничников стали троекратными кавалерами медали. Первым пограничником, трижды отмеченным медалью «За отличие в охране государственной границы СССР» стал офицер 2-го отделения штаба Хичаурского погранотряда КГБ СССР Грузинского пограничного округа полковник Коровко П.С. (1952, 1952, 1955).

До распада Советского Союза в 1991 году награждение медалью производилось от имени Президиума Верховного Совета СССР Председателем КГБ СССР.

Как награда СССР, медаль просуществовала до момента распада Советского Союза в 1991 году. Однако, в 1992 году медаль была возрождена как награда РСФСР. У российских медалей надпись «СССР» на реверсе отсутствовала. Всего подобной медалью совершено 408 награждений, в том числе одно посмертное награждение.

Очередной этап в истории награды — учреждение ее в системе государственных наград Российской Федерации 2 марта 1994 года. В числе первых в Российской Федерации был награжден капитан Владимир Андреев, офицер Группы пограничных войск ФПС России в Республике Таджикистан. Он получил ее за храбрость и самоотверженность, проявленные в боевых действиях при задержании нарушителей государственной границы.