Александр Григорьевич Рубцов родился в 1910 году в селе Вячка Кирсановского района, в семье крестьянина. Получил начальное образование, работал в колхозе. Срочную службу в рядах Красной армии прошёл в 1931–1935 годах. После армии переехал в Ленинград.
В годы Великой Отечественной войны Александра Рубцова назначили сначала наводчиком, затем командиром расчёта станкового пулемёта пулемётной роты 296-го стрелкового полка (13-я стрелковая дивизия, 59-я армия, 1-й Украинский фронт). В Красную армию он призван 7 марта 1944 года Выборгским райвоенкоматом Ленинграда. С этого же времени он на фронте.
Во время блокады Ленинграда дивизия, где воевал Рубцов, вела оборону восточного берега Финского залива и прилегающей к заливу линии фронта. В первой половине 1943 года вела бои на Пулковских высотах. В июне 1944 года дивизия в составе 23-й армии принимала участие в Выборгской операции.
16 июня 1944 года в районе населённого пункта Кивеннапа (ныне посёлок Первомайское Выборгского района Ленинградской области) при отражении контратаки превосходящих сил противника сержант Рубцов огнём из пулемёта уничтожил около 15 вражеских солдат.
Приказом по частям 13-й стрелковой дивизии от 26 июня 1944 года сержант Рубцов награждён орденом Славы III степени.
С выходом Финляндии из войны, дивизия занимала позиции на границе. В декабре 1944 года в составе 59-й армии дивизия выведена в резерв, а затем включена в состав 1-го Украинского фронта. В январе 1945 года она принимала участие в Висло-Одерской наступательной операции.
21 января 1945 года в бою за населённый пункт Подлипе (22 км восточнее города Домброва-Гурнича, Польша) старший сержант Рубцов огнём из пулемёта уничтожил 11 гитлировцев.
В представлении к награде о подвиге старшего сержанта Рубцова сказано: «Товарищ Рубцов в бою за населённый пункт Домброво — Польша, при атаке на сильно укреплённый узел обороны противника огнём из пулемёта уничтожил 11 солдат противника».
За проявленную доблесть и мужество красноармеец награждён орденом Славы II степени.
За отличие в боях на территории фашистской Германии командир расчёта пулемётной роты 296 стрелкового полка 13 стрелковой дивизии 43 стрелкового корпуса 59 армии старший сержант представлен к ордену Славы I степени. Этому предшествовало следующее.
27 марта 1945 года Рубцов, при овладении сильно укреплённым узлом обороны противника в районе южнее города Нойштадт (Германия), находился впереди боевых порядков и огнём станкового пулемёта хорошо поддерживал наступление наших стрелковых подразделений.
Противник неоднократно переходил в контратаки с целью вернуть потерянные позиции. Но каждый раз наталкивался на непреодолимую стойкость пулемётного расчёта старшего сержанта Рубцова. В этом бою он с товарищами подавил огневую точку и уничтожил около двух десятков вражеских солдат. Сам был ранен, но с позиции не ушёл до конца боя.
4 апреля 1945 года командир 291 стрелкового полка подполковник Верединский сделал представление о награждении Александра Григорьевича Рубцова орденом Славы I степени. После прохождения документов через высшие инстанции Президиум Верховного Совета СССР издал Указ о его награждении посмертно.
Германия стала последним этапом боевого пути Александра Рубцова. 27 марта 1945 года он получил тяжелое ранение, а 6 апреля умер от ран в госпитале 202-го полевого эвакуационного пункта.
Первоначально Александра Григорьевича Рубцова похоронили на гарнизонном кладбище в Германии в городе Обер-Глочувск. Позже его перезахоронили в братскую могилу № 198 на воинском кладбище в городе Кендзежин-Козле, Опольское воеводство, Польша.
Героические подвиги славного земляка трепетно хранят на его Родине — в селе Вячка. Здесь в 2011 году на здании школы установили мемориальную доску с надписью о том, что в селе Вячка родился участник Великой Отечественной войны, полный кавалер ордена Славы Александр Григорьевич Рубцов. Имя героя увековечено и на мемориале воинам-землякам, погибшим в годы Великой Отечественной войны.