Александр Григорьевич Рубцов родился в селе Вячка Кирсановского района, в семье крестьянина. Получил начальное образование, работал в колхозе. Срочную службу в Рядах Красной Армии прошёл в 1931–1935 годах.
В годы Великой Отечественной войны Александра Григорьевича Рубцова назначили сначала наводчиком, затем командиром расчёта станкового пулемёта пулемётной роты 296-го стрелкового полка (13-я стрелковая дивизия, 59-я армия, 1-й Украинский фронт). В Красную Армию его призвали седьмого марта 1944 года Выборгским райвоенкоматом г. Ленинграда. С этого же времени он на фронте.
Орден Славы третьей степени получил в июне 1944 года. Во время блокады Ленинграда дивизия вела оборону восточного берега Финского залива и прилегающей к заливу линии фронта. В первой половине 1943 года вела бои на Пулковских высотах. В июне 1944 года дивизия, в составе 23-й армии, принимала участие в Выборгской операции.
16 июня 1944 года, в районе населённого пункта Кивеннапа (ныне — посёлок Первомайское Выборгского района Ленинградской области) при отражении контратаки превосходящих сил противника сержант Рубцов огнём из пулемёта уничтожил около 15 вражеских солдат.
Приказом по частям 13-й стрелковой дивизии от 26 июня 1944 года сержант Рубцов награждён орденом Славы третьей степени.
С выходом Финляндии из войны, дивизия занимала позиции на границе. В декабре 1944 года в составе 59-й армии была выведена в резерв, а затем включена в состав 1-го Украинского фронта. В январе 1945 года принимала участие в Всило-Одерской наступательной операции.
21 января 1945 года в бою за населённый пункт Подлипе (22 км восточнее города Домброва-Гурнича, Польша) старший сержант Рубцов огнём из пулемёта уничтожил 11 гитлировцев.
В представлении к награде о подвиге старшего сержанта Рубцова сказано: «Товарищ Рубцов в бою за населённый пункт Домброво — Польша, при атаке на сильно укреплённый узел обороны противника огнём из пулемёта уничтожил 11 солдат противника». За проявленную доблесть и мужество красноармеец награждён орденом Славы второй степени.
За отличие в боях на территории фашистской Германии командир расчёта пулемётной роты 296 стрелкового полка 13 стрелковой дивизии 43 стрелкового корпуса 59 армии старший сержант представлен к ордену Славы первой степени. Этому предшествовало следующее. 27 марта 1945 года Рубцов, при овладении сильно укреплённым узлом обороны противника в районе южнее города Нойштадт (Германия), находился впереди боевых порядков и огнём станкового пулемёта хорошо поддерживал наступление наших стрелковых подразделений.
Противник неоднократно переходил в контратаки с целью вернуть потерянные позиции. Но каждый раз наталкивался на непреодолимую стойкость пулемётного расчёта старшего сержанта Рубцова. В этом бою он с товарищами подавил огневую точку и уничтожил около двух десятков вражеских солдат. Сам был ранен, но с позиции не ушёл до конца боя.
4 апреля 1945 года командир 291 стрелкового полка подполковник Верединский сделал представление о награждении Александра Григорьевича Рубцова орденом Славы первой степени. После прохождения документов через высшие инстанции Президиум Верховного Совета СССР издал Указ о его награждении.
Германия стала для нашего земляка последним этапом его боевого пути. 27 марта 1945 года он был тяжело ранен. Умер от ран 6 апреля 1945 года в госпитале 202-го полевого эвакуационного пункта. Первоначально был похоронен на гарнизонном кладбище в Германии в г. Обер-Глочувск. Перезахоронен в братской могиле № 198 на воинском кладбище в городе Кендзежин-Козле, Опольское воеводство, Польша.
Героические подвиги славного земляка трепетно хранят на его Родине — в селе Вячка. Здесь, в 2011 году, на здании школы установили мемориальную доску с надписью о том, что в селе Вячка родился участник Великой Отечественной войны, полный кавалер ордена Славы Александр Григорьевич Рубцов. Имя героя увековечено и на мемориале воинам-землякам, погибшим в годы Великой Отечественной войны.