Род. в семье военного фельдшера. С 9-летнего возраста в течение 16 лет пел в с.-петербургской синагоге. В 1894 г. поступил в С.-Петербургскую консерваторию в класс пения проф. С. И. Габеля. В 90-х гг. увлекся правосл. церковным пением. Вместе с другом, воспитанником Придворной певческой капеллы и буд. регентом народного хора при Троицкой ц. в С.-Петербурге И. А. Смолиным, начал знакомиться с певч. лит-рой, затем перешел к серьезному изучению правосл. богослужебного пения под наблюдением Ю. К. Арнольда. Г. принимал участие в службах консерваторского церковного хора в качестве регента-репетитора, в эти же годы стал регентом хора в Александровской общине сестер милосердия Красного Креста. По окончании консерватории в 1901 г. по классу пения (посещал также занятия класса теории композиции проф. Н. Ф. Соловьёва) Г. пел 2 года в одном из частных оперных театров С.-Петербурга, но главным в карьере певца стало участие в вокальных квартетах, смешанном (1901-1910) и мужском (1902-1914), причем последним он сам руководил. Г. часто совершал гастрольные поездки по городам России, участвовал в различных концертах в столице, приглашался на записи компанией «Граммофон».
Из церковных песнопений Г. опубликовал с июля 1901 (дата выхода 1-го песнопения «Верую») по нояб. 1913 г. (дата выхода последнего песнопения «Да исправится молитва моя» № 2) Литургию свт. Иоанна Златоуста (заупокойную) и 53 духовно-муз. сочинения. Являясь сотрудником ж. «Музыка и пение», Г. занимался подготовкой и изданием наследия композиторов кон. XVIII - 1-й пол. XIX в. и найденных им, в частности в сев. мон-рях, новых материалов. Под ред. Г. опубликованы произведения А. Л. Веделя, С. А. Дегтярёва, Дж. Сарти, прот. Петра Турчанинова, архим. Феофана (Александрова), свящ. Василия Старорусского, А. П. Есаулова, П. J. Кочановского и нек-рых др.
В 1907 г. Г. выступил с проектом по увековечению памяти Д. С. Бортнянского, прот. П. Турчанинова и А. Ф. Львова, войдя в состав Временного комитета в качестве секретаря. Г. писал статьи на совр. темы и из истории церковнопевч. искусства, публиковавшиеся в ж. «Музыка и пение» под псевдонимами М. Г., Музыкант и Magon, в 1907-1914 гг. был редактором этого издания. Как регент Г. приобрел достаточную известность благодаря 15-летней работе в Александровской общине Красного Креста и выступлениям на концертной эстраде с хором В. В. Певцовой и Сампсониевским народным хором. 14 и 15 мая 1911 г. Г. вместе с А. А. Архангельским, И. Я. Тёрновым, М. Ф. Гривским (впосл. священник) и И. И. Тульчиевым участвовал (как регент и певец) в 2 концертах на первом народном певч. празднике в Пскове.
Творчество Г. часто получало противоречивые оценки современников. Если в провинции его сочинения принимали, то в столицах на них появлялись резко отрицательные отзывы см.: На суд общества // ХРД. 1910. № 4. С. 81-83). Д. С. Семёнов, один из знатоков правосл. церковного пения, писал, что «беспристрастный наблюдатель, видевший в духовно-музыкальных сочинениях прежде всего не музыку, а средство для возбуждения религиозно-молитвенного чувства, отнес бы сочинения Гольтисона к школе А. Архангельского, к подражанию его «Милость мира» и причастным». Обращения к народному стилю, по мнению Семёнова, выглядели у Г. как псевдонародные, искусственные («Воскресение Христово видевше») в сравнении с «простыми хорами его херувимских, «Ныне отпущаеши» и др.». При этом он отмечал, что сочинения Г. были популярны в столичных, мн. архиерейских, городских и сельских хорах.
Арх.: РГИА С.-Петербурга. Ф. 361. Оп. 1. № 999 [личн. дело по С.-Петерб. консерватории].
Муз. соч.: Изд. автора (для смеш. и однородн. хора): «Верую», «Богородице Дево», «Ныне отпущаеши». 1901; «Воскресение Христово видевше», «Уст Твоих», «Слава… Единородный», Блаженны, «Приидите, поклонимся», «Святый Боже», «Благословен грядый», «Видехом», «Да исполнятся», «Буди имя Господне» (№ 3-7 болгарского распева), «Апостоле Христу Богу», «Возлег на перси Учителя Христа», «Кто ны разлучит» (монастырского напева), Херувимская № 2, Херувимская № 3, «Хвалите имя Господне» № 2, «Ныне отпущаеши» № 3, «Взбранной Воеводе», «Тебе поем», «Многая лета», «Да возрадуется душа», «Объятия Отча» (дьячковского напева), «Ныне вся исполнишася света», «Душе моя», «За любовь Господню», «Правило веры», «Христу нас ради». 1907-1912; изд. П. Юргенсона (для смеш. хора): «Ныне отпущаеши» № 1, «Богородице Дево», «Верую», «Доколе, Господи», «Молитву пролию», Херувимская № 1, «Ныне отпущаеши» № 2, «Радуйся, Богослове», «Приидите, поклонимся», «Господи, спаси благочестивыя… Святый Боже»; Литургия св. Иоанна Златоуста (заупокойная) для муж. хора. 1902-1905; изд. ж. «Нар. образование» (для смеш. хора): «Да исправится молитва моя» (№ 17), «Хвалите имя Господне» (№ 18). 1903; изд. ж. «Музыка и пение»: «Достойно есть» (на заупокойной литургии для смеш. хора). 1906; «Отца и Сына» (для муж. хора). 1910; изд. Н. Иванова (для смеш. хора): «Господи, спаси… Святый Боже» № 3, «Хвалите имя Господне» № 4. 1913; изд-во «Аккорд» (для смеш. хора): «Вкусите и видите» № 1, «Благослови, душе моя, Господа» № 1 (на всенощной), Херувимская № 4, «Милость мира» № 1 (знаменного распева), «Взбранной Воеводе» № 2, «Хвалите имя Господне» № 3, Блаженны № 2, «Достойно есть» № 2, «С нами Бог», «Благий рабе верный» (дьячковского напева), Многолетие № 2, «Да исправится молитва моя» № 2. 1913.