Herman Foss var elsket av sin samtid som militærreformator, oversetter og stortingspolitiker. Han var det nasjonale landvernets far og den første politiker som krevde eget norsk flagg.
Allerede i Foss' barndomsår i Bergen følte han etter eget utsagn “en uimodstaaelig Lyst” til militærfaget. Da Danmark-Norge kom i krig med Storbritannia 1807, trasset han seg til å søke krigeryrket og drog til hovedstaden København. 1809 fikk han ansettelse som sekondløytnant ved artilleribrigaden med rett til å følge forelesninger. Etter artilleristeksamen 1811 ble han 1813 stasjonert i Bergen som premierløytnant ved den norske artilleribrigade og lærer ved realskolen. 1826 ble han stabskaptein i Moss, avanserte 1830 til batterisjef i Christiania, ble 1843 major og senere samme år oberstløytnant og bataljonsjef.
Før Foss forlot Bergen, ble han valgt til byens representant på Stortinget 1827 og møtte også på det overordentlige Storting 1828. 1830 ble han innvalgt for Moss, og deretter var han stortingsmann for Christiania på samtlige Storting 1833–45. 1839 og 1842 var han formann i konstitusjonskomiteen, og han tjenestegjorde som president/visepresident i Odelstinget under alle stortingssamlinger i årene 1833–42. Han var medlem av en rekke offentlige kommisjoner, hvorav de viktigste var kommisjonen angående rikets undervisningsvesen (1839) og den norsk-svenske unionskomité (1841–44). 1845–48 var han statsråd i Marinedepartementet. Han gjorde seg også sterkt gjeldende som kommunepolitiker i Christiania, bl.a. som byens ordfører 1838, 1840 og 1841.
Foss var statsrevisor 1839–45 og fra 1840 stortingsarkivar. Som stortingsarkivar utgav han stortingsforhandlingene for 1839 (sammen med P. Holst) og 1842 (sammen med L. K. Daa). Hans publisistiske virksomhet for øvrig kan deles i tre deler:
For det første deltok han i 1814-generasjonens kulturhistoriske opplysningsarbeid. 1817–21 var han medutgiver av og bidragsyter i Den norske Tilskuer. 1824 gav han ut byhistorien Bergens Beskrivelse sammen med Lyder Sagen. 1826 gjendiktet han Tegnérs Frithjofs Saga, som fikk en veldig gjennomslagskraft både i Skandinavia og i de tysktalende deler av Europa. I Norge ble diktverket i Foss' penn utgitt hele fem ganger frem til 1860. Allerede hans første biograf (1844) konstaterte at Foss' gjendiktning av Frithjofs saga var så velkjent at “der neppe findes nogen, for hvem Literaturen ei er ganske fremmed, uden at han har læst den og er bleven henreven”. Han oversatte også flere bøker av Walter Scott (bl.a. om Napoleon). Som “litterær direktør” i Det Kongelige Selskab for Norges Vel 1832–34 var han redaktør for selskapets blad Budstikken.
For det annet bidrog Foss i rikt monn i tidens kulturelle og poetisk-estetiske stridigheter mellom Wergeland og Welhaven. Under forfølgelsene mot Welhavens Norges Dæmring gikk han inn i striden på sitt bysbarns side med det store diktet Tidsnornerne, bestående av om lag 150 strofer av vekslende kvalitet, med oppfordring til kompromiss mellom de stridende parter. En tilsvarende mellomstilling inntok han under det såkalte “Campbellerslaget” (1838), ved å forsvare Wergelands rett til å få sitt stykke oppført.
For det tredje var Foss spesialist på det prøyssiske militærvesenet, og 1832 utgav han på norsk en tysk avhandling Om staaende Hære og Landværn. Hans særlige interesse som publisist, offiser og politiker var militærspørsmålet og da først og fremst det nasjonale forsvarsspørsmålet.
Som en av Stortingets ledende opposisjonspolitikere var han ustanselig opptatt av å avgrense kongens og Sveriges makt i og over Norge. Denne grunnleggende holdningen ble kombinert med en liberal fremskrittstro. Som stortingspolitiker spredte han sin interesse til alle politikkens områder. Men forsvarsspørsmålet var hans hjertebarn, og det var på det militære området han oppnådde mest og høstet sine største skuffelser. 1827 foreslo Foss at hæren måtte styrkes ved at det såkalte landvernet ble oppsatt på samme måte som den såkalte linjen. Det sistnevnte oppbudet av hæren kunne, i henhold til Grunnloven, trekkes ut av landet og delta i fellesforsvaret av den norsk-svenske union. Det bakre oppbudet, landvernet, kunne ifølge Grunnloven aldri trekkes ut av riket, men denne delen av hæren var ikke organisert etter hærordningen av 1817. Under henvisning til at Norge måtte ha sin egen krigsmakt, reservert for forsvaret av eget territorium, oppnådde Foss at Stortinget satte ned en ekspertkommisjon, som 1830 la frem forslag om et fast organisert landvern. Landvernet ble organisert 1837, men det ble ikke et effektivt militært oppbud før Sverdrups militærreformer 1885–87.
Foss deltok også i utarbeidelsen av landets første nasjonale sjøforsvarsplan 1836. Da han ble utnevnt til marineminister 1845, var bakgrunnen en kraftig budsjettoverskridelse ved marinens hovedbase i Horten, en hovedbase som Sverige hadde diktert byggingen av etter unionsinngåelsen 1814. Marineministeren, H. C. Petersen, ble forflyttet til et annet departement etter krav fra Stortinget, og ble erstattet av hovedtalsmannen for kritikerne, Herman Foss. Foss var dermed den første statsråd som ble hentet til regjeringskontorene direkte fra Stortinget.
Heller ikke Foss greide å bringe marinens budsjett under kontroll. Som statsråd fikk han imidlertid gjennomført faglige og administrative reformer i departementet som styrket marinens ledelse og ble en forberedelse til en mer profesjonalisert statsadministrasjon. Regjeringskrisen som brakte ham til Kongens bord, var en forsmak på stortingsstyret fra 1880-årene.
Foss er blitt kalt Norges første skolepolitiker. Han gikk til felts mot latinen og i bresjen for opprettelsen av en polyteknisk skole (en idé som først ble realisert 1870). Fremfor alt hadde han som konstitusjonskomiteens sekretær under stortingssamlingen 1836 ansvaret for kravet om eget handelsflagg og norsk innflytelse på de diplomatiske anliggender. Det var Foss som – visstnok i løpet av en natt – skrev komiteens tilbakevisning av de svenske innvendinger mot et særskilt norsk handelsflagg. Wergeland takket ham med diktet: “Nu hvil dig Borger, det er fortjent”, og dikterens beundring vokste ytterligere da Foss engasjerte seg for opphevelse av Grunnlovens forbud mot jøder på Stortinget 1842. Som medlem av den 1. unionskomité hadde Foss medansvar for den norske grunnlovslære at statsrådenes kontrasignatur var en nødvendig betingelse for statsrådsvedtaks gyldighet. Den viser vei til 1905.
Herman Foss var allerede 1811 blitt utnevnt til ridder av Dannebrogordenen, 1832 ble han ridder av den svenske Svärdsorden, og han ble utnevnt til kommandør av St. Olavs Orden på ordenens stiftelsesdag 21. august 1847. Han var medlem av Det Kongelige Norske Videnskabers Selskab fra 1831.