Anders Svarstads kunstneriske virke viser en kunstner som i hovedsak er opptatt av bylandskapet. Gjennom en rekke malerier skildret han storbyer i inn- og utland. Også gjennom artikler i aviser og tidsskrifter viste Svarstad seg som en samfunnsengasjert person.
Som ung gutt begynte Svarstad i håndverkslære som maler på Lillestrøm, og 1886–89 var han elev ved Den kgl. Tegneskole i Kristiania. I begynnelsen av 1890-årene reiste han omkring i Europa som dekorasjonsmaler, og han var også i USA, hvor han blant annet arbeidet for verdensutstillingen i Chicago 1893. I slutten av 1890-årene var han elev ved Académie Colarossi i Paris.
Allerede i noen av Svarstads tidligste malerier finner vi motiver fra Kristiania, så også i hans debutmaleri på Høstutstillingen 1902, Skisse fra Ekeberg. Etter debuten deltok han jevnlig på kunstutstillinger, men livnærte seg og sin familie fremdeles også gjennom dekorasjonsmaling. Frem til omkring 1907 arbeidet han både som kunstner og som dekorasjonsmaler, og hans staffeliarbeider hadde gjerne motiver fra de østlige bydelene i Kristiania. Særlig var strøkene langs Akerselva et foretrukket motiv, slik vi kan se det i Fra Akerselven. De karakteristiske bygningene, grønnsværet og ikke minst telefontrådene som også gir perspektivisk virkning, er betegnende for hans Kristiania-motiver.
Svarstad foretok mange utenlandsreiser, og også under disse reisene var det motiver fra de store byene som fascinerte ham mest, gjerne byutsnitt hvor den moderne tid i form av telefontråder, gasstanker eller fabrikkpiper hadde gjort sitt inntog. Klassiske motiver som berømte monumenter eller bygninger opptok ham mindre. Hans Fabrikker ved Themsen viser nettopp et slikt motiv, med fabrikker, lagerbygninger, lastebåter og heisekraner. Da det ble stilt ut i Kunstnerforbundet i Kristiania 1914, berømmet kunstkritikeren Jappe Nilssen i Dagbladet Svarstad for at han hadde maktet å skildre dette fabrikkmiljøet så levende og virkelig.
Under en reise i Italia 1909 traff Svarstad en ung, norsk forfatterinne som skulle komme til å få stor betydning for ham. Sigrid Undset bodde på samme pensjonat som ham i Roma, og etter noen hektiske måneder reiste de to sammen tilbake til Norge via Paris våren 1910. Vel hjemme søkte Svarstad separasjon fra sin hustru Ragna. 1912 giftet Undset og Svarstad seg i Antwerpen, og bryllupsreisen gikk først til London og videre til Roma. Her bodde de i samme pensjonat som da de traff hverandre første gang, og her fødtes deres første sønn, Anders Castus jr.
1914 bodde den etter hvert store familien (som også omfattet Svarstads tre barn fra første ekteskap) på Ski utenfor Kristiania. Senere flyttet de inn til hovedstaden, og 1919 kjøpte Svarstad hus på Kampen. Sigrid Undset var da gravid med deres tredje barn og tilbrakte sommeren i leid hus på Lillehammer, hvor Hans Benedict ble født i august. Ekteskapet hadde skrantet en tid, og hun ble boende på Lillehammer. I mars 1920 reiste Svarstad på ny ut i Europa, blant annet hadde han et lengre opphold i Alpene. Da Sigrid Undset konverterte til katolisismen 1924, ble ekteskapet kjent ugyldig fordi han hadde vært gift tidligere, og 1927 ble det formelt oppløst.
1925 døde Christian Krohg, og hans professorat ved Kunstakademiet skulle besettes på ny. Svarstad var en av søkerne. Bildende Kunstneres Styre innstilte ham som nr. 1, men etter en del viderverdigheter var det Axel Revold som fikk professoratet. Svarstad ble selvfølgelig skuffet og opprørt. Sammen med Søren Onsager startet han en malerskole som var virksom i årene 1926–29.
Store deler av Svarstads kunstneriske produksjon består av byskildringer, men han laget også en del landskapsmalerier og portretter. Bybildene er absolutt av høy kvalitet, som for eksempel Palonetto Santa Lucia. Hans portretter kan være noe stive, men hans skildringer av Sigrid Undset vitner om at han også mestret denne sjangeren.
Gjennom hele sitt kunstneriske virke hadde Svarstad et naturalistisk formspråk. Hans byskildringer og landskapsfremstillinger ble gjengitt troverdig, og de nye strømningene fra Frankrike og Tyskland som kubisme og fauvisme avfeide han som nymotens påfunn. Hans forholdsvis konservative syn på kunst og kulturspørsmål kom også til uttrykk i flere av hans artikler i aviser og tidsskrifter.