De Raden van Arbeid (RvA) zijn in 1919 ingesteld op grond van de Radenwet 1913 (Staatsblad 1913, 203) als uitvoeringsorganen voor de Invaliditeitswet 1913, de Ouderdomswet 1919 en de Ziektewet, die al in 1913 was aangenomen maar pas in 1930 in werking trad. Nederland werd hiertoe in 39 regio's verdeeld en ook Dordrecht kreeg daarbij een Raad van Arbeid.

De Rijksverzekeringsbank, de voorloper van de SVB, werd opgericht in 1901 om de eerste sociale verzekeringswet, de Ongevallenwet 1901, uit te voeren. In 1933 werden de Wet op de Rijksverzekeringsbank en de Radenwet vervangen door de Wet op de Rijksverzekeringsbank en de Raden van Arbeid, waarbij het toezicht op de Raden aan de Rijksverzekeringsbank werd opgedragen (Staatsblad 1933, 598).
Als gevolg van de werknemersverzekeringen, die voornamelijk door bedrijfsverenigingen werden uitgevoerd, kregen de Raden een kleine uitvoerende taak ten aanzien van de werknemers waarvan de werkgevers niet bij een bedrijfsvereniging waren aangesloten.
Voor de uitvoering van de Kinderbijslagwet 1939 kon de werkgever kiezen: aansluiting bij een bedrijfsvereniging (ook uitvoering Ziektewet) of bij het Rijkskinderbijslagfonds (Rijksverzekeringsbank en Raden van Arbeid). Het aantal Raden werd in 1933 teruggebracht van 39 tot 24. Zo werd de vestiging in Brielle opgeheven, waarbij de werkzaamheden werden ondergebracht bij de Raad van Arbeid te Dordrecht.

Na de invoering van de Organisatiewet Sociale verzekeringen (OSV) in 1952 bleven de Ongevallen- en Invaliditeitswetten in uitvoering bij de Raden van Arbeid en de Rijksverzekeringsbank. In 1956 onderging de Rijksverzekeringsbank een grote verandering op bestuurlijk niveau. Daarbij werd de naam gewijzigd in Sociale Verzekeringsbank, meestal afgekort tot SVB (wet van 31 mei 1556, Staatsblad 297). In de daaropvolgende jaren werden de uitvoering van de Algemene Ouderdomswet (AOW), de Algemene Weduwen- en Wezenwet (AWW) en de kinderbijslagwetten toegevoegd aan de taken van de Raden. Ook de toekenning, intrekking en herziening van de uitkeringen werd door de Raden uitgevoerd, met uitzondering van de AOW- en AWW-uitkeringen van in het buitenland wonende uitkeringsgerechtigden. Het toezicht op de Raden werd uitgeoefend door de Sociale Verzekeringsbank.

Vanaf 1967 werden de Raden van Arbeid geleid door een bestuur dat bestond uit een door de Kroon benoemde voorzitter, drie werkgeversvertegenwoordigers en drie werknemersvertegenwoordigers. Deze werden voorgedragen door de centrale organisaties van werkgevers en werknemers en benoemd door de minister van Sociale Zaken.
In 1971 verhuisde de Dordtse Raad naar een nieuw pand aan de Van Godewijckstraat dat tegelijk met het Gemeenschappelijk Administratiekantoor (GAK) werd betrokken. De officiële opening door de toenmalige minister van Sociale Zaken en Volksgezondheid, de heer B. Roolvink, vond plaats op 20 januari 1971. Op initiatief van de directeur van de Gemeentelijke Sociale Dienst organiseerden een aantal instanties, werkzaam op het gebied van sociale voorzieningen van 7 tot en met 12 april 1975 een zogenoemde Sociale Markt waarbij voorlichting werd geven over de sociale wetgeving in Nederland. Staatsecretaris P.J.J. Mertens van het ministerie van Sociale Zaken opende deze markt, waaraan de RvA, het GAK, het Gewestelijk Arbeidsbureau, het Algemeen Ziekenfonds, de Sociale Dienst, het Veiligheidsinstituut, de Arbeidsinspectie.

Op 1 april 1988 werden de sociale Verzekeringsbank en de Raden van Arbeid samengevoegd tot één organisatie (wet van 26 november 1987, Staatsblad 533). De kantoren van de RvA, waaronder Dordrecht, werden omgevormd tot districtskantoren van de SVB. In 1989 werd het pand aan de Van Godewijckstraat verkocht aan het GAK. De overdracht vond begin maart 1990 plaats. De Raad huurde vanaf dat moment tot eind 1999 het pand aan de Spuiboulevard 100. Daarna werden de kantoren van Dordrecht en Rotterdam samengevoegd in het Groothandelsgebouw te Rotterdam, waarna in 2002 het nieuw gebouwde pand aan de Posthumalaan 100 te Rotterdam werd betrokken.