Het gebied bij Alphen aan den Rijn werd 2000 jaar geleden al bewoond.
In de Romeinse tijd was de Oude Rijn de hoofdtak van de Rijn. De rivier zette bij overstromingen zand en klei af, waardoor een landschap van oeverwallen en kommen ontstond. In Alphen is dit nog steeds herkenbaar in de naamgeving van de stadsdelen "Hoge zijde" en "Lage zijde", aan de linker- respectievelijk de rechteroever van de rivier.
Op de plek waar zich nu het centrum van Alphen aan den Rijn bevindt stond in Romeinse tijden het castellum Albanianae. De Romeinen bouwden toen ook de eerste brug over de Oude Rijn. Vanaf de regering van de Romeinse keizer Claudius I (41 - 54 na Chr.) waren hier afdelingen van het Romeinse leger gelegerd. De noordelijke grens van het Romeinse Rijk lag namelijk langs de huidige Oude Rijn, en hier werden dan ook door de Romeinen diverse versterkte legerplaatsen gebouwd. Zo zijn in het dichtbij gelegen dorp Zwammerdam resten van het Romeins castellum Nigrum Pullum gevonden, evenals resten van 6 Romeinse platbodems. Al in de Romeinse tijd ontwikkelde zich handel en nijverheid, waardoor Alphen aan den Rijn langzaam uitgroeide tot een belangrijk handelscentrum in de regio. Germaanse aanvallen maakten daar echter in 240 na Chr. een einde aan.
Na een hoop strubbelingen en problemen met overstromingen, vooral in Utrecht en Leiden, werd de Oude Rijn in 1122 bij Wijk bij Duurstede afgedamd. De aftakking die eerst als "Lek" begon, werd de hoofdstroom van de rivier. Sindsdien trad de Oude Rijn niet meer buiten zijn oevers. In en na de Middeleeuwen was Alphen een ambachtsheerlijkheid onder de naam Alphen en Rietveld.
In de 17e eeuw kwam Alphen verder tot bloei. Het was toen een pleisterplaats voor postrijders en handelsverkeer over land en water. Op gedeelten langs de Oude Rijn is nu nog het jaagpad te zien, waarlangs de trekschuiten werden voortgetrokken. De huidige gemeente Alphen aan den Rijn is gevormd in 1918. Toen werden de kleinere gemeenten Alphen, Aarlanderveen en Oudshoorn samengevoegd. In 1964 werd de gemeente uitgebreid met Zwammerdam.
Het wapen van Alphen aan den Rijn is toegekend op 8 mei 1918; het bestaat uit een zwarte achtpuntige ster op een wit wapenschild. Bovenop het schild staat een gouden kroon. Het schild wordt vastgehouden door twee gouden leeuwen. Het wapen was oorspronkelijk van de familie Van Alphen, een tak van de familie Van Kralingen. Ene Dirk van Cralingen (geboren voor 1189) had goederen in de buurt van Alphen en noemde zich nadien Van Alphen.