Mientras tanto el nazismo ascendía en Alemania. Para el nuevo gobierno los deportistas alemanes se convertían en una pieza clave para la exaltación nacional. Richter en cambio, nunca ocultó su animadversión hacia la nueva dirección política que estaba tomando su país. Ignorando los consejos de sus amigos y familiares, se negó a sustituir a su representante Ernst Berliner al cual le unía una profunda amistad desde su juventud. En los Juegos Olímpicos de Berlín 1936, así como en otras tantas competiciones y actos públicos, el ciclista se negó a realizar el saludo nazi. También rechazó llevar el traje oficial con el escudo del gobierno y la esvástica cuando competía por su país, e incluso rehusó participar de cualquier manera en la II Guerra Mundial.
Los nazis no olvidaron estas humillaciones. En enero de 1940 Richter fue capturado por la Gestapo mientras intentaba escapar a Suiza. El dinero que intentaba sacar del país para ayudar a un amigo judío fue confiscado y sirvió como excusa para detenerlo. Fue trasladado a la cárcel de Lörrach donde murió el 2 de enero. La versión oficial del gobierno fue que el ciclista, no pudiendo soportar su culpa, se había suicidado, aunque esto difícilmente fue creído por el resto del mundo. Cuando uno de sus hermanos solicitó ver el cadáver, en el depósito le mostraron el cuerpo de Albert bañado en sangre y con su traje repleto de agujeros. Tras la II Guerra Mundial, Berliner regresó a Alemania a pesar del rechazo social que aun existía hacia los judíos e intentó que se reabriera el caso de la muerte de su joven discípulo y amigo para esclarecer la verdad. Todos sus intentos fueron infructuosos.

Empezó su carrera criminal robando lápidas de los cementerios, re-grabandolas y vendiendolas nuevamente, continuó con el hurto de autos en las calles de Medellín, pero pronto se involucró en el tráfico de marihuana hacia los Estados Unidos. Se le involucra en el secuestro y homicidio del industrial Diego Echeverria en 1971, y del capo del narcotráfico Fabio Restrepo en 1975. Introducido en el negocio del tráfico de cocaína por su primo Gustavo Gaviria su visión empresarial y su falta de escrupulos lo convirtieron rápidamente en líder. Primero como intermediario que compraba la pasta de coca en Perú y vendiendola a traficantes que la llevaban a Estados Unidos. En la década de 1970 se convirtió en una pieza clave para el tráfico internacional de cocaína. Asociado con Gonzalo Rodríguez Gacha, Carlos Lehder, Jorge Luis Ochoa y sus hermanos Fabio y Juan David, fundó el Cartel de Medellín.