Er verliebte sich Hals über Kopf und nahm sie mit in seine Münchner Residenz.
Ob sie tatsächlich geheiratet haben, ist unter Historikern umstritten, spielt aber für das Weitere auch keine große Rolle. Jedenfalls fürchtete Albrechts Vater, Herzog Ernst von Bayern-München, um die korrekte Einhaltung der Erbfolge. Auch Albrechts Schwester Beatrix empfand Agnes wohl als unbotmäßige Konkurrenz im Gefüge des Münchner Hofstaates. Also machte Papa Ernst im Jahr 1435 kurzen Prozess: Während Albrecht mit Jagdfreunden länger unterwegs war, beschuldigte sein Vater Agnes der Hexerei und verfügte, sie bei Straubing, wo die Wittelsbacher ein Schloss besaßen, in der Donau zu ertränken.
Einerseits soll Albrecht seinem Vater aus Zorn und Trauer zunächst den Krieg erklärt haben. Andererseits wird berichtet, er habe sich erstaunlich rasch mit seinem Vater versöhnt, nachdem dieser eine kleine Kapelle erbauen ließ und dem Straubinger Kloster eine ewige Messe zum Andenken an Agnes verordnete.