Лучше конечно начинать все изучения сразу с первоисточников в разделах документации компаний Intel и AMD. Там доступна наиболее свежая информация, материалы на английском. Кому влом читать по английски, ниже приведена подборка русскоязычных ресурсов (правда актуальность их оставляет желать лучшего).

В книге Филиппа Н. Хислея "Генерация высококачественного кода для программ, написанных на си" рассказывается о компиляторах с языка Си, генерации наиболее быстрых и компактных программ и оптимизации кода.Далее можно почитать о командах:

• 3DNow! (начиная с K6-2),
• Enhanced 3DNow! (начиная с Athlon),
• MMX (начиная с Pentium MMX, K6),
• SSE (начиная с Pentium III),
• Enhanced 3DNow! (начиная с Athlon).

Потом можете просмотреть следующие статьи:

• Оптимизация под SSE Cort Stratton,
• Использование SIMD-команд,
• Оптимизация для pentium процессора,
• Оптимизация программ на ассемблере,
• Оптимизация программ на ассемблере Рэй Дункан,
• Техника оптимизации программ (фрагмент).

Ну а тут соответственно о FPU:

• IEEE Standard 754 Floating Point Numbers.
• Know your FPU.
• Know your FPU: fixing floating fast.
• Microsoft Visual C++ Floating-Point Optimization.