Hybrid-Suche (Gitter über kategorial × Nelder-Mead über kontinuierlich)
Optimiert Modelle mit gemischten Faktoren: enumeriert kartesisch alle kategorialen Stufen-Kombinationen und führt in jeder Zelle eine kontinuierliche Multi-Start-Nelder-Mead-Suche durch.
Beschreibung
Klassische derivativ-freie Optimizer wie Nelder-Mead arbeiten auf einem kontinuierlichen Raum. Kategoriale Faktoren (z.B. Werkzeug A vs. B vs. C) sind diskret und brauchen eine andere Behandlung. Die Hybrid-Suche umgeht das Problem strukturell: für jede mögliche Kombination kategorialer Stufen wird die kategoriale Faktor-Belegung fixiert, und nur die kontinuierlichen Faktoren werden optimiert. Bei n_cat Stufen-Kombinationen werden n_cat unabhängige Nelder-Mead-Läufe gemacht und das beste Ergebnis ausgewählt. Die kategoriale Suche ist damit erschöpfend (kein lokales Minimum-Risiko zwischen Kategorien), die kontinuierliche derivativ-frei und multi-start.
Formeln
Annahmen
- Modell trägt einen ModelSpec mit kontinuierlich/kategorial-Aufteilung der Predictors
- Jeder kategoriale Faktor hat eine endliche Stufenmenge
Einschränkungen
- Skaliert exponentiell in der Zahl kategorialer Faktoren — mit 5 ternären Faktoren = 243 NM-Läufe
- Bei sehr großen Stufen-Mengen (z.B. > 10) ineffizient — dann Mixed-Integer-Solver erwägen
Referenzen
- Myers, R.H., Montgomery, D.C., Anderson-Cook, C.M. (2016). Response Surface Methodology, 4th Ed., Wiley — Chapter 7 (Mixed Factors in Optimisation)
- Nelder, J.A. & Mead, R. (1965). A simplex method for function minimization. The Computer Journal 7(4): 308-313