Здравствуйте,
мы столкнулись с периодически возникающей, но воспроизводимой проблемой при запуске MemTest86 Pro на серверах Dell PowerEdge R7725, оснащенных процессорами AMD EPYC 9335.
Мы воспроизвели проблему на двух разных платформах Dell PowerEdge R7725 SFF8, обе с процессорами AMD EPYC 9335 (32-ядерные).
Мы протестировали MemTest86 Pro версий 11.5 и 11.6, и проблема возникает в обеих версиях.
Все микропрограммы сервера обновлены до последних версий, доступных на данный момент у Dell, включая BIOS, iDRAC/Lifecycle Controller и другие системные микропрограммы.
Основная конфигурация R7725:
Сервер: Dell PowerEdge R7725 SFF8
Процессор: 2 × AMD EPYC 9335, 3,0 ГГц, по 32 ядра каждый
Память: 16 × 32 ГБ DDR5 RDIMM 6400 МТ/с Dell (всего 512 ГБ)
Видеокарта: 2 × NVIDIA RTX PRO 6000 BSE 96 ГБ
Сеть: Broadcom 57414 двухпортовый 25GbE SFP28 OCP
Хранение данных: 2 × 1,92 ТБ NVMe E3.s 2,5" RI Dell SSD
Блок питания: Dell Dual Hot-Plug 3200 Вт
Охлаждение: радиаторы для процессоров Dell R7725 и высокопроизводительные вентиляторы 2U Platinum
Диагностика оборудования уже проведена.
Мы провели обширное тестирование изоляции оборудования и замены компонентов.
Оба процессора AMD EPYC 9335 Процессоры были заменены на другие/новые ЦП, но сбой MemTest86/UEFI по-прежнему происходит.
Мы также протестировали сервер с различными модулями памяти, и проблема осталась.
Чтобы исключить графические процессоры и устройства PCIe как возможную причину, мы также протестировали сервер с полностью удаленными графическими процессорами NVIDIA RTX PRO 6000. Тот же сбой UEFI по-прежнему происходит.
Кроме того, у нас есть вторая/запасная платформа Dell PowerEdge R7725, и мы также провели те же тесты изоляции и замены компонентов на этой системе. Тот же сбой MemTest86/UEFI воспроизводится на второй платформе R7725.
Таким образом, проблема не ограничивается какой-либо конкретной материнской платой, комплектом ЦП, комплектом памяти или конфигурацией графического процессора.
MemTest86 не сообщает о каких-либо ошибках памяти перед сбоем. Вместо этого вся среда UEFI в конечном итоге дает сбой, и сервер останавливается со следующей ошибкой:
PowerEdge R7725 – BIOS
Требуется перезагрузка системы. Система обнаружила исключение во время UEFI. Предзагрузочная среда.
Тип: Общая ошибка защиты (13)
Источник: Программное обеспечение (UEFI0011) на BSP
Трассировка стека на экране исключения включает:
DxeCore.efi
HiiDatabase.efi
DellEarlyVideoSplashDxe.efi
В журнале жизненного цикла iDRAC записано только:
BIOS системы остановлен.
К сожалению, нам не удалось получить журналы MemTest86 после сбоя. Когда возникает проблема, сама среда BIOS/UEFI останавливается, и результаты/журналы тестирования не сохраняются.
Сбой носит периодический характер и не происходит в одной и той же точке при каждом запуске. Иногда MemTest86 завершается успешно без ошибок. Однако при последующих запусках или дополнительных проходах система может в конечном итоге аварийно завершиться с ошибкой общей защиты, показанной выше.
Во всех случаях, когда нам удалось воспроизвести проблему, сбой происходил примерно через 17–29 часов непрерывной работы MemTest86.
До сбоя MemTest86 не сообщает об ошибках памяти.
В качестве дополнительной проверки мы провели расширенное стресс-тестирование под Linux с использованием stress-ng.
Системы R7725 остаются стабильными при стресс-тестировании под Linux, и мы не наблюдали там аналогичного сбоя.
Для сравнения мы также протестировали MemTest86 Pro 11.6 на Dell PowerEdge R7625 предыдущего поколения с AMD EPYC 9224 (Genoa).
Мы не наблюдали этой проблемы на R7625 — MemTest86 успешно работает без сбоев UEFI.
На данный момент проблема воспроизведена только на Dell PowerEdge R7725 с AMD EPYC 9335 (Turin) на двух разных платформах R7725, в то время как на предыдущем поколении R7625 с AMD EPYC 9224 (Genoa) аналогичного поведения не наблюдается.
Следует учитывать, что:
проблема воспроизведена на двух разных платформах Dell PowerEdge R7725;
затронуты как MemTest86 Pro 11.5, так и 11.6;
процессоры были заменены;
были протестированы различные модули памяти;
системы тестировались без установленных графических процессоров NVIDIA;
аналогичное тестирование с заменой/изоляцией было проведено на второй/запасной платформе R7725;
MemTest86 иногда завершается успешно без ошибок;
когда происходит сбой, это ошибка UEFI General Protection Fault, а не ошибка памяти MemTest86;
сбой обычно происходит только после 17–29 часов непрерывного тестирования;
стресс-тестирование Linux stress-ng стабильно;
На процессорах предыдущего поколения R7625 / EPYC 9224 эта проблема отсутствует.
Мы хотели бы определить, может ли это быть проблемой совместимости между MemTest86 и более новой платформой AMD EPYC 9005 / Turin, или же это проблема реализации UEFI на Dell PowerEdge R7725.
Пожалуйста, сообщите:
Известны ли какие-либо проблемы с MemTest86 11.5/11.6 на платформах AMD EPYC 9005 (Turin)?
Тестировался ли MemTest86 специально на Dell PowerEdge R7725?
Может ли сбой быть связан с топологией ЦП, доступом к SPD/SMBus, обработкой ECC, опросом температуры памяти или другими аппаратными запросами, выполняемыми MemTest86?
Рекомендуете ли вы тестирование с более новой или внутренней/отладочной сборкой MemTest86, если таковая доступна?
Прилагаю скриншоты полного сообщения об ошибке UEFI и соответствующей записи в журнале жизненного цикла iDRAC. Также могу предоставить подробную информацию о версиях прошивки, конфигурации памяти, скриншоты MemTest86 и любую дополнительную информацию о системе, необходимую для устранения неполадок.
мы столкнулись с периодически возникающей, но воспроизводимой проблемой при запуске MemTest86 Pro на серверах Dell PowerEdge R7725, оснащенных процессорами AMD EPYC 9335.
Мы воспроизвели проблему на двух разных платформах Dell PowerEdge R7725 SFF8, обе с процессорами AMD EPYC 9335 (32-ядерные).
Мы протестировали MemTest86 Pro версий 11.5 и 11.6, и проблема возникает в обеих версиях.
Все микропрограммы сервера обновлены до последних версий, доступных на данный момент у Dell, включая BIOS, iDRAC/Lifecycle Controller и другие системные микропрограммы.
Основная конфигурация R7725:
Сервер: Dell PowerEdge R7725 SFF8
Процессор: 2 × AMD EPYC 9335, 3,0 ГГц, по 32 ядра каждый
Память: 16 × 32 ГБ DDR5 RDIMM 6400 МТ/с Dell (всего 512 ГБ)
Видеокарта: 2 × NVIDIA RTX PRO 6000 BSE 96 ГБ
Сеть: Broadcom 57414 двухпортовый 25GbE SFP28 OCP
Хранение данных: 2 × 1,92 ТБ NVMe E3.s 2,5" RI Dell SSD
Блок питания: Dell Dual Hot-Plug 3200 Вт
Охлаждение: радиаторы для процессоров Dell R7725 и высокопроизводительные вентиляторы 2U Platinum
Диагностика оборудования уже проведена.
Мы провели обширное тестирование изоляции оборудования и замены компонентов.
Оба процессора AMD EPYC 9335 Процессоры были заменены на другие/новые ЦП, но сбой MemTest86/UEFI по-прежнему происходит.
Мы также протестировали сервер с различными модулями памяти, и проблема осталась.
Чтобы исключить графические процессоры и устройства PCIe как возможную причину, мы также протестировали сервер с полностью удаленными графическими процессорами NVIDIA RTX PRO 6000. Тот же сбой UEFI по-прежнему происходит.
Кроме того, у нас есть вторая/запасная платформа Dell PowerEdge R7725, и мы также провели те же тесты изоляции и замены компонентов на этой системе. Тот же сбой MemTest86/UEFI воспроизводится на второй платформе R7725.
Таким образом, проблема не ограничивается какой-либо конкретной материнской платой, комплектом ЦП, комплектом памяти или конфигурацией графического процессора.
MemTest86 не сообщает о каких-либо ошибках памяти перед сбоем. Вместо этого вся среда UEFI в конечном итоге дает сбой, и сервер останавливается со следующей ошибкой:
PowerEdge R7725 – BIOS
Требуется перезагрузка системы. Система обнаружила исключение во время UEFI. Предзагрузочная среда.
Тип: Общая ошибка защиты (13)
Источник: Программное обеспечение (UEFI0011) на BSP
Трассировка стека на экране исключения включает:
DxeCore.efi
HiiDatabase.efi
DellEarlyVideoSplashDxe.efi
В журнале жизненного цикла iDRAC записано только:
BIOS системы остановлен.
К сожалению, нам не удалось получить журналы MemTest86 после сбоя. Когда возникает проблема, сама среда BIOS/UEFI останавливается, и результаты/журналы тестирования не сохраняются.
Сбой носит периодический характер и не происходит в одной и той же точке при каждом запуске. Иногда MemTest86 завершается успешно без ошибок. Однако при последующих запусках или дополнительных проходах система может в конечном итоге аварийно завершиться с ошибкой общей защиты, показанной выше.
Во всех случаях, когда нам удалось воспроизвести проблему, сбой происходил примерно через 17–29 часов непрерывной работы MemTest86.
До сбоя MemTest86 не сообщает об ошибках памяти.
В качестве дополнительной проверки мы провели расширенное стресс-тестирование под Linux с использованием stress-ng.
Системы R7725 остаются стабильными при стресс-тестировании под Linux, и мы не наблюдали там аналогичного сбоя.
Для сравнения мы также протестировали MemTest86 Pro 11.6 на Dell PowerEdge R7625 предыдущего поколения с AMD EPYC 9224 (Genoa).
Мы не наблюдали этой проблемы на R7625 — MemTest86 успешно работает без сбоев UEFI.
На данный момент проблема воспроизведена только на Dell PowerEdge R7725 с AMD EPYC 9335 (Turin) на двух разных платформах R7725, в то время как на предыдущем поколении R7625 с AMD EPYC 9224 (Genoa) аналогичного поведения не наблюдается.
Следует учитывать, что:
проблема воспроизведена на двух разных платформах Dell PowerEdge R7725;
затронуты как MemTest86 Pro 11.5, так и 11.6;
процессоры были заменены;
были протестированы различные модули памяти;
системы тестировались без установленных графических процессоров NVIDIA;
аналогичное тестирование с заменой/изоляцией было проведено на второй/запасной платформе R7725;
MemTest86 иногда завершается успешно без ошибок;
когда происходит сбой, это ошибка UEFI General Protection Fault, а не ошибка памяти MemTest86;
сбой обычно происходит только после 17–29 часов непрерывного тестирования;
стресс-тестирование Linux stress-ng стабильно;
На процессорах предыдущего поколения R7625 / EPYC 9224 эта проблема отсутствует.
Мы хотели бы определить, может ли это быть проблемой совместимости между MemTest86 и более новой платформой AMD EPYC 9005 / Turin, или же это проблема реализации UEFI на Dell PowerEdge R7725.
Пожалуйста, сообщите:
Известны ли какие-либо проблемы с MemTest86 11.5/11.6 на платформах AMD EPYC 9005 (Turin)?
Тестировался ли MemTest86 специально на Dell PowerEdge R7725?
Может ли сбой быть связан с топологией ЦП, доступом к SPD/SMBus, обработкой ECC, опросом температуры памяти или другими аппаратными запросами, выполняемыми MemTest86?
Рекомендуете ли вы тестирование с более новой или внутренней/отладочной сборкой MemTest86, если таковая доступна?
Прилагаю скриншоты полного сообщения об ошибке UEFI и соответствующей записи в журнале жизненного цикла iDRAC. Также могу предоставить подробную информацию о версиях прошивки, конфигурации памяти, скриншоты MemTest86 и любую дополнительную информацию о системе, необходимую для устранения неполадок.
Comment