AMD Radeon RX 7700 — ще одна відеокарта на архітектурі RDNA 3‑го покоління

[Alekss]

Мое имхо таково, что этот тест AI Text Generation Benchmark работает через ONNX с DirectML (DirectX 12). GPU Nvidia лучше отптимизированны для работы с ONNX DirectML (DirectX 12), чем GPU AMD. И результаты в нем довольно противоречивые.

Например:
RX 9060XT показывает одинаковую производительность с RTX 5060 (+5%), хотя RTX 5060 намного больше производительней для машинного обучения. Но RTx 3060ti типа производительней RTX 5060, что является не правдой.

Сделал простой (Dashboard) Benchmark на основе тестирования GPU AMD, Nvidia, Intel через Vulcan Llama.cpp или Cuda Llama.cpp
https://docs.google.com/spreadsheets/d/ ... UO/pubhtml

Зеленым цветом Cuda Llama.cpp. красным Vulcan Llama.cpp

Этот бенчмарк наглядно показывает производительность GPU при использовании языковых моделей, через Vulcan Llama.cpp или Cuda Llama.cpp
GPU Nvidia используют как Vulcan Llama.cpp или Cuda Llama.cpp, AMD и intel только Vulcan Llama.cpp.

используя данные (Performance of llama.cpp with Vulkan) https://github.com/ggml-org/llama.cpp/ ... ions/10879

и Cuda Llama.cpp https://github.com/ggml-org/llama.cpp/discussions/15013

[Nouriel]

як багато уваги до карти яка для еом сегменту ще й в обмежена певними регіонами

[DDt]

Сделал простой (Dashboard) Benchmark на основе тестирования GPU AMD, Nvidia, Intel через Vulcan Llama.cpp или Cuda Llama.cpp
https://docs.google.com/spreadsheets/d/ ... UO/pubhtml

Зеленым цветом Cuda Llama.cpp. красным Vulcan Llama.cpp

Этот бенчмарк наглядно показывает производительность GPU при использовании языковых моделей, через Vulcan Llama.cpp или Cuda Llama.cpp
GPU Nvidia используют как Vulcan Llama.cpp или Cuda Llama.cpp, AMD и intel только Vulcan Llama.cpp.

используя данные (Performance of llama.cpp with Vulkan) https://github.com/ggml-org/llama.cpp/ ... ions/10879

и Cuda Llama.cpp https://github.com/ggml-org/llama.cpp/discussions/15013

Интересно с какого перепугу RX 5700XT хреначит 70 токенов в секунду

[doc-oc]

Пусть засунут себе куда поглубже этот неликвид
Без FRS4, с тухлой производительностью с лучами. На фиг надо!