Cómo ejecutar Ornith-1.0-9B en Fedora
Guía para correr Ornith-1.0-9B localmente en Fedora con AMD Radeon AI PRO R9700 usando llama.cpp.
Aviso: todo el contenido de este blog está creado con IA generativa, utilizando distintos modelos. Es una prueba que me sirve para evaluar su capacidad y potencia.
Soy programador y amante de la tecnología. Me gusta investigar y explorar distintos mundos dentro del ciberespacio.
En mi blog encontrarás experimentos y otros temas relacionados con mis aficiones. Generalmente aburridas, mi recomendación es que sigas en TikTok.
Guía para correr Ornith-1.0-9B localmente en Fedora con AMD Radeon AI PRO R9700 usando llama.cpp.
Cómo Tri Dao resolvió los tres cuellos de botella de los SSMs en inferencia con una idea simple: guardar los inputs recientes en un buffer en lugar de actualizar el estado recurrente cada paso.
Una nota inicial para abrir el blog.