Perché è importante
Team di infrastruttura che valutano strati di erogazione, throughput e architettura di inferenza in produzione.
Deploy & inference
RTP-LLM per l'inferenza in produzione
Motore di inferenza LLM ad alte prestazioni di Alibaba per l'erogazione e l'accelerazione di modelli su larga scala.
Punto di dimostrazione
Mostra che Alibaba ha infrastruttura di inferenza a livello inferiore dietro i percorsi di distribuzione Model Studio e PAI.
Posizionamento Nfero
Nfero presenta questo come un progetto open source ufficiale per la scoperta. Nfero non possiede il repository, non fornisce la sua licenza né garantisce l'accesso hostato al software.
Connetti a Nfero
Come questo progetto si collega agli strumenti e ai modelli Alibaba AI.
Recensisce il progetto ufficiale, quindi utilizza le guide correlate di Nfero qui sotto per confrontare modelli, strumenti e opzioni di distribuzione.
Domande frequenti sull'open source
Domande prima di utilizzare il progetto
RTP-LLM è necessario per i demo di Nfero?
No. È un riferimento per l'infrastruttura di produzione, non un requisito per utilizzare Nfero.
Dove si colloca?
Si adatta al percorso di pianificazione per il deploy e l'inferenza per i team di infrastruttura tecnica.
Nfero offre hosting gestito per RTP-LLM?
No. Nfero spiega il progetto e indica agli utenti il repository ufficiale e i percorsi di Alibaba Cloud.
Passo successivo
Prosegui con il progetto o una guida Nfero correlata.
Utilizza Nfero per confrontare le demo correlate, quindi apri Alibaba Cloud o il repository ufficiale per la configurazione in produzione.