AI servisinin yanıt süresi nasıl azaltılır?

AI servisinin API'sine gönderilen istek, çevrilecek dizeleri içerir. İstek ne kadar uzun olursa, API'nin onu işlemesi o kadar uzun sürer.

Örneğin, 1000 dize içeren bir gönderiyi çevirmek ChatGPT'nin tamamlaması 1 dakikadan fazla sürebilir.

AI servisinin yanıt süresini azaltmak için şunları yapabilirsiniz:

• Aynı AI servisinden daha hızlı bir model kullanın (ör.: ChatGPT 5 yerine ChatGPT 5 mini)
• Eklenti ayarlarında API'ye gönderilen yük boyutunu azaltın

Yük boyutunu azaltırken istek, her biri daha hızlı çözülecek birden fazla isteğe bölünür. Bu istekler paralel olarak çözüldüğünden toplam yanıt süresi kısalır.

Settings > Service Configuration > [AI service] bölümüne gidin ve Max request payload length seçeneğini azaltın.

En iyi yanıt süresini sağlayan değeri bulana kadar farklı değerler deneyin. Örneğin, 8000 olarak ayarlanmışsa 4000 olarak ayarlayıp tekrar deneyin.