Token Kullanımı ve Mantığı
Botonom'da token'ların nasıl tüketildiğini, şirket geneli paylaşımlı token havuzunu ve maliyet optimizasyonunu öğrenin.
Bu rehberde önce Token nedir ve nasıl tüketilir? ile başlıyor, sırasıyla Şirket geneli paylaşımlı token havuzu ve Model katsayıları ve akıllı yönlendirme konularını ele alıp Maliyeti düşürmek için en iyi uygulamalar ile tamamlıyoruz.
Token nedir ve nasıl tüketilir?
Yapay zeka modelleri metinleri doğrudan sözcük olarak değil, hece ve karakter öbeklerine ayrılmış "token" adı verilen matematiksel birimlerle işler. Türkçe dil yapısında ortalama 1.000 kelime yaklaşık 1.300 ila 1.500 token'a denk gelir.
Bir görevin token tüketimi iki temel parçadan oluşur:
- Girdi (Input) Token'ları: Agent'a ilettiğiniz görev metni, yüklediğiniz PDF ve Excel belgeleri, konuşma geçmişi ve agent'ın çalışma alanı talimatları.
- Çıktı (Output) Token'ları: Agent'ın ürettiği yanıt metinleri, oluşturduğu tablolar, analiz raporları ve çalıştırdığı API istekleri.
Model katsayıları ve akıllı yönlendirme
Her görev aynı derecede karmaşık zeka gerektirmez. Basit bir e-posta sınıflandırması ile çok adımlı bir finansal analiz aynı kaynakla çözülmemelidir:
- Standart Modeller (1x Tüketim): Müşteri karşılama, randevu oluşturma, hızlı belge tarama ve özet çıkarma gibi rutin operasyonlar.
- İleri Muhakeme / Genius Modeller (3x - 5x Tüketim): Derin veri tabanı analizleri, çok adımlı kod yürütme, hukuki doküman incelemesi ve stratejik planlama.
Botonom'un Akıllı Yönlendiricisi (Smart Router) görevin zorluğuna göre en uygun modeli otomatik seçerek gereksiz token harcanmasını önler.
Maliyeti düşürmek için en iyi uygulamalar
- Net ve Yapılandırılmış Talimatlar: Uzun ve çelişkili paragraflar yerine maddeler halinde net hedefler tanımlayın.
- Büyük Dosyaları Filtreleyin: 100 sayfalık bir kataloğun tamamını yüklemek yerine sadece ilgili bölümleri çalışma alanına ekleyin.
- Hafıza Temizliği: Artık geçerliliğini yitirmiş eski kampanya kurallarını veya geçmiş veri tabanı dökümlerini agent'ın çalışma belleğinden arşivleyin.