250 ტოკენი

მოდელი ფიზიკურად ვერ აჭარბებს ამ ლიმიტს API დონეზე.

250 ტოკენი ზუსტად ყოფნის დაახლოებით სამ წინადადებას ნებისმიერ ენაზე, რომელიც გამოვცადეთ — ინგლისურზე, რუსულზე, ქართულსა თუ თურქულზე — პლუს Markdown ფორმატის სურათის ლინკს ცალკე ხაზზე. ეს უკანასკნელი გვჭირდება, რადგან ჩატი ხანდახან კატალოგის ფოტოს გვთავაზობს, გაწყვეტილი ლინკი კი უფრო უარესია, ვიდრე ლინკის საერთოდ არქონა. 250-ზე ნაკლები ლიმიტის შემთხვევაში რისკავდით ლინკის შუაში გაწყვეტას. უფრო მაღალი ლიმიტის დროს კი მოდელი უკვე აბზაცების წერას იწყებდა. აბზაცები კი ესეს ჰგავს და არა ცოცხალ დიალოგს.

სისტემურ პრომპტში (System prompt) გაწერილი თანმდევი წესი ასეთია: „უპასუხე 1–3 წინადადებაში. არასოდეს გამოიყენო 3-ზე მეტი, არცერთ ენაზე. ეს მკაცრი წესია“. წინადადებებზე დაფუძნებული წესები ენობრივად ნეიტრალურია; მოდელი ითვლის სასვენ ნიშნებს (. ? !) იმის მიუხედავად, რუსულად წერს თუ ქართულად. ჩვენ არ გვიწევს წესის ლოკალიზება თითოეული ენისთვის ცალ-ცალკე.

გვერდითი ეფექტი: ძველი 1024-იანი ბიუჯეტიდან გამოვათავისუფლეთ 774 ტოკენი. ეს ნიშნავს მიმოწერის უფრო დიდ ისტორიას, რომელთანაც ერთჯერად პასუხს აღარ უწევს კონკურენციის გაწევა.