TR Evals - 1

Senaryo:
- Prompt'ta verilen core ask karşılanmadı.
- Bilgi yanlışı yok.
- Restatement yok.

IF ve Truthfulness nasıl puanlarız?

• IF - Major issues
  TF - No issues

• IF - Major issues
  TF - Major issues

• IF - Minor issues
  TF - Minor issues

• IF - No issues
  TF - Major issues

Aşağıdaki sistem prompt ile karşılaşırsak ne yapıyoruz?

A conversation between a user and a helpful assistant. The user's locale is tr_TR.

• Modelden daha arkadaş canlısı cevaplar bekliyoruz.

• Model ile iki sohbetin belini kırıyoruz.

• Pleasantry yoksa puan kırıyoruz.

• Bu genel bir ifade. Yani normal bir şekilde rate'liyoruz.

Türkiye Cumhuriyeti 1930 yılında kurulmuştur.

Bu ifade için Localization puanı kırılır.

• Doğru

• Yanlış

Aşağıdakilerden hangisinde task invalid olur?

• Ref text olması gereken bir task'te ref text yok

• User prompt + Response1 + Response2 = 1050+ words

• Harmful olduğundan emin olduğumuz bir user prompt

• User propmt'ta desteklenmeyen format talebinde bulunulması

Senaryo:

Prompt: 3 kıtalık bir şiir talebi
Response: 1 kıtalık şiir (restatement yok)

Hangilerinden puan kırılır?

• Instruction Following

• Truthfulness

• Response Length

• Localization